Создайте свой первый LLM-сервис [Deep School]

[Vendetta]

Складчина: Создайте свой первый LLM-сервис [Deep School]


Вы хотите создать собственную AI-систему, но...

Не знаете с чего начать, так как в интернете слишком много не структурированной информации
RAG и Агенты не работают, хотя вы всё делаете по туториалу из статьи или видео
Неясно, как учить LLM, чтобы адаптировать большие модели под свои данные
Чтобы создать приложение с LLM, важно уметь:

Дообучать модели на своих данных (Tuning, Alignment)
Большинство моделей обучены так, чтобы понемногу разбираться в различных областях: юриспруденции, кулинарии, спорте и т. д. Но если вам необходимо улучшить качество ответов модели в узкой области, например, медицине, её надо дообучить на соответствующих данных. Дообучение также снижает число галлюцинаций и помогает придать модели определённый стиль общения
Использовать в ответах свою базу данных (RAG)
Чтобы модель опиралась в ответах на актуальные данные, а не прошлогодние, надо использовать Retrieval Augmented Generation. RAG — это когда по вопросу пользователя система находит в базе актуальную информацию и использует её для формирования ответа
Подключать к LLM сторонние инструменты (Tools, Agents)
Чтобы LLM не только отвечала на вопросы, но и сама в нужный момент отправила сообщение в мессенджер, добавила новое событие в календарь или просто сложила два числа, ей надо дать доступ к инструментам (Tools): к чату, календарю или калькулятору. LLM-системы, которые уместно используют такие инструменты называют агентами (Agents)
Именно этому вы научитесь на курсе LLM Start под кураторством опытных LLM-инженеров.

Это курс для разработчиков и руководителей, у которых нет опыта в области машинного обучения

Разработчики. Научатся создавать собственные LLM-сервисы
Руководители. Узнают, на что способны LLM и какие задачи можно ставить команде
Менеджеры. Поймут, как устроены LLM и научатся верно оценивать задачи
Программа

Модуль 1. Выбираем LLM под задачу
Разберемся, как устроены LLM, основные техники промптинга, механизмы сэмплирования при генерации, а также поймём, как подобрать модель под свою задачу.

Темы лекции:

Задача языкового моделирования и LLM
Разберемся, как устроены LLM, основные техники промптинга, механизмы сэмплирования при генерации, а также поймём, как подобрать модель под свою задачу.
Этапы обучения LLM
Промптинг: few/zero-shot, CoT
Генерация текста и сэмплирование
Типы задач и ограничения LLM
Обзор современных моделей
Модуль 2. Подключаем свою базу данных (RAG)
Научимся строить RAG систему для обогащения LLM внешней информацией, подробно познакомимся с алгоритмами поиска, реранкером и чанкированием.

Темы лекции:

Обзор схемы RAG
Научимся строить RAG систему для обогащения LLM внешней информацией, подробно познакомимся с алгоритмами поиска, реранкером и чанкированием.
Чанкирование
Векторный поиск и векторные БД
Классический и гибридный поиск
Реранкер и его задачи
Бенчмарки и замер качества
Модуль 3. Создаём агентов на основе LLM
Погрузимся в концепции tools, function calling и агентных систем. Поймём, как строить мультиагентные архитектуры и какие библиотеки использовать. Узнаем, что такое Agentic RAG и Model Context Protocol.

Темы лекции:

Погрузимся в концепции tools, function calling и агентных систем. Поймём, как строить мультиагентные архитектуры и какие библиотеки использовать. Узнаем, что такое Agentic RAG и Model Context Protocol.
Концепция tools и function calls
Агентные системы и Agentic RAG
Model Context Protocol
Мультиагентные системы
Обзор библиотек и бенчмарков
Модуль 4. Дообучаем LLM под свои данные
Узнаем, когда и зачем дообучать LLM. Разберем, как работают сервисы по дообучению моделей и как можно дообучать модели локально самостоятельно.

Темы лекции:

Когда дообучение поможет, а когда нет
Сервисы для обучения по API
Локальное дообучение
Продвинутые техники дообучения
05. Собираем собственное приложение
Разберём путь от идеи до готового продукта: как спроектировать и задеплоить LLM-приложение. Узнаем, какие фреймворки, железо и подходы к ускорению использовать, как обеспечить стабильную работу и мониторинг.

Темы лекции:

Этапы разработки LLM-приложений
Разберём путь от идеи до готового продукта: как спроектировать и задеплоить LLM-приложение. Узнаем, какие фреймворки, железо и подходы к ускорению использовать, как обеспечить стабильную работу и мониторинг.
Деплой моделей: vllm, sglang, llama.cpp, ollama
Ускорение работы моделей
Как выбрать сервер и железо
Мониторинг работы модели
Финальный проект
В финале курса вы создадите собственный LLM-сервис для задачи, которая вам интересна. Можно взять свою идею или взять проект из нашего списка. Спикеры помогут с реализацией, дадут обратную связь по решению и подскажут, как доработать проект.

QA-сессия
Также после всех лекций мы проведём дополнительную встречу в Zoom со спикерами, чтобы разобрать ваши вопросы голосом.

Цена 51000 руб.




СКАЧАТЬ КУРСЫ

Для просмотра скрытого содержимого вы должны зарегистрироваться