RLHF (обучение с подкреплением на основе обратной связи людей)
Метод дообучения модели, при котором люди оценивают качество её ответов, а модель корректируется так, чтобы чаще выдавать ответы, которые люди оценивают выше. Ключевой этап в том, чтобы сделать ИИ-модель полезной и безопасной, а не только технически рабочей.
Смотрите также
Эмбеддинг
Числовое представление текста, изображения или другого объекта в виде вектора, где смысловая близость объектов отражается в близости их векторов. Используется для поиска похожих документов и лежит в основе RAG и векторных баз данных.
ИИ-агент
Система на основе LLM, которая может не только отвечать на вопросы, но и самостоятельно планировать шаги, вызывать внешние инструменты (поиск, код, API) и выполнять многошаговые задачи для достижения цели с минимальным участием человека.
Мультимодальный ИИ
Модель, способная одновременно понимать и/или генерировать разные типы данных — текст, изображения, аудио и видео — а не только текст. Например, может проанализировать фото и ответить на вопрос о нём текстом.
Диффузионная модель
Тип генеративной модели, которая учится создавать изображения (или другой контент), постепенно «очищая» случайный шум до тех пор, пока не получится осмысленная картинка. Лежит в основе большинства генераторов изображений — Midjourney, Stable Diffusion, DALL-E.
Foundation model (базовая модель)
Крупная модель, обученная на широком массиве данных, которая служит основой для множества более узких приложений через дообучение или промптинг — вместо того чтобы обучать отдельную модель под каждую задачу с нуля.
Chain-of-thought (цепочка рассуждений)
Техника, при которой модель «рассуждает вслух» пошагово перед тем, как дать финальный ответ, вместо того чтобы сразу выдавать результат. Заметно повышает точность на задачах, требующих логики или математики.