Файнтюнинг (дообучение)
Дополнительное обучение уже готовой модели на узком наборе данных, чтобы адаптировать её под конкретную задачу или стиль — например, юридические документы или тон бренда — без обучения модели с нуля.
Смотрите также
Трансформер
Архитектура нейросети, представленная в 2017 году в статье «Attention Is All You Need», которая лежит в основе почти всех современных LLM. Её ключевая идея — механизм внимания (attention), позволяющий модели учитывать связи между всеми словами текста одновременно.
Промпт-инжиниринг
Искусство и практика составления запросов (промптов) к ИИ так, чтобы получить максимально точный и полезный ответ. Включает формулировку задачи, добавление примеров и контекста, уточнение формата вывода.
RAG (генерация с дополнением поиском)
Техника, при которой модель перед ответом сначала находит релевантные документы во внешней базе знаний, а затем использует их как контекст для генерации. Снижает риск галлюцинаций и позволяет отвечать на вопросы про свежие или узкоспециализированные данные.
Галлюцинация ИИ
Ситуация, когда модель уверенно выдаёт неверную или полностью выдуманную информацию как факт — например, несуществующую цитату или ложную статистику. Главная причина, почему ответы ИИ всегда нужно проверять.
Контекстное окно
Максимальный объём текста (измеряется в токенах), который модель может «видеть» одновременно — включая сам запрос, историю диалога и вложенные файлы. Чем больше окно, тем длиннее документы модель может обрабатывать за раз.
Токен (в ИИ)
Минимальная единица текста, с которой работает языковая модель — обычно часть слова, целое слово или знак препинания. Стоимость использования большинства ИИ-моделей рассчитывается именно за количество токенов на входе и выходе.