Контекстное окно
Максимальный объём текста (измеряется в токенах), который модель может «видеть» одновременно — включая сам запрос, историю диалога и вложенные файлы. Чем больше окно, тем длиннее документы модель может обрабатывать за раз.
Смотрите также
RAG (генерация с дополнением поиском)
Техника, при которой модель перед ответом сначала находит релевантные документы во внешней базе знаний, а затем использует их как контекст для генерации. Снижает риск галлюцинаций и позволяет отвечать на вопросы про свежие или узкоспециализированные данные.
Файнтюнинг (дообучение)
Дополнительное обучение уже готовой модели на узком наборе данных, чтобы адаптировать её под конкретную задачу или стиль — например, юридические документы или тон бренда — без обучения модели с нуля.
Галлюцинация ИИ
Ситуация, когда модель уверенно выдаёт неверную или полностью выдуманную информацию как факт — например, несуществующую цитату или ложную статистику. Главная причина, почему ответы ИИ всегда нужно проверять.
Токен (в ИИ)
Минимальная единица текста, с которой работает языковая модель — обычно часть слова, целое слово или знак препинания. Стоимость использования большинства ИИ-моделей рассчитывается именно за количество токенов на входе и выходе.
Инференс
Процесс использования уже обученной модели для получения ответа на новый запрос — в отличие от обучения (training), когда модель настраивает свои параметры. Именно инференс происходит каждый раз, когда вы отправляете сообщение чат-боту.
Эмбеддинг
Числовое представление текста, изображения или другого объекта в виде вектора, где смысловая близость объектов отражается в близости их векторов. Используется для поиска похожих документов и лежит в основе RAG и векторных баз данных.