Инференс
Процесс использования уже обученной модели для получения ответа на новый запрос — в отличие от обучения (training), когда модель настраивает свои параметры. Именно инференс происходит каждый раз, когда вы отправляете сообщение чат-боту.
Смотрите также
Галлюцинация ИИ
Ситуация, когда модель уверенно выдаёт неверную или полностью выдуманную информацию как факт — например, несуществующую цитату или ложную статистику. Главная причина, почему ответы ИИ всегда нужно проверять.
Контекстное окно
Максимальный объём текста (измеряется в токенах), который модель может «видеть» одновременно — включая сам запрос, историю диалога и вложенные файлы. Чем больше окно, тем длиннее документы модель может обрабатывать за раз.
Токен (в ИИ)
Минимальная единица текста, с которой работает языковая модель — обычно часть слова, целое слово или знак препинания. Стоимость использования большинства ИИ-моделей рассчитывается именно за количество токенов на входе и выходе.
Эмбеддинг
Числовое представление текста, изображения или другого объекта в виде вектора, где смысловая близость объектов отражается в близости их векторов. Используется для поиска похожих документов и лежит в основе RAG и векторных баз данных.
ИИ-агент
Система на основе LLM, которая может не только отвечать на вопросы, но и самостоятельно планировать шаги, вызывать внешние инструменты (поиск, код, API) и выполнять многошаговые задачи для достижения цели с минимальным участием человека.
Мультимодальный ИИ
Модель, способная одновременно понимать и/или генерировать разные типы данных — текст, изображения, аудио и видео — а не только текст. Например, может проанализировать фото и ответить на вопрос о нём текстом.