Что значат «миллиарды параметров» у нейросети

В описании почти любой современной языковой модели встречается цифра вроде «7B», «70B» или «400B» — количество параметров в миллиардах. Это число часто используют как ярлык мощности модели, но что оно на самом деле означает?

Что такое параметр

Параметр — это отдельное числовое значение внутри нейросети, которое модель настраивает в процессе обучения, чтобы точнее предсказывать нужный результат. Параметры — это, по сути, «веса связей» между искусственными нейронами сети: чем их больше, тем больше сложных закономерностей модель потенциально способна выучить и запомнить.

Почему больше параметров — не всегда значит лучше

Долгое время рост числа параметров действительно напрямую коррелировал с ростом качества моделей, но эта закономерность перестала быть линейной: качество и объём данных, на которых обучена модель, качество самой архитектуры и методика дообучения сегодня влияют на результат не меньше, чем сырое количество параметров. Модели с меньшим числом параметров, но более качественными данными обучения, нередко обгоняют более крупные аналоги на конкретных задачах.

Что это значит на практике

Число параметров даёт очень грубое представление о размере и потенциальной сложности модели, но не является прямым показателем качества ответов — куда важнее то, как модель обучена, на каких данных и насколько она адаптирована под конкретную задачу. При выборе модели для практической работы разумнее ориентироваться на реальные результаты в бенчмарках и собственных тестах, а не только на количество параметров в названии.