Параметры нейросети: что означают миллиарды параметров и почему больше не всегда лучше

Параметры нейросети - это числовые значения, которые модель изменяет во время обучения, чтобы находить закономерности в данных и выдавать подходящий результат. Именно поэтому в описаниях языковых моделей часто встречаются обозначения вроде 7B, 13B или 70B: они указывают, что модель содержит примерно 7, 13 или 70 миллиардов параметров.

На первый взгляд кажется логичным: чем больше параметров у нейросети, тем она умнее. На практике всё сложнее. Размер модели действительно влияет на её возможности, но качество зависит также от архитектуры, обучающих данных, способа обучения и того, насколько эффективно модель использует имеющиеся параметры.

Что такое параметры нейросети и что именно они хранят

Если сильно упростить работу нейросети, внутри неё находится огромное количество математических связей. Каждая такая связь может усиливать или ослаблять определённый сигнал. Числа, управляющие этими связями, и называют параметрами нейронной сети.

Большая часть параметров представляет собой веса. Они определяют, насколько сильно один элемент вычисления влияет на другой. Во многих слоях также используются дополнительные значения - например, смещения, или bias. Вместе они формируют внутреннее состояние модели, которое постепенно меняется во время обучения.

Когда нейросеть только создают, её параметры ещё не содержат полезных закономерностей. Затем модель получает обучающие примеры, делает предсказания, сравнивает их с ожидаемым результатом и корректирует веса. Этот процесс повторяется огромное количество раз.

В результате параметры постепенно принимают такие значения, которые позволяют модели лучше обрабатывать новые данные.

Параметры, веса и связи между нейронами

Представим очень простую нейросеть, которая должна определить, изображена ли на фотографии кошка. Один внутренний признак может реагировать на форму ушей, другой - на шерсть, третий - на контуры глаз.

Вес определяет, насколько важен конкретный сигнал для следующего этапа вычислений. Если какой-либо признак оказывается полезным для распознавания кошки, обучение может увеличить влияние соответствующих связей. Если признак часто приводит к ошибкам, его влияние может уменьшиться.

Современные языковые модели устроены намного сложнее. В них параметры участвуют в обработке токенов, построении внутренних представлений текста, механизме Attention и преобразованиях между слоями. Но общий принцип сохраняется: модель обучается, изменяя огромное количество чисел так, чтобы её ответы становились статистически лучше.

Поэтому выражение "нейросеть содержит 10 миллиардов параметров" не означает, что внутри неё находится 10 миллиардов отдельных знаний. Это означает, что в вычислениях используется примерно 10 миллиардов обучаемых числовых коэффициентов.

Подробнее базовое устройство нейронных сетей разобрано в материале Как работает нейросеть простыми словами: объяснение для всех.

Чем параметры отличаются от данных обучения

Параметры нейросети часто ошибочно воспринимают как огромную базу данных, в которой записаны тексты, изображения и факты из интернета. Такое представление слишком упрощает происходящее.

Обучающие данные действительно используются для изменения параметров, но обычно они не превращаются в набор файлов, которые модель затем ищет при каждом запросе. Во время обучения алгоритм выявляет статистические зависимости и распределяет их по множеству весов.

Например, языковая модель может научиться тому, что определённые слова часто встречаются в похожем контексте или что после некоторых конструкций вероятны определённые продолжения. Эта информация не обязательно существует внутри модели как отдельная запись. Она распределена между большим количеством параметров.

Поэтому невозможно взять один конкретный вес и сказать: "в этом параметре хранится информация о Париже", а в другом - правило русского языка. Один параметр обычно участвует сразу во множестве вычислений, а конкретное знание формируется совместной работой большого числа весов.

Именно распределённый характер хранения информации позволяет нейросетям обобщать изученные закономерности, а не только воспроизводить отдельные примеры из обучающего набора.

Почему у современных LLM миллиарды параметров

Количество параметров нейросети напрямую связано с её архитектурой. Чем больше внутренних слоёв, шире представления и крупнее матрицы вычислений, тем больше обучаемых коэффициентов необходимо хранить модели.

Особенно заметно это у больших языковых моделей. Параметры LLM используются на разных этапах обработки текста: при преобразовании токенов во внутренние представления, работе механизма Attention, передаче информации между слоями и вычислении вероятностей следующего токена.

Даже один слой современной языковой модели может содержать огромные матрицы из миллионов чисел. Если таких слоёв несколько десятков или сотен, общее количество параметров быстро достигает миллиардов.

Важно, что миллиарды параметров появляются не потому, что разработчики заранее создают отдельную ячейку для каждого слова или факта. Это следствие масштаба математических преобразований, которые выполняет модель.

Откуда берётся количество параметров

Рассмотрим упрощённый пример. Пусть внутри нейросети есть слой, который принимает вектор из 1 000 чисел и преобразует его в другой вектор из 2 000 чисел.

Для соединения каждого входного значения с каждым выходным потребуется матрица размером 1 000 × 2 000. Только в ней будет два миллиона весов. Дополнительно могут использоваться смещения и другие обучаемые значения.

В реальной LLM размерность внутренних представлений может составлять уже тысячи элементов, а подобные преобразования повторяются много раз в каждом слое.

Отдельную долю параметров занимают механизмы Attention. В них создаются обучаемые матрицы, с помощью которых модель формирует запросы, ключи и значения для определения связей между токенами. Ещё больше параметров может находиться в полносвязных блоках, через которые проходит информация после Attention.

Поэтому итоговое количество параметров определяется сразу несколькими характеристиками архитектуры: количеством слоёв, размерностью внутренних представлений, размером промежуточных слоёв, словарём модели и устройством отдельных вычислительных блоков.

Две языковые модели с одинаковым количеством слоёв при этом необязательно будут иметь одинаковое количество параметров. Если одна использует более широкие внутренние представления или другую архитектуру блоков, её размер может значительно отличаться.

Что меняется при росте модели

Увеличение количества параметров даёт нейросети больше пространства для формирования сложных внутренних зависимостей. Условно говоря, модель получает больше числовых коэффициентов, через которые можно описывать закономерности языка, связи между понятиями и особенности разных типов задач.

Именно поэтому крупные модели часто лучше справляются с разнообразными запросами. Они могут одновременно работать с программным кодом, обычным текстом, анализом документов, переводом и логическими задачами, не будучи настроенными только под одну узкую область.

Но увеличение модели не означает пропорционального роста качества. Нейросеть на 70 миллиардов параметров вовсе не обязана быть в десять раз лучше модели на 7 миллиардов.

После определённого момента каждый следующий прирост требует всё больше вычислительных ресурсов, тогда как улучшение результатов может становиться значительно меньше. Кроме того, неудачная архитектура или слабые обучающие данные способны ограничить даже очень крупную модель.

Количество параметров поэтому лучше воспринимать как характеристику вычислительного масштаба модели, а не как универсальную единицу её интеллекта.

Как считаются параметры нейросети и что означает размер модели

Посчитать количество параметров нейросети можно, если знать устройство всех её обучаемых слоёв. В простейшем случае достаточно определить размер каждой матрицы весов и количество дополнительных коэффициентов, после чего сложить полученные значения.

Например, полносвязный слой с 100 входами и 200 выходами содержит 100 × 200 = 20 000 весов. Если для каждого из 200 выходов предусмотрено собственное смещение, получится ещё 200 параметров. Всего такой слой будет содержать 20 200 обучаемых значений.

В больших нейросетях принцип остаётся тем же, только матриц значительно больше, а их размеры могут достигать тысяч на тысячи элементов.

Именно суммарное число всех таких обучаемых значений обычно указывается в характеристиках модели. Обозначение 7B означает приблизительно семь миллиардов параметров, а 70B - около семидесяти миллиардов. Буква B происходит от английского billion - миллиард.

Миллиард параметров - сколько это в памяти

Количество параметров связано с объёмом памяти, который требуется для хранения модели, но эти значения нельзя считать равнозначными.

Размер зависит от того, сколько бит используется для хранения одного параметра. Если каждый вес записан в формате FP32, на него требуется 32 бита, или 4 байта. Один миллиард таких параметров займёт приблизительно 4 ГБ только для хранения весов.

При использовании 16-битных форматов объём уменьшается примерно вдвое. Один миллиард параметров в таком случае требует около 2 ГБ.

Квантизация позволяет хранить веса с ещё меньшей точностью. Например, при 8 битах теоретический объём составляет около 1 ГБ на миллиард параметров, а при 4 битах - около 0,5 ГБ.

Поэтому одна и та же модель может распространяться в версиях разного размера. У них одинаковое или почти одинаковое количество параметров, но различается точность их представления.

На практике для запуска нейросети нужна память не только под сами веса. Дополнительное место занимают промежуточные вычисления, контекст, кэш Attention и служебные данные. Во время обучения требования ещё выше, поскольку необходимо хранить градиенты и дополнительные состояния оптимизатора.

Активные и общие параметры

У некоторых современных нейросетей особенно большое заявленное количество параметров связано с архитектурой Mixture of Experts, или MoE.

В обычной плотной модели большая часть параметров слоя участвует в обработке каждого входного фрагмента. В MoE внутри модели существует несколько специализированных блоков - экспертов. Для конкретного токена система выбирает только часть из них.

Например, нейросеть может иметь сотни миллиардов параметров суммарно, но при обработке одного токена активировать значительно меньшую их долю. Поэтому две цифры - общее количество параметров и количество активных параметров - описывают разные свойства модели.

Общее число показывает масштаб всей архитектуры, а активное - приблизительный объём вычислений, который используется при конкретном проходе через модель.

Из-за этого сравнение современных нейросетей только по обозначениям вроде 70B или 200B становится ещё менее точным. Модель с большим общим числом параметров может фактически выполнять меньше вычислений на каждый токен, чем меньшая, но полностью плотная нейросеть.

Почему больше параметров не всегда означает лучшую нейросеть

Большое количество параметров даёт модели больше вычислительной ёмкости, но не гарантирует, что эта ёмкость будет использована эффективно. Две нейросети сопоставимого размера могут заметно отличаться по качеству ответов, скорости работы и способности решать конкретные задачи.

Причина в том, что число параметров описывает только масштаб модели. Оно не показывает, насколько удачно построена архитектура, какие данные использовались при обучении, насколько хорошо настроен сам процесс обучения и как модель дорабатывали после основной стадии тренировки.

Поэтому сравнивать нейросети только по принципу "у этой 70 миллиардов параметров, а у другой 30 миллиардов - значит первая лучше" некорректно.

Архитектура и качество обучения важнее одного числа

Даже очень большая нейросеть может показывать слабые результаты, если она обучалась на некачественных, однообразных или плохо отфильтрованных данных. Увеличение количества параметров в таком случае лишь позволяет модели точнее усваивать те закономерности, которые присутствуют в обучающем наборе, включая нежелательные.

Не менее важна архитектура. Разработчики могут менять устройство Attention, способы обработки длинного контекста, размеры внутренних слоёв, организацию памяти и маршрутизацию данных между блоками. Более эффективная архитектура позволяет получать высокий результат без простого увеличения числа весов.

Большое значение имеет и то, как распределяется вычислительный бюджет обучения. Модель можно сделать крупнее, но дать ей недостаточно данных или слишком мало времени на обучение. Тогда часть потенциальных возможностей останется неиспользованной.

Существует и обратная ситуация: относительно компактную модель обучают на тщательно отобранном наборе данных, используют качественную разметку, улучшенные методы оптимизации и дополнительное дообучение. В результате она может приблизиться к более крупным конкурентам или даже превосходить их в отдельных задачах.

После основной тренировки языковые модели также часто проходят дополнительные этапы настройки. Их обучают лучше следовать инструкциям, формировать полезные ответы, работать с диалогом и избегать нежелательного поведения. Эти этапы способны заметно изменить реальное качество модели, не увеличивая количество параметров вообще.

Маленькая модель может обойти большую

Преимущество компактных нейросетей особенно хорошо видно в специализированных сценариях. Универсальная большая модель должна уметь работать с множеством тем и типов запросов, тогда как небольшую можно оптимизировать под одну конкретную задачу.

Например, модели может требоваться только классифицировать документы, извлекать из текста определённые данные, выполнять простой перевод или работать с ограниченной профессиональной терминологией. Для таких задач десятки или сотни миллиардов параметров часто не нужны.

Меньшая модель обычно требует меньше оперативной или видеопамяти, быстрее загружается и выполняет вычисления с меньшими затратами энергии. Это позволяет запускать её локально на сервере, ноутбуке, смартфоне или другом устройстве без постоянного обращения к мощной облачной инфраструктуре.

Скорость тоже может оказаться важнее максимального качества. Если системе необходимо обрабатывать тысячи коротких запросов в реальном времени, компактная нейросеть с немного меньшей точностью может быть полезнее большой модели, которая выдаёт результат медленнее и требует значительно больше ресурсов.

Особенно показательны малые языковые модели, которые разрабатываются с расчётом на эффективное выполнение конкретного набора задач. Подробнее различия этого подхода разобраны в материале Малые языковые модели (SLM) против LLM: почему компактные нейросети выбирает бизнес.

Размер модели поэтому стоит рассматривать как один из множества технических параметров. Для реального использования важнее соотношение между качеством, скоростью, стоимостью вычислений и требованиями конкретной задачи.

Как правильно сравнивать нейросети по количеству параметров

Обозначения 7B, 13B, 70B и подобные удобны, потому что дают быстрое представление о масштабе модели. Но использовать их как главный критерий выбора нейросети нельзя. Количество параметров показывает, насколько велика модель, а не насколько хорошо она справится с конкретной задачей.

Даже модели одинакового размера могут существенно различаться по качеству. Одна лучше пишет код, другая точнее следует инструкциям, третья эффективнее работает с длинными документами. Причина в различиях архитектуры, данных, методах обучения и последующей настройке.

Поэтому число параметров полезно прежде всего как техническая характеристика. Оно помогает примерно оценить требования к памяти и вычислительным ресурсам, но почти ничего не говорит о практической ценности модели без дополнительного контекста.

На что смотреть кроме числа параметров

• Качество на нужных пользователю задачах. Если нейросеть требуется для программирования, стоит оценивать её именно на работе с кодом. Если главная задача - обработка документов, важнее способность находить информацию, соблюдать инструкции и работать с длинным контекстом.
• Контекстное окно - объём информации, который модель может учитывать одновременно. Нейросеть с меньшим числом параметров, но удобной работой с длинным контекстом иногда оказывается полезнее крупной модели, которая не способна обработать необходимый документ целиком.
• Скорость генерации. Чем больше активных параметров приходится обрабатывать, тем выше обычно требования к оборудованию и тем дороже получение каждого ответа. Для интерактивного помощника разница между быстрым и медленным откликом может быть важнее небольшого преимущества в качестве.
• Требования к памяти. Крупная LLM может потребовать несколько мощных видеокарт, тогда как квантизированная компактная модель способна работать на обычном персональном компьютере.
• Независимые тесты и примеры использования. Один усреднённый рейтинг тоже не даёт полной картины, но сравнение моделей на нескольких подходящих задачах обычно намного информативнее, чем сопоставление количества параметров.

Когда большая модель действительно нужна

Крупные модели особенно полезны там, где заранее невозможно ограничить набор возможных задач. Универсальный ИИ-ассистент может в одном диалоге анализировать текст, объяснять программный код, работать с таблицами, переводить материалы и отвечать на вопросы из разных областей.

Для такого поведения необходима способность обрабатывать большое количество разнообразных закономерностей. Дополнительные параметры дают модели больше ёмкости для формирования сложных внутренних представлений.

Большие LLM также часто сильнее в задачах, где требуется объединить несколько навыков одновременно. Например, прочитать технический документ, выделить проблему, написать код для её решения и объяснить результат простыми словами.

Но и здесь размер не гарантирует отсутствие ошибок. Крупная нейросеть всё равно может неправильно интерпретировать запрос, галлюцинировать факты или уверенно выдавать неверный ответ. Подробнее эти ограничения разобраны в статье Почему большие языковые модели ошибаются: ограничения LLM и риски ИИ.

Когда лучше компактная модель

Компактные нейросети подходят для задач, где важны скорость, стоимость и возможность локального запуска. Если диапазон запросов заранее известен, использовать универсальную модель на десятки или сотни миллиардов параметров часто просто невыгодно.

Например, небольшая модель может проверять обращения пользователей, классифицировать сообщения, извлекать значения из документов или выполнять ограниченный набор команд. После специализированного обучения она способна решать такую задачу достаточно точно при значительно меньших вычислительных затратах.

Локальный запуск даёт и другие преимущества. Данные можно обрабатывать непосредственно на устройстве или внутри инфраструктуры компании, не отправляя каждый запрос во внешний облачный сервис. Кроме того, система меньше зависит от скорости соединения и доступности удалённых серверов.

Поэтому подход "выбрать модель с максимальным количеством параметров" редко бывает оптимальным. Гораздо полезнее сначала определить задачу, требования к качеству и доступные вычислительные ресурсы, а уже после этого выбирать подходящий масштаб нейросети.

Заключение

Параметры нейросети - это обучаемые числовые коэффициенты, которые определяют, как модель преобразует входные данные и формирует результат. Миллиарды параметров не означают миллиарды отдельно записанных фактов: знания и закономерности распределены между огромным количеством взаимосвязанных весов.

Число параметров хорошо показывает масштаб модели и примерно помогает оценить требования к памяти и вычислениям. Но использовать его как универсальный показатель качества нельзя. Архитектура, обучающие данные, методы оптимизации, дополнительное обучение и специализация способны влиять на результат не меньше, чем сам размер модели.

Большая LLM имеет смысл для сложных и разнообразных задач, где требуется универсальность. Для локального запуска, высокой скорости или узкой специализации компактная модель нередко оказывается практичнее и экономичнее.

Поэтому при сравнении нейросетей стоит смотреть не на то, у какой модели больше миллиардов параметров, а на то, насколько хорошо она решает нужную задачу при приемлемых требованиях к ресурсам.