Токенизация текста: как нейросеть превращает человеческий язык в числа

Нейросеть не читает предложение так, как это делает человек. Для модели текст из слов, пробелов и знаков препинания сначала должен превратиться в форму, пригодную для математических вычислений. Именно эту задачу выполняет токенизация текста - один из первых этапов обработки любого запроса в языковой модели.

В упрощённом виде процесс выглядит так: исходный текст разбивается на небольшие фрагменты - токены, каждому из них назначается числовой идентификатор, после чего эти числа преобразуются в векторные представления. Уже с ними работают слои нейросети. Поэтому путь от обычного предложения до данных внутри модели можно представить как цепочку: текст → токены → ID → векторы → вычисления нейросети.

Что такое токенизация текста и зачем она нужна нейросети

Токенизация текста - это процесс разбиения исходной строки на отдельные элементы, которые модель умеет обрабатывать. Такими элементами могут быть целые слова, части слов, отдельные символы, цифры или знаки препинания.

Например, человек воспринимает слово "токенизация" как единое целое. Токенизатор конкретной модели может оставить его одним токеном, а может разделить на несколько фрагментов. То же самое происходит с именами, техническими терминами, редкими словами и словами на разных языках.

Причина проста: нейросеть не может напрямую выполнять математические операции над буквами или словами. Процессор работает с числами, поэтому текст необходимо сначала представить в числовой форме. Токенизация становится промежуточным слоем между человеческим языком и математической моделью.

При этом токенизация - не обычное разделение предложения по пробелам. Если взять фразу:

Нейросеть понимает текст.

простое разделение по пробелам дало бы три слова. Реальный токенизатор может выделить больше элементов: часть длинного слова, отдельный знак препинания или несколько фрагментов одного слова. Конкретный результат зависит от алгоритма и словаря, используемого моделью.

Токен также не следует считать синонимом слова. Иногда распространённое короткое слово действительно соответствует одному токену. Но длинное или редкое слово может занимать два, три и более токенов. С другой стороны, отдельным токеном может быть знак препинания, последовательность цифр или часть слова.

Из-за этого два предложения с одинаковым количеством слов могут значительно отличаться по количеству токенов. Более того, одинаковый по смыслу текст на русском и английском языках тоже необязательно будет занимать одинаковое количество токенов.

Подробнее о том, что представляют собой сами токены, зачем они нужны языковым моделям и почему ChatGPT считает именно их, а не слова, читайте в отдельном материале.

После разбиения текста каждый получившийся элемент можно связать с конкретным числом из словаря модели

Однако, прежде чем перейти к числам, важно разобраться, по каким правилам токенизатор вообще решает, где заканчивается один токен и начинается другой.

Как текст преобразуется в токены

Токенизатор получает исходную строку и разбивает её на последовательность элементов из своего словаря. При этом границы токенов не обязаны совпадать с границами слов. В одном случае токеном станет целое слово, в другом - его часть, а в третьем - отдельный символ.

От исходной строки до последовательности фрагментов

Представим простую фразу:

Нейросеть анализирует текст.

Человек сразу видит три слова и точку. Для токенизатора структура может выглядеть иначе. Условно он способен разбить строку так:

• [Нейро]
• [сеть]
• [ анализ]
• [ирует]
• [ текст]
• [.]

Это лишь пример: реальное разбиение зависит от конкретного токенизатора. Одна модель может сохранить "нейросеть" как единый элемент, другая - разделить его на две или несколько частей.

Пробелы тоже учитываются алгоритмом. В некоторых системах токен может включать пробел перед словом. Поэтому одинаковая последовательность букв в начале строки и после другого слова иногда представляется разными элементами словаря.

Такой подход позволяет не хранить в словаре каждую существующую словоформу. Вместо миллионов отдельных вариантов модель может собирать редкие и сложные слова из более универсальных фрагментов.

Почему одно слово может занимать несколько токенов

Чем чаще определённая последовательность встречалась в данных при создании токенизатора, тем выше вероятность, что для неё существует отдельный токен. Распространённые слова, окончания и сочетания символов обычно представлены компактнее.

С редкими словами ситуация обратная. Например, необычный технический термин, фамилия или длинное составное слово может отсутствовать в словаре целиком. Тогда токенизатор раскладывает его на знакомые части.

Условное слово:

микроархитектура

может быть представлено как:

• [микро]
• [архитект]
• [ура]

Если в словаре нет и таких крупных фрагментов, разбиение станет ещё мельче.

Особенно заметна разница между языками. Токенизатор, в словаре которого хорошо представлены английские последовательности, может кодировать английский текст компактнее русского, японского или другого языка. Поэтому одинаковые по смыслу предложения на разных языках способны занимать разное место в контекстном окне модели.

Необычные символы, эмодзи, последовательности цифр и программный код также могут разбиваться непредсказуемо с точки зрения человека. Например, длинный идентификатор или случайная комбинация букв иногда занимает намного больше токенов, чем короткое обычное предложение.

Что такое токенизатор

Токенизатор - это алгоритм и набор данных, определяющие, каким образом текст превращается в токены. Важная его часть - словарь, где каждому допустимому токену соответствует собственный числовой идентификатор.

Условно часть такого словаря может выглядеть так:

• "текст" → 4812
• "нейро" → 7351
• "сеть" → 294
• . → 13

Цифры здесь приведены только для примера. У разных моделей словари и идентификаторы отличаются.

Когда пользователь отправляет запрос, токенизатор ищет подходящие элементы словаря и формирует из них последовательность. Если целого слова в словаре нет, алгоритм использует более мелкие составляющие. В результате практически любой текст можно представить через ограниченный набор известных модели токенов.

От размера словаря и способа его построения зависит многое: насколько компактно кодируется текст, как обрабатываются разные языки и сколько токенов потребуется для редких слов. Поэтому токенизация является не вспомогательной технической формальностью, а важной частью архитектуры языковой модели.

BPE и Byte Pair Encoding: как нейросеть выбирает части слов

Один из распространённых подходов к токенизации - Byte Pair Encoding, или BPE. Изначально этот алгоритм появился как метод сжатия данных, но позже его начали использовать для построения словарей языковых моделей.

Главная идея BPE заключается в поиске часто встречающихся последовательностей и объединении их в более крупные элементы. Благодаря этому токенизатор может хранить распространённые слова или части слов целиком, а редкие конструкции собирать из нескольких более коротких токенов.

Если бы словарь содержал только целые слова, он быстро стал бы огромным. Для русского языка пришлось бы отдельно хранить множество форм одного и того же слова: "нейросеть", "нейросети", "нейросетей", "нейросетями" и так далее. Кроме того, постоянно появляются новые имена, термины, названия продуктов и другие последовательности, которых раньше могло не существовать.

Хранить каждый возможный вариант отдельно неэффективно. Но и разбивать весь текст исключительно на отдельные символы тоже неудобно: последовательности становятся слишком длинными. BPE позволяет найти компромисс между этими крайностями.

Принцип можно представить на упрощённом примере. Допустим, в обучающих данных часто встречаются слова:

• нейрон
• нейросеть
• нейронный

На первом этапе алгоритм может рассматривать их как набор отдельных символов. Затем он подсчитывает, какие соседние символы встречаются вместе чаще всего. Если сочетание н + е встречается очень часто, его можно объединить в новый элемент не.

После этого алгоритм снова ищет наиболее частые сочетания. Постепенно могут появиться более крупные элементы:

• н + е → не
• не + й → ней
• ней + р → нейр
• нейр + о → нейро

В результате последовательность нейро может стать самостоятельным токеном, потому что она регулярно встречается во множестве слов.

Это означает, что слова нейросеть, нейрон и нейроинтерфейс не обязательно нужно хранить целиком. Токенизатор способен использовать общий фрагмент нейро, а оставшуюся часть слова представить другими токенами.

Частые конструкции благодаря такому подходу кодируются относительно компактно. Редкое слово, которого целиком нет в словаре, просто разбивается на более мелкие известные элементы. Поэтому модель не ограничена фиксированным набором обычных слов.

Сам Byte Pair Encoding не означает, что все современные языковые модели используют абсолютно одинаковую схему токенизации. Существуют различные модификации BPE и другие подходы к построению токенов. Отличаться могут исходные единицы, размер словаря, правила объединения и способ работы с пробелами или специальными символами.

Из-за этого одна и та же фраза в двух моделях может превратиться в разное количество токенов. Даже если обе системы работают с похожим принципом, их словари были построены независимо и могут по-разному выделять наиболее полезные последовательности.

При этом задача остаётся общей: представить практически неограниченное разнообразие человеческого текста с помощью конечного набора элементов. После того как токенизатор определил эти элементы, каждому из них можно сопоставить число и передать результат дальше в нейросеть.

Как токены превращаются в числа, понятные нейросети

После токенизации модель получает не слова, а последовательность отдельных элементов. Однако даже сами токены ещё нельзя напрямую передать в нейросеть. Следующий этап - сопоставить каждому из них числовой идентификатор.

Числовой ID каждого токена

В словаре токенизатора каждому токену соответствует уникальное целое число. Условно фраза:

нейросеть понимает текст

может сначала превратиться в:

• [нейро]
• [сеть]
• [ понимает]
• [ текст]

а затем - в последовательность идентификаторов:

• [3817, 9421, 15603, 4812]

Сами числа здесь условные. В реальной модели значения зависят от конкретного словаря токенизатора.

Такой ID можно воспринимать как номер токена в огромной таблице. Если токену нейро назначен идентификатор 3817, то каждый раз при его появлении токенизатор сможет представить его этим числом.

На этом этапе текст уже превращён в числовую последовательность, однако нейросеть всё ещё не может извлечь смысл непосредственно из номеров.

Почему одного номера токена недостаточно

Числовой ID не показывает значение токена. Например, если токену "кот" соответствует число 500, а токену "собака" - 9000, это не означает, что "собака" каким-либо образом в 18 раз больше или важнее "кота".

Номера нужны только для идентификации элементов словаря. Они работают примерно как номера строк в базе данных: позволяют найти нужную запись, но сами по себе ничего не рассказывают о её содержании.

Поэтому перед основной обработкой каждый ID используется для получения другого представления - набора чисел, называемого вектором или embedding.

Как появляются векторы

Для каждого токена модель хранит числовое представление из множества значений. Условно вместо одного ID:

3817

нейросеть получает что-то похожее на:

[0.12, -0.47, 0.83, 0.05, ...]

В реальных языковых моделях такие векторы могут содержать сотни или тысячи числовых компонентов.

Это уже не просто порядковый номер. Во время обучения параметры модели настраиваются так, чтобы векторные представления помогали ей работать со связями между элементами языка. Благодаря этому токены, используемые в похожих контекстах, могут получать представления с определёнными сходствами.

При этом нельзя считать, что отдельная координата такого вектора буквально означает, например, "животное", "предмет" или "положительная эмоция". Представление распределено сразу по большому числу параметров и приобретает смысл в контексте всей модели.

После получения векторов к ним добавляется информация, позволяющая учитывать положение элементов в последовательности. Это важно, потому что набор одинаковых слов в разном порядке может иметь совершенно разный смысл.

В упрощённом виде весь путь выглядит так:

текст → токенизация → токены → числовые ID → векторы → обработка нейросетью

Например, пользователь вводит обычное предложение. Токенизатор разбивает его на несколько частей и заменяет каждую числом. По этим числам модель получает соответствующие векторные представления, после чего начинает анализировать связи между токенами и их контекст.

Именно на этом этапе человеческий язык окончательно превращается в математические данные, с которыми нейросеть способна выполнять вычисления.

Как токенизация влияет на то, как нейросеть понимает текст

Токенизация не определяет смысл текста сама по себе, но она напрямую влияет на то, в каком виде этот текст попадёт в модель. Чем удобнее фраза разбивается на знакомые токены, тем компактнее она представляется внутри контекстного окна и тем проще модели работать с последовательностью.

Для человека слова "кот", "котик" и "котёнок" явно связаны между собой. Токенизатор при этом может разделить их совершенно по-разному. Одно слово окажется одним токеном, другое - двумя, а третье - несколькими фрагментами. Уже после этого нейросеть должна определить связи между получившимися элементами с учётом окружающего контекста.

Особенно заметна работа токенизации на редких терминах. Распространённое слово, которое часто встречалось при построении словаря, с высокой вероятностью будет представлено относительно крупным токеном. Необычное название технологии, фамилия, химическая формула или недавно появившийся термин могут разбиться на множество частей.

Например, знакомое токенизатору слово условно может выглядеть так:

• [компьютер]

А редкое название:

• [кван]
• [то]
• [грав]
• [иметр]
• [ия]

Это не означает, что модель не способна работать с редким словом. Она всё равно получает последовательность допустимых токенов и может анализировать их в контексте предложения. Просто такое представление занимает больше места и состоит из большего количества отдельных элементов.

Похожая ситуация возникает с именами пользователей, адресами сайтов, серийными номерами, случайными последовательностями символов и программным кодом. Строка, которая человеку кажется короткой, иногда превращается в неожиданно длинную последовательность токенов.

Язык текста тоже имеет значение. Словарь токенизатора строится на определённом наборе данных, поэтому разные языки представлены в нём неодинаково. Если часто встречающиеся фрагменты английских слов включены в словарь крупными блоками, а русские последовательности чаще разбиваются на более мелкие части, русский текст может потребовать больше токенов для передачи того же объёма информации.

Разница особенно важна при работе с длинными документами. Контекстное окно модели измеряется именно в токенах, а не в страницах, символах или словах. Поэтому два текста одинакового размера визуально могут занимать разное количество доступного контекста.

Но токенизация ещё не означает понимание языка. Когда слово превратилось в несколько токенов, модель не рассматривает каждый из них как отдельное человеческое понятие. После преобразования в векторы нейросеть анализирует всю последовательность и связи между её частями.

Например, слово "ключ" может означать инструмент, источник воды, способ расшифровки данных или элемент доступа к системе. Сам токенизатор не выбирает нужное значение. Он лишь преобразует текст в последовательность элементов. Какой смысл имеет слово в конкретной фразе, модель определяет уже на следующих этапах обработки, используя окружающий контекст.

Поэтому ответ на вопрос "как нейросеть понимает текст" начинается с токенизации, но не заканчивается ею. Токенизатор переводит человеческий язык в удобную для вычислений форму, а дальнейшая работа с контекстом и связями между токенами происходит внутри самой языковой модели.

Заключение

Токенизация текста - это первый шаг, который превращает обычный человеческий язык в данные, пригодные для обработки нейросетью. Текст разбивается на токены, каждому токену сопоставляется числовой ID, а затем модель получает его векторное представление и использует его в дальнейших вычислениях.

При этом токен не обязательно равен слову. Им может быть целое слово, его часть, символ или знак препинания. Поэтому количество токенов зависит не только от длины текста, но и от языка, используемой лексики и конкретного токенизатора.

Алгоритмы вроде Byte Pair Encoding помогают находить баланс между слишком большим словарём целых слов и неэффективным разбиением текста на отдельные символы. Частые последовательности становятся крупными токенами, а редкие слова собираются из более мелких частей.

В результате путь текста внутри языковой модели можно представить простой цепочкой:

человеческий текст → токенизатор → токены → числовые ID → векторы → нейросеть

Понимание этого процесса помогает разобраться, почему ChatGPT и другие языковые модели считают объём контекста в токенах, почему одинаковые по длине тексты могут занимать разное количество контекста и каким образом обычное предложение вообще становится набором чисел, доступных для математической обработки.