Современные нейросети, такие как ChatGPT, стремительно вошли в нашу жизнь — от помощи с домашними заданиями до создания контента и ведения диалогов. Но мало кто задумывается, как именно работает диалог с ИИ "под капотом". Один из ключевых технических элементов в этой системе — токены.

Разберёмся, что это такое, как они используются, и почему понимание их роли важно для всех, кто регулярно взаимодействует с чатами на базе искусственного интеллекта.

Что такое токены?

Токен — это не слово и не буква, а единица текста, с которой работает модель. В контексте GPT-моделей токеном может быть целое слово, его часть или даже один символ.

Например:

• Слово «машина» — это один токен.

• Английское слово «unbelievable» может быть разбито на три токена: un, believ, able.

Именно токены, а не слова, являются основой для обработки текста в нейросетях.

Зачем нужны токены?

GPT-модели не читают и не "понимают" текст как человек. Они анализируют токены, находят между ними закономерности, предсказывают следующий токен и формируют ответ на их основе.

Каждый запрос, каждое сообщение и каждый ответ в чате — это набор токенов. Даже пробелы, пунктуация и смайлики тоже учитываются.

Сколько токенов "стоит" общение с ИИ?

Модели GPT имеют ограничения по количеству токенов, которые они могут обработать в одном чате. Например:

• GPT 5: до 1М токенов.

• GPT 4o: до 128 000 токенов.

Это общее число токенов, включающее и ваши сообщения, и ответы модели. Когда лимит превышается, старые сообщения из истории чата начинают автоматически "забываться", чтобы освободить место для новых.

Почему количество токенов может меняться?

Один и тот же текст на разных языках или с разной структурой может занимать разное количество токенов. Например:

• Простое сообщение вроде «Привет, как дела?» занимает всего 5 токенов.

• Более длинное сообщение с цитатами, ссылками и форматированием может «стоить» сотни токенов.

Более того, в зависимости от конкретной модели (GPT 5, GPT-5 Mini, GPT 4 и т.д.) токены считаются немного по-разному, потому что используются разные алгоритмы токенизации.

Как это влияет на пользователей?

Если вы часто общаетесь с ChatGPT, особенно в больших сессиях, стоит помнить:

• Чем длиннее ваш запрос, тем больше токенов он потребляет.

• Чем длиннее ответы, тем быстрее модель исчерпывает лимит.

• Старые сообщения могут "пропадать" из памяти модели, если вы превысили лимит токенов.

Для пользователей на платных тарифах лимит токенов обычно выше, и используются более мощные модели, такие как GPT 5.

Подведем итоги:

Токены — это своего рода "валюта" общения с ИИ. Понимание их роли помогает более эффективно использовать возможности нейросетей: формулировать запросы лаконично, следить за длиной сообщений и понимать, почему ИИ может "забывать" ранние части диалога.

Познакомиться с работой ИИ и испытать как работают разные нейросети можно на сайте GPTGate.ru, где собрали самые популярные модели в одном месте с возможностью оплаты российской картой, без подписок и VPN. Покупайте столько токенов, сколько вам нужно, а не платите за целый месяц

Многомиллиардные расходы

Российские провайдеры и операторы связи подсчитали свои ежегодные убытки от реализация проекта «Доступный интернет». Они достигнут 150 млрд руб., и компании потребовали от государства компенсировать им эти потери, которые со временем будут расти.

Как пишет «Коммерсант», на предоставлении провайдерам и сотовым операторам компенсаций за «Доступный интернет» настаивает комиссия Российского союза промышленников и предпринимателей (РСПП) по связи и ИТ. В заседании комиссии приняли участие представители операторов и компании «Яндекс», а также ряд экспертов.

«Доступный интернет» – государственный проект, предложенный к реализации Президентом России Владимиром Путиным 15 января 2020 г. в рамках послания к Федеральному собранию. Он подразумевает обеспечение жителей России полностью бесплатным доступом к социально значимым ресурсам Рунета. Реализовать проект необходимо к 1 марта 2020 г. – с этого дня провайдеры должны прекратить взимать с абонентов плату за доступ к порталу госуслуг и сайтам всех федеральных и региональных органов власти.

Предложения РСПП и мнение операторов

В РСПП считают, что очередное финансовое обременение операторов и провайдеров на фоне необходимости исполнения «закона Яровой» и закона о «суверенном рунете» недопустимо. Союз подготовил ряд предложений по урегулированию вопроса о компенсациях, которые позже будут направлены премьер-министру России Михаилу Мишустину.
В их число входит создание единого реестра значимых веб-ресурсов и передача его в ведение Роскомнадзора. Представители регулятора отметили, что готовы принять участие в создании «отдельного нормативного регулирования» для проекта «Доступный интернет».

«Ростелеком» заверил, что обеспечит доступ к социально значимым сайтам даже при нулевом балансе счета абонента. Его представители отметили, что пользование порталами госуслуг и госорганов практически не расходует трафик ввиду малого количества видеоконтента.

Оператор «Мегафон» тоже заявил о готовности предоставить бесплатный доступ к сайтам госуслуг и органов власти с марта 2020 г. МТС, «Вымпелком» (бренд «Билайн») и «Яндекс» от комментариев «Коммерсанту» отказались.

Рост расходов

Операторы связи и провайдеры опасаются, что их ежегодные затраты на обеспечение бесплатного доступа к сайтам будут расти. В первую очередь это связано с тем, что итоговый список нетарифицируемых ресурсов на 11 февраля 2020 г. не был утвержден. Чем больше сайтов попадут в него, тем выше будут и расходы в связи с ростом объемов потребляемого пользователями трафика.

Между тем, во время обращения к Федеральному собранию Владимир Путин сказал, что проект «Доступный интернет» должен обеспечить россиянам бесплатный доступ к социально значимым отечественным ресурсам, но не уточнил, какие именно порталы входят в их число. В то же время он отметил, что Россия – «одна из немногих стран в мире, где есть отечественные социальные сети, мессенджеры, почтовые и поисковые системы и другие национальные ресурсы».

Представитель Минкомсвязи Евгений Новиков в январе 2020 г. сообщил CNews , что на тот момент обсуждался вопрос предоставления бесплатного доступа к поисковым сайтам, социальным сетям, мессенджерам и ряду других ресурсов. По его словам, для них было необходимо выработать механизм компенсаций операторам связи.

Предварительный список бесплатных сайтов

Напомним, 24 января 2020 г. стало известно, что Минкомсвязи передало операторам связи из «Большой четверки» промежуточный вариант списка социально значимых интернет-ресурсов. Сервисы в нем были поделены на четыре категории: госпорталы, почтовые сервисы, соцсети и другие значимые ресурсы.

В предварительный перечень государственных ресурсов, бесплатных для граждан России, вошли сайты министерств и органов государственной власти. Портал госуслуг тоже есть в списке, и плата за трафик при пользовании им тоже не будет взиматься.

В категории «Соцсети» числятся: «Вконтакте», «Одноклассники», «Мир тесен», «Дневник», «Мой мир», «В кругу друзей» и «Фотострана». К почтовым сервисам Минкомсвязи относит порталы yandex.ru, mail.ru и km.ru.

К другим значимым информационным ресурсам относится пока лишь мессенджер Bip, принадлежащий турецкому сотовому оператору Turkcell. Что касается популярных среди россиян сервисов обмена сообщениями (Telegram, WhatsApp, Viber и др.), то их в списке нет.

Минкомсвязи не подтвердило эту информацию. Представители ведомства отметили, список операторам связи не передавался, поскольку на тот момент он еще находился в разработке. Позже глава министерства Максут Шадаевуточнил, что итоговый вариант перечня бесплатных для россиян сайтов должен быть сформирован к концу февраля 2020 г.

http://cnews.ru/link/n503586