Шли годы, а "проблемы" с роботами, для усмирения которых понадобилось бы как-то применять законы Азимова", всё не вставали ребром. Однако у Человечества время от времени возникали рецидивы ощущения, что ИИ (а может быть и сильный ИИ) уже близко.

Таков был период, когда начали появляться экспертные системы, а информационные технологии дошли до того, что появилась потребность и техническая возможность работать со знаниями в более-менее формализованной форме. Этот период, как я понимаю сейчас, был очередным ренессансом мысли о скором приходе и резком развитии Искусственного Интеллекта.

Но годы снова шли, компьютеры мощнели, о том, что нам всегда хватит 640кБ памяти вспоминали всё с большей издёвкой, а хайп на тему искусственного интеллекта по поводу каждого мало-мальски заметного технического прорыва был с каждым разом всё тише и скромнее. Вспоминается как в первый раз АйБиЭмовский суперкомпьютер обыграл Каспарова (тогдашнего чемпиона мира) в шахматы.

Я тогда был уже старшеклассником и сильно увлекался всем, что связано с компьютерами. И даже мне - едва освоившему в те годы Q-Basic и посматривающему на Pascal - было удивительно почему люди связывают эту сугубо узкую переборную, чуть ли не брутфорсную задачу с Интеллектом.

Потом, когда компьютер обыграл Ли Седоля в Го, искусственно интеллектуальный хайп уже слабо выглядывал из под уровня прочего техногенно-новостного шума, хотя, надо сказать, в этот раз уже было гораздо больше поводов как-то притянуть за уши разговоры об интеллекте. AlphaGo опирался уже в значительной степени на машинное обучение, а не на логику, комбинаторику и оптимизированные классические алгоритмы.

Это был 2016 год. Я уже 12 лет как после института работаю программистом. Все эти годы не сказать что ничего не происходило, но ярких каких-то событий, связанных с машинным обучением, в медийном поле не вспоминается. Ну то есть вот как мы на 4 (или каком там я не помню уже) курсе делали лабораторку с обучением небольшой нейросетки распознавать рукописные буквы, так ничего прям так уж сильно не менялось, чтоб аж до хайпа, до того, чтобы снова вспомнить Азимова с его законами. Фантасты, конечно, старались, там витало много интересных идей, но всё на уровне шума.

Да, я отлично помню, как появлялись зачатки механизмов распознавания голоса. Куда-то это потом делось, но я отчетливо помню как на кнопочных звонилках вполне можно было голосом выбрать из телефонной книжки контакт и позвонить не нажимая кнопок. Помню как купил на где-то развалах диск с подборкой софта для синтеза и распознавания речи. В частности там был и Dragon Dictation (или что-то в этом роде). Да, эта штука даже как-то поддерживала русский язык, но качеством распознавания разочаровывала, а корявый синтез резал уши даже на английском.

Думал ли я тогда, гадал ли, что спустя некоторое время у нас будет Алиса, так здорово говорящая и замечательно понимающая даже шепот? Я отчетливо помню как появился сервис Яндекса, способный по шаблону набуровить какой-то под пьяную лавочку похожий на нормальный текст, а по факту связный, но бессмысленный набор слов.

Если оглядываться в прошлое, то это уже был перегиб экспоненты развития технологии. С этого момента машинное обучение добивалось всё новых свершений. Болталки, изображающие трёп в чате, появились давно, но о прохождении ими теста Тьюринга говорили только в шутку, от неграмотности, или инфантильного энтузиазма.

И вот мы здесь. За какие-то пару лет у нас ценой каких-то чудовищных вычислительных затрат и усилий по подготовке датасетов были обучены первые по-настоящему большие модели (LLM). Они начали удивлять. Оказалось, что раздутый до неимоверных масштабов "Т9" способен оперировать с языковыми конструктами, а это, в свою очередь, оказалось похожим на рассуждения.

Наверно это не было сюрпризом абсолютно для всех, однако удивляться тут есть чему. Оказалось, что когнитивные задачи можно решать эдаким черным ящиком, обученным на эпических количествах текстов. Да, поначалу это было глючно и странно. Галлюцинации и неуправляемость удалось побеждать разными уловками от манипуляцией с обучающей выборкой до хитрых системных промптов и итерационной многослойной обработки (думание).

Надо ли говорить, что сейчас генеративные модели и всё вот это вот, что называют Искусственным Интеллектом не просто перегретый инвестициями мыльный пузырь, а вполне себе уже приносящая пользу в куче отраслей технология? Думаю не надо.

На наших глазах случился очередной технологический фазовый переход, который меняет ландшафт и прогнозируемое будущее нашей цивилизации.

Что дальше-то? А дальше огромный простор применения и развития новой технологии. Она даже новорождённая и сырая поражает небывалыми новыми доступными возможностями. Теперь, даже если предположить, что новых текстов для обучения человечеству взять уже не откуда, есть ещё необъятные просторы для развития.

Нейросети могут брать информацию для обучения напрямую из окружающего мира, как это всегда делали люди. Да, это будет требовать гигантских энергетических и материальных затрат на вычисления, а значит мы переработаем огромное количества песка в кремний для чипов. Посмотрите что творится с рынком видеокарт, памяти, и всего, что можно использовать для растущей новой индустрии. Но этот ящик Пандоры уже не закрыть.

Но не только экстенсивные пути есть для развития. Сейчас мы уже применяем графовые БД для поиска в пространстве понятий и смыслов. Может быть мы вспомним такой замечательный язык как Пролог, чтобы "протезировать" механизм обработки формальной логики для нейросетей. В конце концов генеративные модели в чатах и рассуждениях во всю используют написание скриптов для алгоритмических вычислений. В эту "игру" можно играть по всему фронту развития ИИ.

Если кому-то кажется, что мы "упёрлись" и начнётся стагнация, то готов спорить, что это не так.

Да... к сему это я всё. Мне тут напомнили в оригинальном посте про старый добрый Lisp, а он меня в голове лежит рядышком с ещё более недооценённым на мой взгляд языком для применения в контексте ИИ - Прологом.

Помяните моё слово, его ещё вспомнят не раз в контексте оптимизации логического вывода для LLM.

Ну а чтобы два раза не вставать, жахну тут футурологический прогноз на ближайшее будущее.

На дальнюю перспективу легко прогнозировать, всё равно никто не вспомнит и не припомнит, если ошибёшься. А вот на ближнюю...

Итак, побуду капитаном:

- Будет развиваться внеконтекстная память агентов. Всевозможные векторные БД - это только начало, уже есть графовые БД, которые хранят не просто куски текста, но целые взаимосвязи понятий. До сих пор мы в основном имели "знания", спрятанные в черном ящике весов и связей нейронной сети. Это, вроде бы, тот самый путь, которым пользуются люди в своей голове, но давайте вспомним самолёты. Они хоть чем-то и похожи на птиц, однако крыльями они не машут, зато летают очень быстро и таскают много груза. Также и здесь. Мы будем оставлять за "черным ящиком" нейросети базовые "мыслительные" функции, а информацию будем вытаскивать в формализованные структуры специализированных баз данных.

- Развитие когнитивных ассистентов. Мы уже начали и продолжим учить наших ассистентов держать в формализованном векторном контексте (см предыдущий пункт) кучу совершенно разной информации о личной (цифровой и не только) жизни. Наши ассистенты будут "знать" всё о нашем творчестве, об интересах, о вкусах, о закладках в браузере, о планах на лето или выходные, об анализах из поликлиники, о покупках, о наших автомобилях начиная от расходников до поломок и ТО, о наших бытовых вопросах от содержимого холодильника до коммунальных платежей... Многие настолько будут доверять своим ИИ-ассистентам, что будут хранить в их контексте все свои личные переписки. Это неизбежно приведёт к когнитивной аугументации, когда наши ИИ-ассистенты станут своеобразной частью нашего "Я", а мы будем на них сваливать всю когнитивную рутину, которую раньше делали самостоятельно своей биологической нейросетью. И среди этого будет много парадоксальных моментов: порой мы будем склонны отдавать нейросети даже "рутину" общения с родными и знакомыми, внешние "когнитивные протезы" в лице ИИ-ассистентов будут назначать встречи, обсуждать организационные вопросы, вежливо поддерживать так называемые "small talks". Зато наша биологическая нейросеть будет, зачастую, с упоением зависать в, казалось бы, рутинных, но таких дофаминовых гриндилках, как современные казуальные компьютерные игры.

Если кому ещё интересны прогнозы на ближайшее будущее, то пинайте, а то мне кажется я тут в своём графоманском угаре генерю своей биологической языковой моделью обременительно много букофф.

А жопонюх, чьё время в этот раз не было в итоге своровано, приходит к выводу: "хм, это работает".

Страдает в итоге встречный, которому этот срач не впёрся. Но и он по ПДД должен тормозить, а не рулить, потому что у диарейщика и шило в жопе, и титул "самая вертлявая баранка". Сам куда надо вырулит.

Это, если задуматься, пугает!

Вот человек использует Большую Языковую Модель, чтобы с её помощью писать компьютерную программу. То есть человек должен быть в теме и понимать хотя бы принцип работы этого мощного инструмента, который помогает ему писать код.

Однако на деле он не хочет погружаться и разбираться в возможностях и ограничениях. Он просто... экспериментирует! Огорчается неудачам, сетует на "тупость" своего инструмента...

С одной стороны это закономерно, ведь чтобы смотреть телек вам не нужно понимать как работают транзисторы в микросхемах и квантовые точки в дисплее. Как модулируется сигнал, как шифруется и передаётся по информационным сетям видеопоток... Для обывателей телевизор - то же самое "яблочко на тарелочке", которое катится и показывает что попросили. Иногда аналогия пугающе буквальна, если вспомнить приставку-Алису. Такая же колонка как гусли-самогуды стоит на полочке и включает песни по первому требованию, а если сказать простое заклинание, то станет светло или прохладно.

Допустим появились художники с iPad'ами, планшетами с "чудесными" бесконтактными 3д-перьями для рисования... Они пользуются и не знают как технически устроена вся эта "магия" их внутреннего устройства и принципы работы. Им и не надо. Однако вот очередь дошла и до программистов! Сперва они разучились понимать как на самом деле биты и байты беают по "железу" в гарвардской или оксфордской архитектуре программируемых ими компьютеров. Им теперь нет нужды что-то понимать в регистрах процессора, стеке вызовов, прерываниях, страницах памяти, адресных шинах, файлах подкачки и прочих деталях внутреннего мира их сложных машин.

Появились абстракции, которые позволили людям не вдаваться в такие детали. Да и поди вникни! Там конвейеры в процессоре, векторные команды, куча оптимизаций, сопроцессоры, блокировки, многоуровневые кэши! Черт ногу сломит! Так что и хорошо, к месту эти уровни абстракции, а технический прогресс даёт возможность нам не вдаваясь в подробности делать сложные внутри, но достаточно простые в реализации и богатые по функциональности штуки. Это здорово!

Но что же меня пугает? Вернее как пугает... настораживает. Не может ли так случиться, что мы одичаем в нашем технологичном и удобном мире с огромным числом сложных многоуровневых абстракций?

Это же та самая проблема сингулярности, которая ещё не вылезла из тумана и, кажется, где-то там нависает. Давно нет ни единого человека, способного понимать всю "поверхность" пузыря постоянно расширяющихся знаний человечества. Даже в узкой области мы вынуждены выпускать из сферы внимания и понимания какие-то слои, детали, чтобы сконцентрироваться на функциональном и важном.

Я не неолуддит. Я сам лично своими идеями, работой, домашними пет-проектами приближаю эту страшную и волнующую сингулярность. Все айтишники это делают, и уже не только айтишники. Мне даже нравится, что наш мир всё больше и больше становится похож на то. как некогда фантасты видели тридесятые королевства в своих фэнтезийных мирах.

У нас стремительно появляются ИскИны, умные дома, методы коммуникации, которые связывают нас с людьми далеко за пределами ограничений числа Данбара.

Однако новые технологии и изменяющийся мир требует, я думаю, и пересмотра системы образования.

Когда мы читаем светлые и воодушевляющие произведения Стругацких про будущее, когда погружаемся в космооперы с технологичными мирами, то всегда там есть люди, которые умны, эрудированны и разбираются в сути вещей и технологий. Как сохранить этот вектор в системе наших идеалов? Как не одичать в удобной утробе технологического мира?

Интересно, сейчас больше или меньше люди разбираются в современных себе технических вопросах (чем раньше)?

Не хотелось бы тренда к одичанию. Вот такие вот переживания.

Ну а по существу

ежели, то LLM в виде чата и не сможет "прочитать" ваш файл без специального на то инструмента. LLM умеет только писать правдоподобные тексты. Правдоподобные и вероятные тексты, которые могли бы встретиться у них в обучающей базе.

Ну то есть хитросплетение нейронных связей настолько "преисполнилось" глубинного и туманного понимания внутренних связей и смысловых зависимостей человеческого языка, что у неё там завелись отдельные понятийные сущности для всяких штук, которые порой и словами трудно выразить, только смыслами немаленьких текстов. Так вот, оно там "преисполнилось", и теперь можно как бы вести беседу, а в указанных местах LLM будет достаточно вероятный и подходящий сюда текст подставлять.

Как ни удивительно, этот текст получается очень осмысленным и часто весьма полезным. Как ни поразительно, но огромное количество ранее неприступных когнитивных задач оказалось возможным решать просто генерируя тексты на тему и около, а потом ещё и ещё, и в конце концов "хоба" у нас, в конце, получается очень релевантный ответ. Магия? Нет, статистика и туева хуча вычислений в транзисторах. Причем в голове человека такие же, похоже, вычисления, только химические и био-электрические.

И как это относится к "чтению файла"? А так! Некому и нечем читать.

Это как с той проблемой, когда нейросеть может рассуждать о сложных выводах из Анны Карениной, но не способна посчитать буквы "р" в слове "клубника"=). Нейросеть не читает.

Тут на помощь приходят специальные агентные системы с тулингом. Они делают мостик между алгоритмическим и вот таким вот "мыслительно"-текстовым. LLM учат "мыслить" терминами "инструментов", то есть функций. Она может "найти" с помощью специальной функции в предлагаемом в виде файла тексте какие-то слова или предложения, и получить результат. Она может "посчитать" (только с помощью алгоритмического инструмента) буквы в какой-то строке. Но всё это она формулирует в терминах (утрирую) "вызываю такую-то функцию с таким-то параметром", а в ответ получает результат.

Вот такой тулинг позволяет LLM ориентироваться в строках, больших текстах, наборах файлов и в чем угодно, но всё это инструменты превращают для LLM в текст (на самом деле в потоки токенов, но это отвлекает от сути). А так как LLM не может оперировать очень большими векторами токенов, то приходится делать много отдельных запросов, минимизировать и уплотнять контекст отсевая второстепенное и оставляя главное, вызывать много тулзов, строить планы, выполнять их по шагам... Это всё не просто и требует много вычислений.

Но! Но для многих это просто магия и кажется, что можно прийти в первый попавшийся чат-бот и удивляться чего он такой тупой, что не может как другой более сложный нейронно-алгоритмический комбайн делать что-то простое и понятное нам мясным мешочкам с костями.

Надо помнить, что, не смотря на все поразительные уже сейчас возможности чат-ботов и языковых моделей, они многотысячекратно проще нашего мозга. Пока что. То ли ещё будет.

По мере роста внешнего диаметра, всё большему числу утопающих в говне жителей центра придётся перебираться на окраины. И вот, оттаял спрос на жильё, снова ожила строительная индустрия. И можно рубить бабло дальше, подогревая свои оффшорные счета. Как настоящий либерал. Благо, Лужков перед уходом добился-таки расширения территории Москвы.