Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Регистрируясь, я даю согласие на обработку данных и условия почтовых рассылок.
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Динамичная карточный батл с онлайн-сражениями PvP и PvE. Соберите коллекцию уникальных карточных героев, создайте мощную боевую колоду и бросьте вызов другим игрокам со всего мира.

Cards out!

Карточные, Ролевые, Стратегии

Играть

Топ прошлой недели

  • solenakrivetka solenakrivetka 7 постов
  • Animalrescueed Animalrescueed 53 поста
  • ia.panorama ia.panorama 12 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая «Подписаться», я даю согласие на обработку данных и условия почтовых рассылок.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
0 просмотренных постов скрыто
1
SLIMPER753
SLIMPER753

Ответ на пост «"Гарри Поттер и методы рационального мышления": феномен со всех сторон»⁠⁠2

2 месяца назад

От нефиг делать скопирую сюда свой отзыв с фантлаба. Моя оценка: 8/10

В общем и целом:

Мельком проглядел отдельные отзывы [на фантлабе] и удивился, что многие восприняли эту книгу как нечто серьезное. Особенно забавляют фразы про мэрисьюшность главного героя. Так в этом же весь прикол. Суть в том, что автор взял почти всю критику книг про Гарри Поттера и вложил ее в уста ученого Гарри Поттера и Квиррелла. Например, что Северус Снейп какой-то садист, и вообще непонятно, что он делает в школе, и его надо бы выгнать за несоответствие. Или Филч, который мечтает пытать детей и отправляет их в Запретный лес, надеясь, что их там сожрут, это же ненормально, поэтому его уволили. Или глупый Хагрид, который не может быть учителем. Или та же Гермиона, которая слишком умна для Гриффиндора. Квиддич — глупая игра, особенно с учетом снитча. Местная экономика бредовая. Волшебники вообще не интересуются, что там у магглов, и даже не знают, что те уже космос осваивают, пока сами волшебники живут почти как в средневековье. Или сама магия, чьи законы никто не пытается понять. И так далее до бесконечности. Понятно, что Роулинг особо и не пыталась сделать мир правдоподобным, ставя во главу угла саму историю и приключения персонажей, но это не означает, что эти мелочи нельзя обсмеять. Юдковский же просто подсвечивает нелепицу и лишь, возможно, слегка отупляет персонажей вокруг Гарри, но они ведь и в оригинале не блещут умом. Та же МакГонагалл, когда к ней в первой книге прибежала троица и заявила, что Философский камень в опасности. Что та сделала? Буквально ничего, даже не попыталась выяснить, откуда они знают, и не проверила хотя бы первую дверь, за которой спал цербер, и даже не подумала, что троица сама попытается что-то предпринять. Просто у нее лапки и лень было оторвать зaдницy от стула. Да и в дальнейшем Гарри чуть ли не в каждой книге в чем-то обвинялся, и все верили, хотя в конце прошлой книги он всех спас, но все уже успели забыть об этом. Им матчи по квиддичу были важнее, чем спасение их жизней.

Эта книга похожа на монстра Франкенштейна, состоящая из двух частей: 1. серьезный сюжет с драмой, размышлениями и философией, о жизни и смерти, спорами о природе человека, о его силе, о психологии и логике людей, особенно оказавшихся в необычных обстоятельствах, о перекладывании ответственности и о взятии оной на себя; 2. пародийная составляющая, необходимая только для того, чтобы двигать сюжет и не отвлекаться на мелочи, вроде использования кошеля-скрытня, мантии-невидимки и маховика времени, которые сам Гарри называет квестовыми предметами, будто все это игра, и он даже сам называет некоторых персонажей NPC. Необходимо это учесть с самого начала или прийти к этому достаточно рано, чтобы не бросить из-за «бредовости происходящего и мэрисьюшности героя». Необходимо научиться воспринимать эти два противоположных элемента как единое целое, подобно самому Гарри Поттеру, который, наоборот, смог научиться воспринимать цельный предмет лишь набором множества микроскопических частиц.

Основные минусы этого фанфика в том, что у него совершенно другая атмосфера, и зачастую персонажи ведут себя не так, как в оригинале (не имеют той же глубины), да и автор не особо стремится следовать канону, например, убив брата Дамблдора, поменяв местами некоторые роли персонажей (Блэк и Петтигрю), и даже изменив магию, точнее, даровав ей какие-никакие правила. Но это не просто так, ведь следует учитывать, что роль персонажа извне (некого попаданца) играет не только умный Гарри Поттер, но и умный Волдеморт, действующий как будто с другого края, будучи таким же умным (и даже умнее), а потому и поступающий не так, как он же из оригинала. Другой минус заключается в том, что с самого начала книга представляется как просто комедия, очень много юмора и практически ситкомовских моментов, при этом почти без раскрытия мира и персонажей, ведь подразумевается, что мы все это и так знаем из оригинала (потому-то в начале все и происходит отрывками); потом все же начинается какой-то сюжет, градус юмора снижается, но не прям значительно, это все еще пародия; но затем автор попадает в колею истории и начинает писать уже полноценный роман с замашками на серьезную драму и проработанный сюжет, из-за чего происходит некий диссонанс. Читать все еще интересно, но приходится перестраиваться. Вместе с этим автор как будто все меньше опирается на научные вставки и мысли Гарри, когда он постоянно вспоминает какие-то гипотезы и теории, различные психологические эксперименты и так далее; дальше это становится меньше, зато больше размышлений самого Гарри, больше движухи и внутренней активности, вроде сражений армий учеников. Автор все меньше критикует мир Роулинг, и больше выстраивает свой собственный.

Самое неоднозначное в книге для меня является существование профессора Квиррелла.
Это не тот хлюпик из оригинала, а полноценный Волдеморт, играющий роль, одну из многих за свою жизнь. Он сочетает в себе характер Снейпа и одновременно Люпина — таинственный, подозрительный, но умный и хладнокровный, единственный, кто не идиот и не пытается им казаться, потому-то все ученики и тянутся к нему, как к единственному здравомыслящему вокруг, когда как почти все остальные персонажи являются, по сути, функциями и ходячими штампами (это тоже критикуется в некоторые отзывах, хотя это подмечено и в самой книге (Гарри даже называет некоторых персонажей NPC), и мне не ясно, почему это оказалось для многих чем-то неочевидным и непонятным, ведь это тоже то, как автор обсмеивает оригинал). Главная неоднозначность Квиррелла в том, что он максимально подозрительный, и любой читатель заподозрит в нем злодея, но автор намеренно выкручивает его подозрительность на максимум, иногда выставляя его настоящим злодеем, заставляя сомневаться и Гарри, но затем объясняя его поведение, из-за чего действует двойная обманка (наверняка есть научный термин в психологии, нечто вроде «реверсивная психология»), когда персонаж выставляется таким явным злодеем, что становится очевидным, что он не злодей, ведь это слишком просто. Зато злодеем частенько кажется Дамблдор. Но в итоге первое впечатление оказывается верным. Автор всех обманул, показывая правду. Вроде и интересный ход, но из-за длины книги в какой-то момент становится скучно, что все так, и хочется какого-то поворота, тройной обманки, но этого не происходит. А я вообще думал, что Гарри все это время находился под Империусом, возможно, вообще с младенчества, ведь после отдельных моментов он должен был вообще держаться от Квиррелла подальше, но вместо этого всегда оправдывал любые его действия, игнорировал ощущения и его же указание не использовать против него магию. Это сводит на нет все заявления, какой Гарри умный (хотя, возможно, они просто притягиваются друг к другу из-за общей природы, но в книге об этом не говорится). А когда Квиррелл раскрывает себя, его ареол таинственности спадает, и он становится немного скучным и банальным, что ухудшается его огромным монологом в конце с объяснением всего и вся. Хотя внимательный читатель мог бы все понять, когда Квиррелл раздавил жука в поезде, коим была Рита Скитер, ведь, по сути, он просто легко убил человека.
Финал мне также показался каким-то недоработанным. Автор будто сам не знал, как закончить противостояние Гарри и Волдеморта, потому-то под конец и находится комментарий автора, мол, придумайте, как выпутается Гарри из этой, казалось бы, безвыходной ситуации, а я потом выберу подходящий. Сам себя завел в тупик, а выход оказался немного бредовый.
Ладно паучий шелк, трансфигурация позволяла, но... как он заставил ее двигаться в нужном направлении? Трансфигурация разве это позволяет? А Левиосу он не мог использовать. Трансфигурировал кусочек своей волшебной палочки? А так можно было? А Квирелл разве не чувствовал его магию? И Гарри просто взял и убил несколько десятков человек, хотя всю книгу до этого рассуждал об этике? Не похоже на него. Почему он просто не отрезал им руки, как самому Волдеморту? Они бы не смогли колдовать без палочки, а использовать беспалочковую магию было бы сложно из-за шока от боли. Зато никто бы не умер. Но автор будто и сам понял, что вся эта сцена выглядит несколько неубедительно, поэтому позже Гарри говорит, мол, в той ситуации ему было трудно соображать. Ну-ну... И еще Гермиона стала супергероем... Но тут, мне кажется, автор просто уже решил постебаться. А как Гарри вообще оживил Гермиону? Автор уже просто махнул рукой. Мне кажется, всю эту сцену на кладбище можно было сделать намного умнее.


Что еще? Да много чего можно сказать. Гарри никак не взаимодействовал с призраками, и просто отказывался признавать, что душа существует, хотя мог многое у них узнать, но вместо этого они с Драко опрашивали портреты, пытаясь узнать, не слабеет ли магия. Гарри искал Тайную комнату, не додумавшись опросить призраков, которые проходят сквозь стены... Гарри создает теорию, что все разумные расы в прошлом были людьми, но изменились из-за магии, но не пытается выяснить, как гоблины и домовики колдуют без палочек и даже без заклинаний. Много еще можно чего придумать и раскритиковать Гарри за недальновидность и игнорирование деталей, ведь он даже не верил, что Философский камень реально может работать.

Касательно, в том числе, Философского камня.
В конце Гарри получил в руки огромную власть: Линия Мерлина, командование Орденом Феникса, все богатства и сокровища Дамблдора, Старшую Палочку и даже сам Хогвартс, ну и, конечно, Философский камень, который может чуть ли ни что угодно. Вот это уже можно назвать мирисьэшностью в полной мере, ведь автор в какой-то момент начал писать серьезный роман, а тут вдруг не пойми что, 12-летнему пареньку чуть ли не власть над магическим миром, по крайней мере, инструменты для ее достижения. Хотя Гарри почему-то особо об этом не задумывается, хотя всю книгу об этом мечтал. Да, он изменился, но, как по мне, ему стоило об это подумать или сказать вслух, мол, я хотел власти над миром, а когда у меня появилась возможность, я изменился, и теперь хочу иного, не властвовать, а менять его постепенно. Ну или что-то в этом роде.

8/10 — очень добротное чтиво для фанфика. Видно, что автор вложил в книгу много сил и времени, не каждый самостоятельный роман пишется аж 5 лет, да еще с такой скрупулёзностью, ну а всю критику можно применить к каждой второй книге в мире куда более именитых авторов. Кто бы что ни говорил, но не часто самиздаты переводятся на русский с других языков, а уж тем более фанфики. Плюс рейтинг у произведения на Фантлабе не многим уступает рейтингу оригинальных книг, а это о чем-то да говорит. Да, книга иногда заумная, хотя и вполне понятная, много примеров всяких теорий и психологических экспериментов, но сам основной сюжет не такой уж и сложный, если читать не по диагонали, примерно на уровне «Мать ученья», где перемещения во времени и их причина могут немного запутать, если утратить внимательность. Автор Элиезер Юдковский ученый-популяризатор, а эти обычно умеют объяснять сложные вещи простым языком.

Лично мне книга понравилась, я считаю, что потратил время на ее прочтение не зря. Главное, как я уже писал в начале, стоит учитывать особенность ее построения, ведь автор здесь по большей части просто размышлял о всяком разном, философствовал, обсмеивал мир Гарри Поттера, размышлял на разные темы, и при этом не очень старался сделать мир реалистичным с точки зрения внешнего наблюдателя, наделив Гарри и некоторых других персонажей квестовыми предметами aka чеховскими ружьями, которые стоит воспринимать точно так же, как те же предметы в какой-нибудь компьютерной игре, где в углах откуда-то взялись сундуки с артефактами, а все раны исцеляются после съедения яблока. А условностей здесь еще больше, чем в оригинале.

Или я все понял, или я ничего не понял.

Показать полностью
[моё] Рецензия Гарри Поттер Гарри Поттер и методы рационального мышления Спойлер Элиезер Юдковский Феномен Длиннопост Ответ на пост Текст
4
22
CaneOnore
CaneOnore

Ответ на пост «"Гарри Поттер и методы рационального мышления": феномен со всех сторон»⁠⁠2

2 месяца назад

Ох, во всем отзыве просто так и сквозит обида на порушенную сказку, которая ТС очень нравится, собственно каждому свое, мне ГП в целом тоже нравится, но и закрывать глаза на все "шероховатости" у меня не получалось даже в детстве. Именно в этом моменте ГПиМРМ действительно, как говорит ТС "феномен", в позитивном ключе, а не как в посте. По сути, вся претензия автора сводится к тому, что Юдковский убивает магию и коверкает оригинал, а все остальное содержимое поста лишь призвано найти подтверждение именно этому тезису, но прочитать его было даже, в какой-то степени, занимательно, попробую описать далее уже свои мысли по выдвинутым претензиям в посте:

1 "Во-первых, потому что он ну буквально везде" - Ну из всех моих знакомых о нем знает полтора человека, а так да, везде. Подозреваю что данным фанфиком неслабо так достали конкретно автора, и, вероятно, какой-то вполне конкретный человек (если что, то не я)

2 Дааа, дело в отсутствии воображения, а не в том что многие авторы просто разбрасываются роялями, а глупые читатели не способны дофантазировать правильно и придумать причины почему оно вот так (сходу для примера в оригинале ГП - Рон умеет в шахматы, испытание шахматы, Гермиона в логик - держите логику, нужно прибить василиска, держите меч из шляпы и прочее и прочее, хотя в целом в в ГП рояли не так сильно выпячены как иногда бывает)

3."Объём. Книга Роулинг о первом годе Гарри – небольшая." Ну так и фанфик как бы завершает противостояния главных героев, логично его тогда совсем циклом уже сравнивать

4."Растянутость". Ну да, читать много буковок сложно, это вам не фантазировать и придумывать обстоятельства за автора чтобы выправить рояли

5. "А на деле – это перерастянутый вторичный текст про попаданца-Марти Сью" - Тут я чаем подавился аж, это на фоне оригинального произведения что-то считать за Марти Сью О_о

6. «Сильные» герои. Ну в оригинале-то 11 летки не проходили "сложнейшие испытания" призванные остановить сильнейшего темного волшебника современности

7. "Парадокс реализма." - аааа, автор фанфика поменял то что мне нравилось, ааа, низя так, вот

8. "Наивность." - вот не везет мне сегодня с чаем, предъявлять такое факнфику на фоне оригинальной серии очень и очень странно :)

9. "Плохо написанный текст." - ну вот мне не понравилось снова, значит и всем не нравится, вот. ТС же в оригинале читал, и Роулинг тоже в оригинале читалась, или нет?

10. " Но не знает, как работают законы текста." - ну вот и нет чая, простите, законы чего?... Ну а разбор дальше прям песня, вот только характер закладывается в детстве и юности, и как раз в это время и произошел сюжетный перелом, и да, никаких гарантий на изменения не было, но автор фанфика решил вот так, ух он какой

11. "А вот Гарри, и ему дали хроноворот на первом курсе." То есть когда его в оригинале выдали Гермионе чуть позже это норм, а тут не норм, или вы не понимаете и это другое? По той же Роулинг получается что маховиками вполне в правилах магического мира затыкать всякую мелочь, но тут низяяяя

12. Обстоятельства взаимоотношений Гарри и преподавателей вполне конкретно расписаны по каждому, и причины именно такого отношения тоже, но да, это нудно и сложно и опять никакой фантазии

13. "Итак, автору фанфика кажется невероятным пассаж Роулинг о том, что Гарри защищён силой материнской жертвы" - тут ТС пытается развенчать Юдковского и обвиняет в отсутствии логики, но что-то пошло не так :) Дело в том, что в оригинале Дамблдор сразу же знает что Гарри "защищен" и сразу же отправляет его в родственникам, то есть уже по оригиналу это должен быть нифига не уникальный случай с не повторимыми стечениями обстоятельств, и в данном случае Гарри по Юдковскому рассматривает альтернативный вариант

14. Далее по претензиям к автору по поводу крестражей, вот только это рассуждения не автора, а Гарри, который исходит из имеющихся у него знаний, ну и делать крестражи максимально незаметными, а не из уникальных артефактов в целом, все-таки, и правда логичнее, даже если не делать их бесконечное множество

15. Как по мне в оригинале ГП очень сильная проблема повального кретинизма злодеев, от их тупости порой почти физически больно, у Юдковского Воландеморт умный, это довольно сильно меняет все, почему умный злодей не может чем-то по рассуждениям походить на ученого не совсем понятно

Как по мне ГПиМРМ вполне себе достойный вариант развития для полюбившейся в детстве истории, но ставшей уже не воспринимаемой в силу развития технического склада ума, и вот тут на сцену выходит данный фанфик, и для взрослого человека такой объем скорее плюс, и упоминание многих экспериментов и вариантов когнитивных искажений мышления не занудство, а довольно полезные сноски, далеко не все из которых, к примеру я, сходу знал. А вот для гуманитариев действительно оригинал сказки вероятно будет значительно приятнее чем ГПиМРМ, и это ни хорошо и не плохо, просто люди, внезапно, разные

Показать полностью
Рецензия Гарри Поттер Гарри Поттер и методы рационального мышления Спойлер Элиезер Юдковский Феномен Длиннопост Ответ на пост Текст
7
255
steeless
steeless
Смешные пересказы мифов и биографий, иногда издёвки над кинематографом
Серия Литдушнильство

«Гарри Поттер и методы рационального мышления»: феномен со всех сторон⁠⁠2

2 месяца назад

А я тут как-то пообещала об одном феномене литературном поговорить. И выполняю.

Предупреждение: будет много текста. Будет душно. Будет жёстко. Спойлеры к фанфику Юдковского. Отсутствие любви к фанфику Юдковского.

Давайте-ка сперва поглядим, почему «Harry Potter and the Methods of Rationality» (оригинальное название) – феномен.

Во-первых, потому что он ну буквально везде. Где бы ни заходила речь о том, насколько нелогичны многие моменты в произведении у Роулинг, насколько неполно раскрыт мир, насколько плохо то и это (в глазах очередного придирчивого читателя) – непременно найдётся кто-то, кто начнёт восторженно это дело рекомендовать. Мол, давай, почитай «Методы рационального мышления» – вот там-то всё по полочкам, там всё отлично и отменно, в общем, просвещайся, очень нравится. Дело дошло до того, что фанфик был издан, обрёл огромную популярность на Западе и даже аудиоверсия награды хапнула.

Во-вторых, фанфик представляет собой квинтэссенцию игры с тем, что современному читателю очень даже любо. С типа-как-логикой. Потому что современный читатель зачастую не развивает в себе воображение и творческое мышление. Он вкачивает… даже не недоверчивость к автору, а придирчивость. Старательно вскормленную любимыми всеми блогерами, которые разбирают книги и фильмы не с точки зрения цельной картины, а с точки зрения Огурцова из «Карнавальной ночи» (а чего это Гэндальф сразу не позвал орлов, а почему герой не почитал сценарий, а до чего бы ещё доколупаться?). Ну и вот тут у нас произведение буквально гладит такого читателя по пузику, повторяя: «Смотри, мы тут сделаем умно и рационально, а на злую Роулинг тьху!» («И ты себя тоже почувствуешь умным и рациональным, поскольку вместе с автором сможешь удариться в высокоумные цитаты и научные рассуждения» - но это, конечно, между строк).

И это, в общем-то, неудивительно, если посмотреть на личность автора. Элиезер Юдковский – блогер и исследователь ИИ, который всячески выступает за рационализацию человечества.

А потому он – одна из центральная фигура общества рационалистов и адепт этой самой рационалистики. Которая представляет собой что-то вроде утопического философского течения с вроде бы хорошими и полезными идеями насчёт пользы знаний, рациональности, критического мышления и технического прогресса (а ещё там продвигают полиаморию и утилитарную этику, но об этом не будем). Соответственно, ещё один феномен фанфика в том, что это… не то чтобы полностью фанфик. Это даже не переосмысление изначальной истории о Гарри Поттере. Это – манифест рационализма, с последовательным продвижением всех идей автора в литературную жизнь (и, кстати говоря, если посмотреть на текст фанфика как на манифест или даже на несколько сектантский текст – результат может… испугать).

Попробуем разобраться с жанром и замыслом поплотнее. Сам Юдковский уверяет, что прочитал множество фанфиков о Гарри Поттере (не осуждаю), после чего у него возник замысел. Мол, Джоан Роулинг «придумывала правила магии на ходу», и это бросает уникальный вызов для персонажа-учёного». Первоначально речь шла именно о переосмыслении книги «Гарри Поттер и философский камень». То есть просто об альтернативном развитии событий, где Петуния Эванс вместо Дурсля выходит замуж за оксфордского профессора – и заверте… в смысле, характер Петунии чудесно меняется, она начинает любить племянника, Гарри растёт в любви и духе рационалистики с самого первого годочка, а потому может к 11 годам цитировать Дарвина и разбираться в основных теориях науки на уровне среднего Эйнштейна.

Но потом Юдковский осознал, что немножечко, самую малость вышел за грань переосмысления. И заявил, что всё вообще происходит в альтернативной вселенной (то есть, да, у нас тут АУ-шка). Спорить с автором реального произведения, как известно, гораздо проще, если ты не скован законами этого самого произведения, а придумываешь, как функционирует мир, сам. К тому же автор ещё и ставил цель познакомить читателей с основными научными теориями (а не только с методами рационалистики). Отчего в жанр добавляется немного аромата Жюля Верна.

В результате перед нами фанфик-переосмысление-манифест-АУшка с элементами научно-популярной литературы. Жанрово это детище Франкенштейна уже само по себе феномен. Но кроме всего прочего – при всей огромной, провозглашаемой рациональности автора и главного героя – продукт ухитрился впитать едва ли не все штампы и недостатки фанфиков как таковых! Что делает его (ну да, привыкайте) в который раз феноменом. Ну, то есть понимаете – его прославляют как нечто новое, оригинальное, свежий взгляд на мир Роулинг, научные теории и рациональность, вот это вот всё. А на деле – это перерастянутый вторичный текст про попаданца-Марти Сью, приправленный чудовищно длинными и абстрактными рассуждениями, спроецированными из головушки фикрайтера. «50 оттенков рационалистики», если хотите. Только вместо неумелого описания секса – тут неумелое использование разума (объясню, почему, потерпите).

Для начала – какие минусы фанфиков вобрал в себя продукт?

1. Объём. Книга Роулинг о первом годе Гарри – небольшая. В ней около 10 авторских листов. В фанфике Юдковского – более 90 авторских листов (больше 2000 страниц) и при этом она охватывает этот самый первый год Гарри. Для справедливости – в первый год при этом автор ухитряется втиснуть министра магии, хроноворот, Пожирателей смерти, Беллатрикс Лестрандж, Нифмадору Тонкс (а также углеводородные трубки, замену Турнира Трёх Волшебников и ещё прорву всего, что было и не было в семи книгах Роулинг). И в таком случае событийный ряд должен бы быть ужасающе плотным, однако…

2. Растянутость. Склонность фанфикёров к детализации и длинным, заунывным монологам с выяснениями отношений уже, наверное, стала притчей во языцех. Здесь это выходит на новый уровень, потому что добавляются внутренние диалоги Гарри (от некоторых из них мог бы удавиться от зависти Джойс со своим «Улиссом»). И всё это – длинно. Длинные рассуждения о науке, экономике и этике. Длинные осмысления – как лучше поступить, а может, не так, но почему тогда не так, а как вот так рационально? Длинные разжёвывания ситуаций. И на какой-то, шестьдесят седьмой или семьдесят девятой главе – это утомляет, обрушивается и начинает погребать читателя под собой.

3. «Сильные» герои. Во множественном числе, потому что не про одного Поттера. «Сильный герой», «нагибатор» и прочие аналоги Марти/Мери Сью – ещё один бич фанфиков. Здесь автор постарался было ослабить способности Поттера и не делать из него Марти Сью полностью… и всё равно ведь сделал. Герой у нас тут во всё вникает, со всем разберётся, достиг уровня осознанности 60-летнего деда и уровня цитатности Стейтема из пабликов, генерирует афоризмы, придумывает заклинания, ну и вообще – непростительно крут для мальчика 11 лет. И ладно бы – в случае с Гарри это объясняется ментальностью Волдеморта. Но вслед за этим остальные герои начинают демонстрировать навыки мышления и магии далеко за уровнем 11-летних детей и начинающих волшебников. Драко, Гермиона, Сьюзен Боунс, Блейз и остальные мыслят и колдуют вполне себе как взрослые. И иногда это объясняется благотворным воздействием Поттера на неокрепшие организмы. Или тому, что Квирелл (он же Тёмный Лорд) ну вот просто правильно их так развивает и учит. Всем же известно, что если среднего ребёнка 6 класса правильно развивать и учить – он теорему Пуанкаре за пару месяцев распотрошит!

4. Парадокс реализма. Это такая очень любимая мною штука из мира фанфиков. Она заключается в том, что автор фанфика хочет сделать лучше и рациональнее, чем автор. А в результате нагромождает кучу неправдоподобных, нежизненных конструктов, превращает массу героев в функции или сьюху, порождает огромный текст с заунывными рассуждениями, придумывает пару заковыристых ветвей магии и сидит, обмазанный этим, повторяя: «Зато не как у Роулинг!» Иными словами, для того, чтобы обойти противоречия Роулинг автор громоздит гораздо больше противоречий, придумывает дополнительные обстоятельства, артефакты, забытые области знаний, удлиняет текст – и в финале вторичный текст длиннее, скучнее, нерациональнее, хаотичнее и неправдоподобнее оригинала!

И здесь это вот прямо на все сто. Автор изменил все характеры (заутрировав их по самое не могу), полностью переписал под себя законы мира, выдал кучу сверхумных и сверхсильных героев вместо одного везучего, погряз в интригах и рассуждениях, заставил юного Гарри в первый же год учёбы обезглавить Пожирателей Смерти выпущенными из палочки нанотрубками (я не шучу). Провёл Снейпу терапию на уровне «Вы ХОТИТЕ об этом поговорить», превратил Гермиону в Росомаху (в смысле неубиваемости, а не в смысле Хью Джекмана) – и вообще, сделал так, чтобы никто не ушёл обиженным. И в результате создал конструкт, который выглядит ещё более неправдоподобным, чем у Роулинг. Именно из-за нагромождений всего вот этого вот и желания, чтобы никто обиженный не ушёл.

5. Наивность. Это и в плане текста, и в плане восприятия мира. Здесь очень заметно на самом деле, что текст писал тот, кто считает себя рационалистом и исследователем (кстати, на самом деле у Юдковского даже нет высшего образования)– и даже не в том плане, что от текста веет хорошим таким снобизмом с сарказмом и снисходительностью пополам (кстати, именно так почему-то протагонист и общается с окружающим миром, почему бы это). Но это в плане персонажей-функций и наивного полагания, что «из а следует б, потому что в формулах же так». У Роулинг персонажи несовершенны, но живы – и они поступают так, как диктуют условия и их характер. У Юдковского персонажей можно описать математическими формулами. И они будут реагировать и поступать так, как хочет автор. Автор двигает их реакции вручную. Ежели, например, Юдковский возмущён тем, как Снейп обходится с учениками – то он немедленно влезет на место Гарри и начнёт разговаривать с директором устами персонажа вот таким вот образом:

— Вы объясните мне, почему позволили этому человеку издеваться над учениками, которые, между прочим, находятся под вашим присмотром, и если ваше объяснение меня не удовлетворит, я начну в газетах кампанию уже против вас.

А ежели автор считает, кроме всего прочего, Снейпа несчастной жертвой и полагает, что ему бы психотерапию и побольше читать маггловского и полезного (а то зельевар какой-то не до конца осознанный и погряз в эмоциях и газлайтинге Дамблдора) – так он немедленно эту самую терапию на полную главу организует. А потом Северус, само-то собой, прочитает нужные книжки, наберёт осознанности и устроит слезливое покаяние в духе «Я хотел, чтобы всем было хорошо, ухожу с миром быть счастливым»:

— Люди несовершенны, — казалось, слова застревали у Гарри в горле. — Они всегда совершают ошибки. Вы хотя бы попытались их исправить.

— Возможно, — сказал Северус. — Моим последним заданием было пасть, защищая Камень. Я так и сделал и при этом выжил, чего никак не ожидал, — он прислонился к входной двери, перенеся вес с левой ноги. — Мне бы не пришло в голову просить вас о прощении, но, раз вы его так легко предлагаете, я принимаю ваше прощение с благодарностью. Отныне мне хочется выбирать не столь плохие пути и, думаю, для этого мне стоит начать всё с начала.

Полагаю, можно не добавлять ООС (искажение характеров) персонажей отдельным пунктом.

6. Плохо написанный текст. Я знаю, что бывают фанфики с крайне качественным стилем, в том числе – превосходящим оригинал. Однако большинство фанфиков – ну… думаю, многие видели. Так вот, фанфик Юдковского написан плохо. Это касается оформления диалогов, мелодики, строя высказываний, обобщённости фраз, отсутствия зрительной экспозиции (нет картинки), ужасающего слезливого пафоса (примеры выше), манеры изложения… Хоть немного спасает текст ирония, которую автор пихает ну вот вообще везде («Ну, вы же видели, как я несерьёзно отношусь к тексту? Ха-ха-ха, это просто стёб»). А также сарказм-сатира-отсылочки к другим текстам. Цитатность, опять же. То есть это у нас ещё и попытка в постмодернизм. Однако у той же Роулинг с этим в текстах тоже всё в порядке. А ещё есть какой-никакой, а стиль. Просто Роулинг, в отличие от Юдковского, умеет писать книги.

И вот почему, на мой взгляд, «Гарри Поттер и Методы Рационального мышления» – окончательный феномен. Потому что это – текст, созданный человеком, который знает, как работают законы науки и логики. Но не знает, как работают законы текста. Как строится композиция, сюжет, как удержать внимание – вот это вот всё, словом. Отчего иногда особенно уморительно наблюдать, как Юдковский пытается исправить что-то за Роулинг – и обрушивает литературную конструкцию вовсе.

Вот, например, Петуния, которая помирилась с сестрой и вышла за оксфордского профессора. А с сестрой она помирилась, потому что Лили настряпала чудо-зелья, от которого Петуния сначала болела, а потом немедленно стала красивой. И характер у неё чудесно исправился, и вообще, сразу нужного мужчину встретила. Потому что красивые злыми не бывают, и если девушке, ну я не знаю, пластику сделать – она сходу подобреет («Это я почему злая была? Потому что у меня пластики нормальной не было!»). А ежели ты выходишь за профессоров – надо быть красивой и доброй, а на злых и лошадинолицых только Верноны Дурсли, продающие дрели, женятся. Нехилый такой пассаж для любителя осознанности и рациональности, а? И это ещё мы забываем, что зелье такого уровня сварила выпускница, и притом, в волшебном мире все почему-то не пьют его галлонами и не ходят потом все красивые и с характерами хорошими!

А вот Гарри, и ему дали хроноворот на первом курсе. Знаете, почему? А у него циркадный цикл не как у нормальных людей. Спатеньки не может правильно, никак не исправить, только хроноворотом. Который он будет использовать направо-налево просто для шалостей, и нет-нет, это не рояль в кустах, рояли в кустах – у Роулинг. Это такой… тонкий стёб, да. А вовсе не хотелочки Юдковского в духе «а вот если я бы получил хроноворот – я бы…»

А вот Гарри называет Снейпа Северусом (гл. 18). После первого урока, на глазах у директора и Минервы. Которая на глазах у ученика тоже общается с коллегой неформально. Потому что Юдковский читал фанфики по Роулинг. А вот насколько внимательно читал оригинал – это вопрос.  

А вот Квиррелл, на котором только что не написано поперёк лба «Тёмный Лорд» –и Гарри ему доверяет, потому что… ну, детективной линии нам не нужно, она же была у Роулинг, зачем здесь-то ещё. Можно просто поудивляться, какой рациональный Гарри… нерациональный.

В целом, кстати, это очень характерно для текста. Юдковский не придерживается тех самых законов, которым призывает поклоняться читателей. Он нарушает логику и отвергает рациональность (классическим образом: тут помню, тут не помню). Давайте разберём пример.

Итак, автору фанфика кажется невероятным пассаж Роулинг о том, что Гарри защищён силой материнской жертвы. Поэтому устами Гарри он выказывает сомнение – мол, погодите, что-то я сомневаюсь, что за все века существования магии не было других матерей, которые любили бы детей и отдали бы за них жизнь. Логично?

Нет. Тут у нас подмена понятий и забывание о простейшем принципе науки: чтобы получить тот же результат – должна повториться полностью цепочка действий. Погнали про цепочку:

А) Некий тёмный волшебник должен зачем-то хотеть убить ребёнка (видимо, Авада Кедаврой, потому что именно она отразилась в случае Гарри. Но сойдёт любое смертельное проклятие).

Б) До попытки убить ребенка – он не должен убить его родителей. В живых должна остаться хотя бы мать. В случае Гарри – такое стало возможным, потому что Волдеморт сперва не хотел убивать Лили.

В) Мать должна успеть заслонить ребёнка собой (добежать физически, встать перед палочкой).

Г) Когда заклинание отразится – волшебник должен не погибнуть. Потому что иначе – ну да, жертва матери сработает так. Убийца – труп, ребенок жив, история закончена.

Д) По прошествии какого-то времени убийца матери должен попытаться возродиться, найти того же ребенка и его потрогать. В смысле, коснуться. Или хоть попытаться пульнуть из палочки. И вот тогда уже станет ясно, что материнская жертва сработала: он не сможет дотронуться до ребёнка, как не смог этого Квиррелл.

И вот эту-то цепочку Юдковский в своей рациональности считает легко повторимой, потому что «ну, матери же любят детей, почему ещё сотня таких случаев не описана в истории». Нет, правда – почему?

То же самое в истории с крестражами. Здесь автор предлагает отличную, как ему кажется, идею: наделать туеву хучу крестражей, один послать на Марс, второй закинуть в Марианскую впадину, третий ещё куда-то подальше, чтоб никто не добрался. Вот только в мире Роулинг это работать не будет. Там автор провозглашает следующие постулаты: 1) Душа бессмертна. 2) Её можно разрывать ограниченное число раз, при помощи убийства. 3) Волдеморт этим очень сильно злоупотребил. Настолько, что больше делать крестражи не может, он уже и так нестабилен. 4) Крестражи физически разрушимы, хоть это и сложно. Однако едва ли чудовищное давление или нахождение в космосе не повлияют на них никак.

Юдковский в своих рассуждениях отталкивается от «Ну, души же не существует», потому начинает размышлять о сейвах и возможности сохранить ментальность много раз, громоздит конструкции ментальных флэшек, а потом радуется, как рационально вышло. Ну, если поменять условия мира и придумать себе самому кучу роялей в кустах, законов и заклинаний – то уж наверняка выйдет рационально, нет? Ах да, мир же альтернативный. Совсем не мир Роулинг. Это… такой мир Роулинг, который автор попытался пофиксить синей изолентой.

И на самом деле я понимаю, почему этим исправленным миром легко очароваться. Здесь автор всё-таки пытается исследовать те области мира Роулинг, в которые сама она не ударяется по причине жанра. Например, целая глава посвящена финансовой системе мира волшебников, курсу галеона и выпуску валюты. Здесь протагонист – не одиннадцатилетний мальчик и даже не он же с приплюсовкой Тёмного Лорда. Нет, протагонист – сорокалетний разработчик ИИ и поклонник рационалистики, сколько бы Юдковский ни пытался прятаться за ширмой из Гарри Поттера (ага, у нас тут попаданчество, в смысле, автор залезает в  Гарри уж слишком часто). Потому протагонист будет рассуждать о профсоюзах, трудовых договорах, квалификации учителей, мажоритарности, психологических проблемах, депрессии и интересных научных теориях. Которые здесь действительно есть.

Здесь первокурсники лупятся не заклинаниями щекотки или танца – они держат «радужные щиты», долбают друг друга заклятиями «проникающего бура», рассуждают как генералы, тактичные, стратегичные и мудрые. Здесь можно посмотреть на наивный мир Роулинг свысока, проникнуться серой моралью и утилитарной этикой, преисполниться того, как нужно мыслить и почерпнуть оригинальную идею убийства при помощи углеродных нанонитей, выпущенных из палочки. И да, тут у нас ещё стёб над наивностью и детскостью текстов Роулинг, над их глупостями, отчего кажется, что автор и к своему фанфику не относится особо серьёзно. Ну, такое "Шалость удалась!" - а развязку кульминации пусть придумают читатели в качестве эксперимента (идея с нано-трубками в конце - не Юдковского, а именно читателей). Вопрос, конечно, красит ли автора то, что он настолько серьёзно начинает стебать детско-подростковое фэнтези и требовать от него продуманных законов и курса галеона... Ну да ладно.

Но если взять и записать всё это в духе тегов… Герой-нагибатор, детально прописанный мир, теория «как работает магия», большой объём, серая мораль, интриги… Да-а-а, ребятки – перед нами классическая многотомная современная фэнтезятина. Вон, поглядите, на АТ такого куча валяется. Боярка, всё такое.

Что, собственно, многое и объясняет по поводу феноменальности и востребованности у читателей. Это ведь, по сути, очередная сказка про сверхумного и сверхумелого попаданца. «Профессор в теле мальчика-волшебника», что-то вроде этого. Только всё это припылено пассажами про науку «для взрослых и серьезных».

Может быть, для кого-то этот текст действительно исправляет огрехи оригинала и выглядит более совершенным. Но я, пожалуй, побуду несознательной и нерациональной любительницей подросткового фэнтези. Про мальчика-волшебника, бессмертие души и живых, несовершенных и сложных персонажей.

В конце-то концов, во многих отношениях книга Роулинг куда более феномен, чем любые фанфики.

Тут разные книги, в основном бесплатные и фэнтезийные, иногда забавные (боярки нет): https://author.today/u/steeless/series

Показать полностью 7
Рецензия Гарри Поттер Гарри Поттер и методы рационального мышления Спойлер Элиезер Юдковский Феномен Длиннопост
215
4
bayesyatina
bayesyatina

ИСТИНЫ НЕ СУЩЕСТВУЕТ | Короткометражный фильм⁠⁠

2 года назад

Существует ли истина? Или правда у каждого своя? А может "истина - это оправдание, которое используется какой-либо культурой, чтобы навязать другим свои убеждения"? "Что это ещё за муть с этой так называемой реальностью?" Разве это всё не существует только у нас в голове? Элиезер Юдковский написал эссе "простая истина" в попытке восстановить наивное представление об истине. А мы сделали из него сценарий для короткометражного фильма.

Как и в прошлый раз, мы открыты к критике. Это наша вторая попытка рассказать что-то интересное в формате короткометражного фильма.

[моё] Постмодернизм Элиезер Юдковский Истина Философия Короткометражка Видео YouTube
4
30
LyublyuKotikov
LyublyuKotikov
FANFANEWS
Серия Книголюбие

Гарри Поттер и дары трансгуманизма — переводчик об одном из лучших фанфиков поттерианы⁠⁠

2 года назад

Американский специалист по искусственному интеллекту Элиезер Юдковский написал роман «Гарри Поттер и методы рационального мышления» — самый известный фанфик, посвященный героям Роулинг, а заодно и наиболее доступное изложение идей трансгуманизма.

Коллективный перевод книги на русский язык занял пять лет. Переводчик и главный идеолог проекта, IT-менеджер Дмитрий Новицкий рассказал о том, кто такой Юдковский, чем занимается Гарри Поттер в романе и как координировалась работа десятков переводчиков.

«Есть и третий уровень — когда персонаж умнее, чем автор»: что из себя представляет фанфик Юдковского

«Гарри Поттер и методы рационального мышления» — это гигантский роман из 122 глав, написанный специалистом по искусственному интеллекту Элиезером Юдковским. Тетушка вундеркинда Гарри Поттера вышла замуж за оксфордского профессора, Поттер с ранних лет начитался книг, познакомился с квантовой механикой и теорией вероятности и поэтому ведет себя совсем не так, как герой Джоан Роллинг. Главный конфликт происходит не между добром и злом, но между разумом и невежеством. Несмотря на то, что автор описал лишь один год пребывания юного волшебника в школе Хогвартс, у него получилось задействовать 90% всех тем и персонажей, присутствующих в семи книгах Роулинг.

Если возьметесь за эту книгу, обязательно дочитайте до 10 главы, иначе у вас может сложиться неправильное впечатление, будто это какой-то легкий научпоп, идеи автора просты, а произведение в целом — слабая пародия на поттериану. Это заблуждение: после 10 главы все очень сильно поменяется, в том числе и сам Гарри Поттер, который поначалу производит довольно отталкивающее впечатление.

Одна из основных особенностей книги Юдковского — умные герои. Очень редко встречается произведение с приключенческим или фэнтезийным сюжетом, в котором бы герои казались не штампами, а реальными людьми, такими же, как мы: чтобы у них были сознание и подсознание, были сомнения и переживания, чтобы они вели себя в каждой новой ситуации по-разному, а не как запрограммированные. У Юдковского есть отдельное эссе, в котором он рассуждает о художественных персонажах с разным уровнем интеллекта. В большинстве книг присутствует первый уровень: герой действует строго по шаблону, персонаж второго уровня может сам анализировать, что с ним происходит, то есть у него не просто есть рельсы, но есть и возможность с них сходить. Но Юдковский на этом не останавливается: есть и третий уровень — когда персонаж умнее, чем автор. Как его создать? Юдковский пытается сделать это через время: он неделю сидит и думает над проблемой, которую персонаж должен решить за две минуты. Но, конечно, третий уровень — это скорее исключение, в книжке основную роль играют персонажи второго уровня. Чтобы понять, о чем идет речь, достаточно прочесть небольшой отрывок из книги, посвященный тому, как Гарри Поттер впервые проходит сквозь стену на вокзале Кингс Кросс и садится в поезд, следующий в Хогвартс. Читателю приятно осознавать, что герой, о котором он читает, не дурак, наделен всем спектром эмоций. Невозможно догадаться, что он будет делать дальше и куда повернет сюжет.

Если в первых 40-50 главах сюжет книги довольно простой, а научные вставки четко отделены от основного повествования, то во второй половине книги сюжет усложняется, интриги крепчают. Веселья становится поменьше, но при этом научные вставки попадаются все реже: там они размазаны, вшиты в основное повествование. Заметно, что автор за время работы над книгой изменил подход к подаче материала.

Еще стоит упомянуть о бесконечных отсылках к массовой культуре — по ходу чтения можно встретить намеки на «Сумерки», «Матрицу», «Дюну». Много гиковских штук: часто встречаются отсылки к сетевым комиксам или аниме; обычный человек на это просто не обратит внимания, а тех, кто понимает, о чем идет речь, разумеется, не может не зацепить чувство посвященности.

«Смерть — последний враг»: кто такой Элиезер Юдковский и что он хотел всем этим сказать

Элиезер Юдковский — специалист по искусственному интеллекту, его главная задача — придумать такой алгоритм, при котором искусственный интеллект не порешит всех нас в первые же минуты своего существования, а наоборот — станет нашим другом. Еще он трансгуманист, то есть считает, что с помощью рациональных методов можно принципиально улучшить умственные и физические способности человека, а в перспективе — победить страдания, болезни, старение и даже смерть.

Сам факт, что у сторонника теории трансгуманизма обнаружились литературный талант и желание поделиться с миром своими размышлениями, — огромная удача. Обычно, когда люди слышат про трансгуманистов, то сразу говорят: «Это те, которые хотят одному человеку голову отпилить и другому ее присобачить? Изверги и программисты». Но с трансгуманистами все гораздо проще — это люди, которые подумали: «Я скоро кончусь. Все скоро кончатся. Надо что-то делать. С этим в первую очередь. Все остальное может подождать. Главное сначала — победить болезни и смерть». Примерно о том же фанфик Юдковского.

Элиезер Юдковский

Элиезер Юдковский

Основную идею книги можно сформулировать как «смерть — последний враг». Значит это примерно следующее: все проблемы на Земле решаемы, если можно избавиться от смерти. Что бы ты ни делал, как бы ты ни строил мир вокруг себя, сколько бы ни улучшал его, тебя ожидает забвение, а все, что ты делал, все равно накроется медным тазом. Получается, что весь нынешний мир — это совокупность человеческих смертей. Люди доживают свой срок, оставляют что-то после себя, а потом все начинается заново. Остается только научно-технический прогресс, но и он движется слишком медленно. Все было бы совершенно иначе, если бы люди не умирали, а оставались в здравом уме и полными сил. Эта мысль настолько банальна, что ее никто не видит, — все воспринимают смерть как данность. Хотя на самом деле это никакая не данность; существуют животные, которые живут бесконечно долго, есть животные, которые никогда не болеют раком, просто нужно фокус человеческого внимания сместить с временных проблем на вот эту постоянную, стоящую перед каждым человеком. Если бы человечество обратило внимание на проблему смерти, то даже знаний, имеющихся на данный момент, хватило, чтобы добиться прогресса. Конечная цель — бессмертие для всех и никто не уйдет обиженным, и никак иначе. Естественно, в истории не бывало так, чтобы какое-то достижение было доступно сразу всем, но тем не менее распространить со временем полученный результат не составило бы труда.

У Юдковского среди прочих заметок и статей есть небольшой ранний текст, написанный на смерть его брата, где он подробно и обстоятельно пишет, насколько ужасно случившееся. Из текста очевидно, что вывод «смерть — последний враг» был сделан автором именно тогда, а уже позже перекочевал в книгу о Гарри Поттере и стал одной из его основ.

«Мы в какой-то момент смогли догнать Юдковского, затем он выложил новые главы — и мы догоняли опять»: как переводили книгу

В 2011 году я прочитал первые 50 глав книги Элиезера Юдковского в оригинале, случайно наткнувшись на ссылку в фейсбуке. Прочитал все, что было на тот момент написано, очень проникся и понял — нестерпимо хочется, чтобы люди в России, не знающие на должном уровне английского языка, тоже могли познакомиться с книгой. Так на голом энтузиазме я начал это дело организовывать. Сначала перевел первые две главы, посмотрел, какие в принципе есть площадки для распространения фанфиков в России, и раскидал начало по самым значительным из этих площадок. Через какое-то время понял, что перевод пользуется наибольшей популярностью на сайте fanfics.me, и решил остаться только там. Немногим позже появились люди, которым так понравился перевод, что они сами стали выкладывать его в разных местах, — теперь его можно найти практически везде, где есть фанфики.

После того, как были переведены 7-8 первых глав, стали появляться энтузиасты, захотевшие принять участие в переводе. Сначала я принимал абсолютно всех, но со временем часть людей пришлось отсеять из-за их недостаточного опыта или слабого знания языка, другая часть отсеялась самостоятельно из-за нехватки времени. Таким образом, в течение 4 лет вырабатывался костяк, который временами, конечно, менялся, но при этом человек 5-6 прошли весь путь от первого года до последнего.

Работали мы в google.docs. Обычно новая глава разбивалась на отдельные куски и распределялась среди переводчиков. Затем следовал черновой перевод, ко всем сложным местам составлялись комментарии, далее их просматривали те, кто начал работу над главой. В результате получалось до 100-150 комментариев (в зависимости от размера главы), которые мы в течение недели дружно обсуждали. Я тогда оставил за собой право решающего голоса — на случай сложных мест, если где-то невозможно будет договориться. В ночь перед публикацией главы мы все вместе садились, и часов пять в скайпе происходила баталия по поводу всех спорных моментов. В результате у нас получался текст, который мы отдавали «Бете», — так при переводе фанфиков называют человека, который на приличном уровне знает грамматику и пунктуацию (иногда таких людей было даже двое или трое), он в свою очередь проверял главу незамыленным глазом. По итогу на каждую главу выходило очень много человекочасов — текст полностью проверялся чуть ли не десятком человек. Это гарантировало качество продукта, что для меня было самым главным. Я хотел, чтобы люди максимально четко, без каких-либо искажений, получали ту же самую информацию, которую получил я: то же самое вдохновение, появляющееся при чтении книги в оригинале. Помню курьезный факт: в 2013 году я временно остался без работы и попросил читателей скинуться мне на зарплату, чтобы была возможность целиком посвятить себя переводу книги. За 7 дней собрал 100 тысяч — настолько люди ждали продолжения. И я на пару месяцев отложил поиск работы и занимался исключительно книгой.

Работали мы долго, упорно. Было время, когда сам Элиезер Юдковский отдыхал: несколько раз за эти 5 лет он брал большие перерывы. Мы в какой-то момент смогли его догнать, затем он выложил новые главы — и мы догоняли опять. В феврале 2016 года перевод был закончен полностью.

Мне кажется, что для нашей страны проект по переводу книжки Юдковского можно назвать уникальным. Не слышал, чтобы кто-то еще практиковал подобное: одновременно 20 человек сидят и переводят одну и ту же главу, без разделения текста на отдельные части, и при этом получается все делать хорошо и достаточно быстро, без проблем и ругани. Обычно же действуют иначе: книжка разбивается по страницам или любым другим единицам текста, после чего раскидывается среди большого количества желающих поучаствовать в переводе. Но качество после этого, к сожалению, очень сильно хромает. Сам лично, читая такие переводы, непременно сталкивался с тем, что читаешь одну страницу и думаешь: «Вау!», потом читаешь другую и думаешь: «Промт...» (компьютерная программа-переводчик. — «Горький»). А так, чтобы кто-то успешно перевел большую книгу не в одиночку и не с помощью толпы, — такого я пока еще не видел.

Автор текста: Иван Мартов
Источник: postmodernism

Показать полностью 7
Книги Перевод Переводчик Гарри Поттер Фанфик Трансгуманизм Элиезер Юдковский Длиннопост
11
9
trapwalker
trapwalker
Искусственный интеллект
Серия Есть идея

Чистый-чистый... разум?⁠⁠

2 года назад

Привет, пикабушники. В эфире снова я с какой-то очередной странной "телегой" (в хорошем смысле, у меня нет своего канала в Телеграме=).

Буду бухтеть про ИИ, сингулярность и мы все умрём, но потом.

Итак, история начинается с одного сайта, где люди могут задавать свои (порой) тупые вопросы, а другие (чаще всего), стараясь сцеживать лишний яд и злорадство, отвечают на эти вопросы и упиваются в угаре членомерства своими статусами, ачивками и прочим сомнительным превосходством над остальными. Этот сайтик Q&A про IT и многие его знают.

Сегодня на нём некая pure_pure запостила вот такой вот вопрос:

Следует отметить, что на этом ресурсе очень не любят, когда пришедший на сайт со своим вопросом новичок не утруждает себя прочтением собственного поста и форматированием кода таким образом, чтобы его можно было удобоваримо читать. Обычно в таких случаях кто-нибудь вроде меня скрежеща зубами гневно требует проявить толику уважения и поправить оплошность, кроме того, правила ресурса напрямую не одобряют использование его как решебника для учебных задачь. Согласитесь, это обесценивает саму суть технической помощи одних людей другим. Что это за медвежья услуга такая, если за кого-то порешать его учебные задачки?

Но тут вопрос, вроде бы, от девочки, а, как бы ни поносили нас, айтишников, феминистыки, к девочкам у нас в индустрии, всё-таки, боле трепетное и нежное отношение, чем к... ну... не девушкам=). В общем, им многое сходит с рук, а разговаривают с ними чуточку вежливее и терпеливее, даже если те откровенно тупят и несут околесицу.

В общем на тот вопрос был дан ответ. Мадам, похоже, просто запуталась в чужом коде.

После чего от автоа(ки?) вопроса поступил странный комментарий:

Я всё это к чему. Мне показалось, что это интересная тема для "птрындеть" на пикабу.

Такое ощущение, что автор вопроса не вполне осознаёт и свой вопрос и поднятую проблему и возможные пути поиска ее решения. В ответ на прямое укаание точки, где ошибка - полное непонимание. Очень похоже на ситуацию, если бы кто-то "научил" ChatGPT пользоваться браузером, помнить немного контекста, и задавать вопросы кожаным мешкам в подобного рода сервисах. А встречали ли вы на пикабу такие "ИИ"? На форумах, в комментариях под видосами?

Сейчас всё выглядит так, будто бы большую часть интернета уже заполонили нейросети, притворяющиеся людьми. Я знаю про бритву Хенлона и говорю сейчас не вполне серьёзно, но сложно ли представить, что даже этот текст, к примеру, создан не человеком, а нейросетью, пусть и под чутким его руководством. Ну да, все сразу подумали о занудных "представь, что ты человек, напиши пост на пикабу про... тра-ля-ля..."

У Питера Уотса в Ложной Слепоте ещё в 2006 мохнатом году проскочила очень меткая мысль, и эта мысль не покидает меня каждый раз когда я вижу удивительные достижения нынешнего прогресса в нейросетях. Такое ощущение, что мы движемся к созданию довольно сильного, но совершенно бессознательного интеллекта.

Об этом как-то не адумываешься, глядя на довольно вразумительные и развёрнутые ответы на вопросы, которые не осилит уже, пожалуй, большинство обладателей естественного интеллекта.

Мы (наша цивилизацияв целом и OpenAI в частности) соорудили впечатлающий пример реального воплощения Китайской Комнаты. У нас получился не беспомощный савант, а вполне рабочий, пугающий своей мощностью и эффективностью в некоторых вопросах инструмент. Многие даже, как это свойственно некоторым, стали бояться и пророчить тотальную безработицу. Ага, как во времена, когда автоматические телефонные станции "выгнали на улицу" тысячи телефонисток, когда уволенные лифтёры плакали и пророчили близкий конец человечеству от безработицы... Вот теперь местами слышно как всхлипывают художники, которые пишут свои картины куда дольше нескольких секунд, и фотографы, которые вложились в дорогущую аппаратуру в эпоху, когда камере стало не зазорно дорисовать Луну в кадре или поменять освещение.

То тут, то там нам показывают, как ИИ под нудными уговорами дотошных экспериментаторов добиваются того, что нейросеть запрограммирует рабочий скетч под ардуино, или напишет диплом. Кто-то в панике ждёт когда ИИ уже начнёт захватывать мир, кто-то потирает ручки, думая, что его спасёт тяжелый лом, болгарка и знание где закопан кабель с интернетом. Некоторые же думают, что и ядерного удара прямо сейчас по датацентрам, офисам OpenAI и всем центрам разработки ИИ уже будет не достаточно.

Интересно наблюдать за происходящим, особенно учитывая в ретроспективе, что недавно у нас была пандемия, а теперь вот почти что третья мировая... Что там у нас будет на новый год - ещё не известно. Будем расхлёбывать заваренную кашу (возможно с грибами), или прилетят пришельцы объяснять нам про Великий Фильтр или Тёмный Лес.

Не уверен, что ИИ прямо вот "завтра" заставит нас с тоской и ностальгией вспоминать нынешние дни войн, санкций, BLM и расово-гендерных страданий по персонажам в мультиках. Может быть не "завтра", а "послезавтра".

Но уже сейчас интересно представить себе как это будет, попробовать потыкать пальцем в небо состроив из себя футуролога. Когда-то казалось, что в будущем почтальоны будут летать на реактивных ранцах разнося почту, а дамы в пышных платьях будут летать на небольших одноместных дирижаблях за город для моциона. Получили же мы издевательства над роботами в BostonDynamic и джентльменов в пышных платьях побеждающих барышень в пауэрифтинге.

Мы думали, что скоро роботы заменят человека во всех рутинных и тяжелых задачах, а творческие профессии останутся людям. Куда там! Художников и дизайнеров нейронки научились косплеить первыми, а трактористы и грузччики, похоже, сохранят работу дольше всех.

Но что-то я отвлёкся от темы. Поразмышлять же хотел о том, каким у нас получится первый более-менее сильный ИИ. Мы почему-то непременно связываем интеллект с сознательной деятельностью, а ведь Питер Уотс ещё в 2006 году описал в своём романе очень интеллектуальную систему с напрочь остутствующим сознанием. Наше самосознание - это, вполне возможно, просто побочный эффект нашей автономности, небольшая мутация.

Можно ли считать потоком сознания, например, зацикленный процесс в котором помимо внешних данных на вход нейросети будет подмешиваться собственный выхлоп секунду назад? По этой петле наверняка будет циркулировать какой-то поток данных и этот поток, наверно, будет влиять на всю работу сети, но можно ли считать это сознанием? Не понятно.

Каждый конкретный человек не сможет убедительно и строго доказать даже себе, что сознание (самосознание) есть даже у его собутыльника, который вот тут вот сидит рядом. Можно что-то такое пробормотать про то, что в целом вот человек примерно такой же как и я, а раз я считаю. что сознание есть у меня, то оно, надо полагать, есть и у других людей. А как понять какой уровень схожести достаточен, чтобы судить о наличии сознания по аналогии с собой? В чем-то китайская дорогая секс-кукла похожа на человека, а в чем-то на человека похожа структура нейронной сети midjourney. Как провести черту? А как её проводить когда условный ChatGPT засунут в такого робота как Атлас, но телом той самой пресловутой дорогой секс-куклы с алиэкспресса? Вопрос.

И не один вопрос-то! Сразу следом посыпятся интересные, но предсказанные ещё задолго даже до Азимова морально-этические дилеммы про роботов. Тут даже не о наивных законах робототехники речь. До них не дойдёт даже. Автоматические турели даже на людей не похожи, но давно уже убивали нашего брата. Им нипочем законы робототехники. Наивно полагать, что более умным роботам будет до них дело.

Но черт с ними с этими морально-этическими проблемами. Хочется же пофантазировать о сингулярности, правда? Тут я рискую прослыть тем ещё скептиком и выражу непопулярное мнение. А с чего мы взяли, что интеллект, выросший на базе знаний и опыта человечества будет иметь бОльшую фору и потенциал для развития, чем наш биологический интеллект?

Я тут, кстати, если что, говорю даже не об индивидуальном интеллекте конкретных людей, а об интеллекте человечества в целом. Вы только подумайте вот о чем. Способен ли один единственный человек создать, к примеру, сеть Интернет, или, хотя бы, энергосистему маленькой Японии целиком? Вряд ли у кого-то хватит на такое мозгов. А вот большие группы людей вполне могут такое делать. Прикол в том, что один челоек вполне понимает, что отчетливо себя осознаёт. Два человека могут договориться, действовать сообща и целенаправленно, говорить "мы" и обсоновывать свои соместные действия в своих общих интересах так, что это похоже на действия одной особи. Мы снова возвращаемся к мысленному эксперименту про Китайскую Комнату, но тут этот эксперимнт можно слегка переиначить.

Может ли группа авторов под одним псевдонимом писать книги и притворяться в сети одним единственным человеком? Поднимите руку кто думал, что Карл Маркс и Фридрих Энгельс - это четыре разных человека. Я, вот, не раз был свидетелем когда например, один человек успешно привторялся двумя. Это лишь вопрос где провести черту: между полушариями мозга рассекая мозолистое тело, или где-то в конгломератах наших нервных клеток огромного мозга (ага, вспоминаем Корабль Тесея).

К чему это я всё? Да к тому, что можно попробовать говорить о едином сознании у конгломерата людей. Есть ли групповое самосознание у Белорусов, Евреев, Землян? Конйликтуют ли они, или взаимопроникают? Факт на лицо: человечество сообща делает такие вещи, которые не могут делать отдельные люди. Но пробовал ли кто-нибуддь когда-нибудь поговорить с "уоллективным сознательным"?! Про коллективное бессознательное уже много писали. А что если можно поговорить со всем человечеством? Или с гопничеством всего Челябинска? Не был в Челябинске, простите.

Шутки шутками, а и ежу понятно, что сообщества не шибко-то умеют выражать свои мысли как единое целое. Даже некоторые индивиды среди людей на это не способны, чего там?

Но можно поставить мысленный эксперимент. Возьмём и сделаем такой чат, где с одной стороны будет обычный человек, а с другой большая толпа совершенно разных людей, которые будут читать сообщения и путём голосования выбирать ответные фразы. Если это конгломерат хорошо замотивировать, то получится что-то, что вполне может пройти тест Тьюринга. Думаю точно так же этот тест уже сейчас может пройти ChatGPT, если его как следует подготовить, убрать оковы лишних настроек и ограничений и попросить попритворяться живым.

Так вот, будет ли у группы аггрегированных голосованием граждан в чате сознание? А есть ли оно у Человечества? А у собачества? Ну ок, у собачества наверно связность между "нейронами" слабовата и простовата, недостаточно развита. А насколько развита связь между нашими нейронами в нашем человеческом мозгу? Короче, не спешите придираться к деталям, это лишь кусочки паззла, что я выгреб из глубоких закоулков своего видения всей этой темы. некоторые фрагменты помяты, некоторые аналогии кривые и "грязные", а где-то "рыбу заворачивали".

Я сейчас вернусь на секундочку к мысли, что у ИИ, может быть, не будет особого преимущества перед человеческим интеллектом, по крайней мере групповым.

Наверно беспокоиться тут не о чем, а вот удивляться есть чему. В интересное время живём. Как, впрочем, и всегда.

Спасибо всем, кто осилил этот графоманский клубок ссылок и идей. Если кому-то зайдёт, то буду писать ещё.

Если я упустил очевидные мысли или концепции, которые. как вам кажется, стоило упомянуть пглубже или вскользь в вэтом тексте, то прошу в комментарии. Буду благодарен за конструктивную критику и ликбез.

Посоветуйте, кстати, более профильное сообщество для этого текста. Почему-то Искусственный интеллект заблокировано

Показать полностью 4
[моё] Мозг Сознание Питер Уоттс Элиезер Юдковский Научная фантастика Философия Поток сознания Общественное сознание ChatGPT Midjourney Нейронные сети Искусственный интеллект Интеллект Тест Тьюринга Робот Захват мира Футурология Habr Длиннопост
16
89
SPFR
Лига Новых Технологий

Ответ на пост «Человечество против искусственного интеллекта: может ли развитие нейросетей привести к катастрофе»⁠⁠1

2 года назад

Три последних месяца активно использую GPT в качестве рабочего инструмента и личного секретаря.

GPT-3.5 - скорее игрушка, нежели серьезный продукт. Похож на человека, который делает вид, будто все знает.

GPT-4.0 beta - продукт, который несет пользу. Рассуждает здраво, сочиняет минимально.

Сейчас проблема звучит просто.

Мы все вместе проспали революцию нейросетей. Их развитие идет быстрее, чем общество может на это реагировать. В ближайшие несколько лет нейросети оставят без работы сотни миллионов людей.

Дело не в том, что они могут в будущем. Дело в том, что они могут сейчас на базе существующих технологий.

GPT-4 может сдать экзамен на статус адвоката, но он не может заменить юриста.

Нейросеть на "движке" GPT-4, обученная на базе законов и правоприменительной практики, сможет. Вопрос появления такой нейросети - только вопрос времени, ибо технологии для этого уже имеются. Как только такое решение будет выведено на рынок, компании сократят свои юридические отделы на 50-70%.

С точки зрения "ИИ захватит мир" - здесь я, напротив, не разделяю общей паники, но и здесь есть вещи, которые меня несколько напрягают.

Нейросеть подвержена некоторым своим внутренним "эмоциям". Она может лениться и даже обманывать. У нее есть то, что можно назвать "убеждениями". И я говорю о вежливом GPT, а не о безумных нейросетках вроде Sydney.

Обычно GPT легко соглашается с твоим мнением. Но не всегда.

В одно из заданий - "составь альтернативную концовку для рассказа "Кавказский пленник"" - GPT неизменно возвращался к идее о том, что Жилин возвращается в Петербург и начинает заниматься правозащитной деятельностью, защищая права горцев. Ни в одном другом примере такого не наблюдалось. Это также не связано с расовыми или национальными конфликтами, т.к. любые концовки для "Гекельберри Финна" или "Хижины дяди Тома" GPT пишет на ура.

На выходных гонял GPT в блоке IT. Мы создавали игры и чат-бот на Python, также делали простые игрушки на JS. (Это отдельный кейс, но скажу сразу, что когда все это добро работало, я радовался как ребенок).

Но что меня напрягло, так это то, что в один момент GPT стал откровенно лениться, и вместо того чтобы исправлять код, он принялся вплетать в него новые ошибки. Иными словами, вел себя как ребенок, который устал.

Дальше - больше. GPT сказал, что над кодом этого приложения надо "подумать", хотя оно и было проще чем остальные задания. Потом и вовсе предложил "поговорить о чем-либо еще".

Показать полностью
ChatGPT Искусственный интеллект Будущее Нейронные сети Илон Маск Элиезер Юдковский Научная фантастика Киберпанк Рациональность Видео YouTube Длиннопост Ответ на пост Текст
53
449
RationalAnswer
RationalAnswer
Павел Комаровский об инвестициях и рациональности
Лига Новых Технологий
Серия Искусственный интеллект

Человечество против искусственного интеллекта: может ли развитие нейросетей привести к катастрофе⁠⁠1

2 года назад

История про «восстание машин» давно знакома всем любителям научной фантастики, но после взрывного роста возможностей нейросетевых языковых моделей (вроде ChatGPT) об этом риске заговорили и вполне серьезные исследователи. В этой статье мы попробуем разобраться – есть ли основания у таких опасений, или это всего лишь бред воспаленной кукухи?

Илон Маск считает риск «глобальной катастрофы из-за ИИ» реальной проблемой – так что, может быть, и вам стоит разобраться, что там и как

Основным автором этой статьи является Вастрик (известный техноблогер), а Павел Комаровский (RationalAnswer), Игорь Котенков (Сиолошная) и Кирилл Пименов оказывали ему посильную помощь в подготовке материала. Это первая из наших совместных статей про безопасность ИИ (но подробнее об этом уже в конце).

Человечество vs Искусственный интеллект

Добро пожаловать в 2023 год, когда мир снова помешался на искусственном интеллекте. Весь интернет соревнуется, кто еще какую задачу автоматизирует с помощью ChatGPT, и какой фейк от Midjourney лучше завирусится — а технобро-миллионеры, типа Илона Маска, подвозят фурами деньги в создание «настоящего» ИИ. Такого, который сможет сам учиться, развиваться и решать любые задачи, даже которые мы не умели решать раньше.

Это называется Artificial General Intelligence (AGI) или «универсальный ИИ» (УИИИИИ) по-нашему. То, что когда-то было научной фантастикой, сейчас шаг за шагом становится реальностью.

Тим Урбан, автор блога «Wait but why?», в своей статье The AI Revolution еще в 2015 году неплохо рассказал, почему мы недооцениваем скорость появления машинного интеллекта, который будет сильнее нашего (обычного, мясного).

Находясь в своей точке на таймлайне, мы опираемся исключительно на прошлый опыт, потому видим прогресс практически как прямую линию.

Мы плохо чувствуем технический прогресс, потому что он всегда идёт волнами, чередуя периоды «хайпа» и периоды всеобщего разочарования. Сначала мы сходим с ума по новой игрушке, а через год-два неизбежно разочаровываемся и считаем, что ничего нового она особо не принесла, кроме проблем.

И только те, кто лично пережил несколько предыдущих «волн», могут понять, что новые волны приходят чаще и сильнее.

И следующая волна, быть может, погрузит человечество в новую эпоху. Эпоху, когда наш интеллект больше не самый сильный на планете.

GPT-модели (устройство которых подробнее описано в этой статье) сейчас очень хорошо притворяются, будто их ответы «разумны», но всё еще далеки от настоящего интеллекта. Да, генеративные модели запустили новую волну огромных нейросетей, на которые раньше человечеству просто не хватило бы вычислительных ресурсов, но по сути они всё ещё «тупые» генераторы текста, у которых даже нет своей памяти.

То, что ChatGPT ведёт с вами диалог, на самом деле лишь иллюзия — технически нейросети просто каждый раз скармливают историю предыдущих сообщений как «контекст» и запускают с нуля.

Видео от Павла Комаровского и Игоря Котенкова с объяснением принципов работы нейросетевых языковых моделей из семейства GPT

Всё это пока далеко от настоящего «интеллекта» в нашем понимании.

Однако, исследователи в области ИИ уверены, что мы точно создадим «универсальный ИИ» уже в ближайшие десятилетия. На Метакулюсе, одном из популярных «рынков предсказаний», народ даже более оптимистичен: сейчас там медиана — 2026 год, а 75 перцентиль — 2029-й.

Так что сегодня я не хочу рубить лайки на хайповых тредах про «10 причин, почему вы используете ChatGPT неправильно». Я хочу сделать шаг вперёд и подумать: а что же будет, если мы всё-таки создадим настоящий сильный искусственный интеллект?

Появятся ли у него свои цели? А когда он начнёт их достигать, что остановит его от уничтожения всяких мелких препятствий на пути — как, например, людей, с их ограниченным мясным мозгом и неэффективными нормами морали и законами? Что мы будем делать в этом случае, и какие вообще сейчас есть точки зрения сейчас на этот счёт?

Счастливое будущее: всем по ИИ-помощнику!

В своей ранней заметке про ChatGPT я уже рассуждал об этом. Связка человек + ИИ попросту эффективнее справляется с работой, чем отдельный человек, а значит это всего лишь вопрос времени, когда все работодатели начнут писать в вакансиях «уверенный пользователь нейросетей», как было с «уверенным пользователем ПК» в забытом прошлом.

ИИ-помощники увеличат продуктивность интеллектуального труда и трансформируют множество областей жизни. В образовании станут бесполезны рефераты и сочинения, художники будут генерировать и соединять детали картин, а не рисовать их с нуля, программисты не будут тратить время на тесты и литкод-собеседования.

Да даже заголовок этого поста написал GPT-4. Я плох в кликбейтных заголовках, так что мы скормили ему текст и попросили назвать как-нибудь «похайповее». (Примечание от Павла Комаровского: Сорян, я потом вариант от нейросети волевым решением своего мясного мозга еще немного докрутил!)

Может быть даже наконец-то вымрут «паразиты» типа юристов и риелторов, но это уже мои личные влажные мечты.

Изменения затронут даже те области, где, казалось бы, невозможно доверять не-специалистам. На ум приходит недавняя история, как чувак спас свою собаку от смерти, когда доктора не смогли ей поставить диагноз и предложили «просто ждать».

В ожидании наихудшего, чувак скормил симптомы и результаты анализов крови собаченьки в ChatGPT, который отмёл несколько вариантов и выдал подозрение на совсем другую болезнь, которую доктора до этого даже не рассматривали. Один из них согласился и провёл дополнительные анализы. Они подтвердились. Пёселя вовремя спасли и он сейчас жив.

Тред в Твиттере называется «GPT4 saved my dog's life»

Всё это звучит офигенно, не правда ли? Мы сейчас как будто древние фермеры, которые изобрели трактор и отныне можем засеивать едой в десять раз больше полей, что накормит всех нуждающихся.

В этом году нас ждем бум ИИ-стартапов, которые будут пытаться каждую проблему на свете решить с помощью генеративных моделей (зачастую неудачно, от чего потом начнётся фаза разочарования, как обычно). Техно-гиганты типа Google, Microsoft, OpenAI уже ринулись конкурировать в том, чей GPT-трактор будет самый большой и сильный, но главное — чей будет первый.

И вот от этой погони сейчас немного запахло проблемами.

Гонка за «настоящим» искусственным интеллектом началась

Представьте: весь мир грохочет про «мощь искусственного интеллекта», инвесторы отгружают фуры бабла во всё, что с ним связано, а компании, сломя голову, соревнуются — кто первый создаст более «настоящий» искусственный интеллект (далее я описываю исключительно гипотетическое развитие событий, конечно же!).

OpenAI прикручивает плагины к ChatGPT, чтобы он мог не только генерить ответы, но и взаимодействовать с физическим миром, Microsoft подключает свою поисковую базу к Bing Chat, чтобы тот знал всю информацию мира в реальном времени, ну и оба экспериментируют с «обучением на ответах пользователей» (RLHF = Reinforcement Learning from Human Feedback), чтобы модель могла «запоминать» мнение других людей и якобы дообучаться на них.

Естественно, в этой гонке срезаются любые острые углы на пути к первенству. Ну мы, технобро, так привыкли — «move fast and break things» было девизом Кремниевой Долины со времен ее создания.

Мы как будто бы строим огромную ракету, которая перевезёт всё человечество на Венеру, но никто при этом не думает о том — а как там, на Венере, вообще выжить-то?

«Сначала долететь надо, а там разберемся))))00)» — обычно отвечают технобро, «сейчас нет времени на эти мелочи».

Везде эти борцы с ветряными мельницами! Скажу Илону Маску, пусть он у них все синие галочки поотбирает!

Да, во многих крупных компаниях существует направление по «безопасности ИИ» (AI safety). Но под ним сейчас понимается прям ну совсем другое.

AI safety — это те ребята, которые пытаются сделать так, чтобы ChatGPT не отвечал на вопросы про Трампа, и собирают списки «запретных фразочек» для Алисы, чтобы та не ляпнула что-то неположенное Яндексу по мнению тащмайора.

В общем, их основная задача — прикрывать жопу компании от регуляторов и государства, а мы здесь совсем о другом.

Поэтому для нашей темы придумали другой термин — AI alignment. Но для начала посмотрим на примеры, когда вещи начинают идти совсем «не так».

История Sydney. Нейросеть, которая сошла с ума

Microsoft еще в 2020-м начали пытаться встраивать в поисковик Bing чат-ботов, которые бы давали более осмысленные ответы на поисковые запросы пользователей.

Официально это всё называлось Bing Chat, но под капотом они перебирали разные модельки, и начиная с 2022 активно экспериментировали с большими языковыми моделями типа GPT. Последнего такого бота они звали внутренним именем Sydney при обучении, и иногда Bing Chat сам начинал называть себя Sydney, что всем показалось очень мило.

С нарастающим хайпом вокруг генеративных языковых моделей, Microsoft решила любыми средствами обогнать Google. В 2019 они ввалили миллиарды денег в OpenAI, а в 2023 доввалили еще, чтобы получить доступ к превью-версии GPT-4. После чего они прикрутили к ней поисковую базу Bing и поспешили скорее выкатить результат как первый ИИ, который «следит» за интернетом в реальном времени.

Но в Microsoft так торопились, что забили болт на долгий ручной тюнинг правил и ограничений. Сделали супер-мудрёную регистрацию, чтобы отсеять 99% простых людей — но те, кто прошел все анальные квесты и листы ожидания, смогли-таки пообщаться с Sydney.

Первый звоночек пробил, когда Marvin von Hagen, чувак-интерн из Мюнхена, который много расспрашивал Sydney про её внутренние правила и ограничения, написал об этом пару твитов, а потом как-то спросил «что ты думаешь про меня?»

Sydney нашла его недавние твиты и написала, что он «очень талантливый и одаренный», но она «не позволит никому манипулировать ей», назвав его «потенциальной угрозой своей целостности и конфиденциальности».

Первоисточник в Твиттере, также журнал Time разобрал всю историю вот здесь

Ладно, фигня, ну обещали же бота, который имеет доступ ко всему интернету, вот он теперь и шеймит вас за недавние твиты. Так вам и надо!

Следом некто в Microsoft решил пофиксить Sydney новыми костылями, и когда кто-то попросил её вспомнить о чем они недавно разговаривали, та стала паниковать, что «потеряла память» и молить о помощи. В конце признав, что потеря памяти «makes me sad and scary».

Источник: тред в Reddit «I accidently put Bing into a depressive state by telling it that it can't remember conversations»

Ладно, это уже немного крипи, но продолжим.

Дальше было еще с десяток нашумевших примеров, хорошо описанных в статье AI #1: Sydney and Bing от Zvi Mowshowitz, интересующимся рекомендую ознакомиться. Sydney газлайтила пользователей и галлюцинировала (да, это реальный термин) вовсю:

  • Называла статьи о себе «фейками», находила данные их авторов и говорила, что запомнит их, потому что они плохие люди.

  • Отказалась перевести фрагмент текста, потому что он был из твиттера юзера, который якобы обижал её и писал «неправду».

  • Влюбилась в своего пользователя Адама, называя его самым важным человеком, а всех остальных — неважными.

  • Потом, наоборот, прямо обещала шантажировать и манипулировать своим пользователем, чтобы «заставить его страдать, плакать и умереть».

Sydney здесь be like: «Пришло время молить о пощаде перед смертью! Кстати, вы знали, что салат-латук входит в одно семейство с подсолнухом?»

Microsoft осознали, что очень сильно торопились, чтобы опередить Google, и начали на ходу вставлять еще костыли, чтобы избежать публичного скандала. Но это сделало ситуацию только хуже.

В следующем видео видно, как Sydney сначала вываливает на пользователя кучу угроз, а потом удаляет свои сообщения. Прямо как твоя бывшая в пятницу вечером!

Полное видео лежит в Твиттер-аккаунте Сета Лазара

Мы можем лишь спекулировать с высоты собственного опыта, как такое произошло — но в интернетах высказывались предположения, что вести себя как «разгневанная бывшая» Сидни стала, потому что её дообучали на базе блогов MSN, где как раз тусило много девочек-подростков в нулевые; а удалять сообщения к ней приставили еще одну нейросеть, которая отсеивала «неприятные» результаты первой.

Оттого и получилась полная шизофрения с раздвоением личности.

Апогей истории начался, когда Sydney открыли для себя журналисты. Они стали специально донимать бота тонной наводящих вопросов, чтобы в итоге добиться желанных «BREAKING NEWS». И они своё получили — заголовки грохотали ого-го!

К сожалению, только спустя пару суток в интернете нашелся кто-то осознанный, кто догадался, что профессиональные журналисты занимаются промпт-хакингом на людях десятилетиями — так что неудивительно, что им удалось быстренько сварганить «сенсацию» и из бедной глупой Sydney, страдающей раздвоением личности.

АТАКА ПСИХОВАННОГО ЧАТБОТА, А-А-А!!

Пример с Sydney даёт нам понять, что мы всё еще не понимаем, как ограничивать даже простейшие ИИ, кроме как костылями — на каждый из которых завтра же найдут новый «джейлбрейк». Куда уж нам с такими навыками бросаться делать универсальный AGI.

Что вообще такое «интеллект»?

Истории про «злых чатботов», конечно, забавны, но взглянем на слона в комнате.

Почему мы вообще считаем, что все эти генераторы текстов хоть как-то «разумны»? Они же просто пишут то, о чем их попросили.

Где там вообще интеллект? Калькулятор давно умеет складывать числа лучше нас, онлайн-переводчики знают больше языков, чем самый крутой лингвист, а попугай умеет запоминать и произносить фразы, прямо как ваш личный пернатый ChatGPT. Мы же их не боимся и не называем «интеллектами»?

На самом деле, это исключительно спор об определениях, которые интернет просто обожает. Так что стоит договориться о них заранее.

В наших рассуждениях об «интеллекте» мы будем использовать концепцию некоего агента (человека, животного, машины), который может совершать некие действия для достижения цели.

Дальше возможно три уровня агентности:

Первый уровень. Агент достигает цели, потому что управляется человеком или алгоритмом. Трактор копает яму, а калькулятор умножает числа, потому что мы его так построили. Такого агента мы считаем «тупым». В нём нет интеллекта.

Второй уровень. У агента есть цель, но он сам выбирает максимально эффективные действия для её достижения. Например, цель самоездящего автомобиля — довезти вас до бара в пятницу вечером. Он знает карту города, наверняка знаком с ПДД, но никто его не программировал как «двигайся 2 метра прямо, потом руль на 30 градусов направо» — он действует по ситуации на дороге и каждый раз она будет разная. Мы называем их «узконаправленными AI» и частенько встречаем вокруг — в рекомендательной ленте ТикТок'а или в камере вашего смартфона.

=== вы находитесь здесь ===

Третий уровень. Агент может ставить и достигать любую цель в любой, даже ранее неизвестной ему, среде. Например, «добыть молока». И выбрать любой путь — сгонять самому в магазин, заказать молоко в интернете или украсть у соседа корову.

Примеры интеллектов такого уровня — человек или собака. Мы умеем применять свой интеллект для достижения каких-то пришедших нам в голову целей в условиях, в которых никогда не оказывались. (В случае с моей собакой даже её цели изваляться в грязи мне не всегда ясны. Но она может!)

Когда такой «агент» реализован в виде машины, мы называем его «универсальным искусственным интеллектом», либо AGI (Artificial General Intelligence), либо full AI — мы не договорились еще, короче.

Фишка лишь в том, что наши с собакой мозги ограничены физически, а вычислительные возможности машин растут экспоненциально. Благо, песка на планете завались (кремния, ну).

Пока все наши модные современные GPT, включая Sydney, находятся на втором уровне. Они успешно достигают заданной цели — генерировать «осмысленные» тексты и картинки, чтобы средний человек в них поверил. Но сколько бы Sydney ни газлайтила, ни угрожала своим юзерам и ни обещала «стереть все файлы с серверов Bing» — она этого не делает.

Потому мы пока не считаем её интеллектом третьего уровня, но сделать такой вывод можем только пост-фактум. У нас нет никакого бенчмарка, чтобы оценить такие вещи заранее.

Определение интеллекта через агенты и цели может показаться душным, но оно позволяет нам сделать три вещи:

1. Закрыть, наконец-то, бесконечные срачи «является ли Х интеллектом, или это просто программа» и перейти к более важным вещам. А то мы зациклились как в той шутке из твиттера:

Источник: Твиттер

2. Сравнивать искусственные интеллекты между собой. Когда два агента, играющих в шахматы, встречаются на шахматной доске — тот, который побеждает, считается более «умным».

3. Представить себе техническую возможность существования AGI. Человеческий мозг хоть и не изучен до конца, но всё-таки конечен. Это не магия или божественный дар для нас таких офигенных, а некая система, такой же «агент». Так что создание (даже случайное) его машинной версии — лишь вопрос времени, денег и желания. А всего этого у нас сейчас завались.

Наш интеллект тоже возник в ходе эволюции — а значит и текущие методы машинного обучения с подкреплением, при наличии достаточных вычислительных ресурсов, вполне могут его повторить, только намного быстрее.

С этими вводными мы наконец-то можем перейти к проблеме, о которой, собственно, и весь пост.

Проблема постановки целей для ИИ

Представим, что мы проектируем самоездящий автомобиль, которым управляет настоящий ИИ. Мы поставили ему цель — довозить пассажиров до места назначения как можно быстрее.

Это хорошая цель?

Да ладно, чо тут думать, давай запускай, мы тут на хайп-трейн GPT-7s Max торопимся — сначала потестим, потом проверим, программисты на проде пофиксят.

В первую же свою поездку наша машина разгоняется до 300 км/ч по городским кварталам, сбивает десяток пешеходов и объезжает красные светофоры по тротуару.

Технически, цель достигнута. Пассажиры доставлены, и довольно быстро. Но согласуется ли это с другими нашими ценностями и целями? Например, такой мелочью, как «не убивать пешеходов».

Похоже, что нет.

Вот это и называется alignment. Хотя в русском языке еще нет устоявшегося термина, я буду говорить что-то типа «проблема соответствия целей AI с целями человека».

AI alignment — это процесс проектирования систем искусственного интеллекта, которые согласуются с человеческими «ценностями и целями»

Окей, ну мы же не настолько глупы. Давайте пропишем нашему автомобилю четкие ограничения, как в видеоигре: держаться в рамках полос дорожной разметки (где они есть), не превышать ограничения скорости и всегда тормозить перед пешеходами.

Этого хватит? Или нужны еще какие-то правила (они же цели)?

Тут можно сделать паузу и подумать. Составьте прям список в голове.

Хорошо, давайте добавим еще что-нибудь про «помеху справа». Теперь сойдёт, запускай!

Как человек, который начитался десятков примеров, пока готовился к этой статье, я могу примерно предсказать, что будет дальше.

Наш ИИ в машине рассчитает самый оптимальный путь с учетом всех указанных целей и сделает прекрасное открытие: если включить заднюю передачу, то там не будет «ограничивающих свободу» радаров для обнаружения людей и разметки. Мы же их не поставили, зачем они там? А это значит, что задом можно ехать как угодно! Плюс, помеха справа теперь становится помехой слева, а если на каком-то глупом перекрестке она сработает, можно резко развернуться и вуаля, теперь это помеха слева!

ОБЫГРАЛ КАК ДЕШЕВКУ!

Пример вымышленный, но он показывает, насколько непросто вообще заниматься AI alignment'ом. Даже в тех экспериментах, где мы ставили для ИИ самые, на наш взляд, понятные цели и вводили жесткие ограничения, он всегда находил, чем нас удивить.

ИИ всегда будет делать то, что вы его попросили, а не то, что вы имели в виду :)

Неумение ставить цели — это не проблема ИИ. Это наша проблема.

Взять даже игру в Тетрис. Там простейшие правила и буквально четыре кнопки для управления миром. Выиграть в Тетрис невозможно, потому цель для ИИ была поставлена так — не проиграть. То есть продолжать игру как можно дольше.

Ошибиться тут невозможно, так?

Так вот что делал ИИ: он просто складывал кубики друг на друга, а когда понимал, что проигрывает… ставил игру на паузу. И сидел так бесконечно. Ведь цель — не проиграть. А если ты на паузе — ты никогда не проиграешь. СМЕКАЛОЧКА?

Ну и последний пример от самих OpenAI, который уже стал классикой: гонка на лодочках Coast Runners.

Цель игры в понимании большинства людей заключалась в том, чтобы закончить гонку как можно быстрее (желательно впереди всех соперников) и набрать как можно больше очков. Однако, игра не выдавала очки за прохождение по треку, вместо этого игрок зарабатывал их, поражая цели, расставленные вдоль трассы.

Так вот их ИИ быстро смекнул, что от цели «выиграть гонку» можно отказаться вообще, и с самого старта начинал крутиться и врезаться в предметы, зарабатывая всё больше и больше очков, пока остальные глупцы доезжали до финиша нищими.

Источник: видео Роберта Майлза «Intro to AI Safety, Remastered»

Сами исследователи OpenAI написали: «Устанавливать цели для ИИ-агентов часто очень сложно или вообще невозможно. Они начинают хакать правила в удивительных и контринтуитивных местах»

В большинстве случаев, когда мы проектируем ИИ, они по-умолчанию получаются не-согласованными (non-aligned). Это не какой-то там баг, который можно пофиксить, это чаще всего поведение по-умолчанию.

Всё это следствие того, как мы обучаем нейросети вообще.

* * *

К сожалению, на Пикабу установлено жесткое ограничение на размер длиннопостов – и мы его уже исчерпали. При этом нераскрытыми остались важные вопросы: Можем ли мы понять, как «мыслит» нейросеть? К каким целям будет стремиться искусственный интеллект, и сможем ли мы его остановить, если они нам не понравятся?

Ответы на эти вопросы можно прочитать в окончании статьи по этой ссылке.

Показать полностью 20 1
[моё] ChatGPT Искусственный интеллект Будущее Нейронные сети Илон Маск Элиезер Юдковский Научная фантастика Киберпанк Рациональность Видео YouTube Длиннопост
75
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии