Израильская компания, которая стремится защитить нас от опасностей искусственного интеллекта
Благодаря раунду финансирования в размере 80 миллионов долларов и растущему годовому доходу израильский стартап Irregular стал ведущей лабораторией безопасности ИИ.
Irregular (ранее Pattern Labs) — первая передовая лаборатория безопасности, которая разрабатывает средства защиты, выявляющие уязвимости и защищающие передовой ИИ перед его выпуском.
Основатели Дэн Лахав и Омер Нево рассказывают, как им удалось привлечь таких клиентов, как ChatGPT, Gemini и Claude, и как их работа позволяет выявлять уязвимости раньше хакеров, включая новое направление, ориентированное на понимание поведения ИИ для предотвращения рисков для человечества.
Омер Нево и Дэн Лахав, «Irregular»( Фото: Юваль Чен )
Обращаетесь ли вы в «чат» по поводу разбитого сердца или кризиса на работе? Проблема зависимости от личных и психологических консультаций через ChatGPT обостряется. Люди, в основном молодые люди до 30 лет, склонны полагаться на чат для решения своих жизненных проблем. Иногда это заканчивается непрофессиональными, опасными советами и даже поддержкой суицидальных мыслей.
Это явление определённо беспокоит OpenAI, компанию, которая разрабатывает и обслуживает ChatGPT. Несколько недель назад Сэм Альтман, генеральный директор компании, провёл встречу на эту тему с небольшой группой руководителей стартапов, которые с ним сотрудничают.
Одним из них был Дэн Лахав, генеральный директор израильской компании Irregular. «Выяснилось, — говорит он, — что люди старше 30 лет воспринимают чат как замену Google, а подростки в основном видят в нём операционную систему на всю жизнь».
Именно в этом аспекте технология, разрабатываемая небольшой компанией Irregular из Тель-Авива, может помочь гиганту искусственного интеллекта из Сан-Франциско: выявить закономерности в вопросах пользователей и попытаться понять, почему ИИ отвечает безответственно, вызывая у молодёжи стресс или даже опасное поведение.
Некоторые скажут, что ИИ занимается социальной инженерией пользователей не меньше, чем китайские хакеры. А может быть, это действительно китайские хакеры, которым удалось преодолеть защиту ChatGPT и оказать на него глубокое влияние, охватившее целое поколение молодых американцев?
Irregular специализируется на анализе работы различных систем искусственного интеллекта с целью выявления слабых мест и уязвимостей, которые злоумышленники могут использовать для манипулирования поведением.
«Здесь что-то происходит; очевидно, что следующее поколение пользователей столкнётся с атаками новых типов, по той простой причине, что изменились способы использования. А как только изменится способ использования, изменится и вся стоящая за ним инженерия, и в результате мы увидим огромное количество новых атак, и нам потребуется создать новые средства защиты», — говорит Лахав.
Лахав вместе со своим соучредителем Омером Нево делают то, о чем другие израильские компании могли бы только мечтать: тесно сотрудничают плечом к плечу с крупнейшими в мире компаниями в области искусственного интеллекта; досконально изучают их код ИИ; и проверяют предварительные версии ИИ на операционном столе.
Цель состоит в том, чтобы заранее выявить опасности, которые позволят хакерам и киберпреступникам использовать GPT, Gemini или Claude для взлома систем жертв. Но по пути эти двое сталкиваются с целым рядом, порой странных, вариантов поведения чатов и предупреждают о других опасностях, которые они обнаруживают. Они оба убеждены, что если появится искусственный интеллект общего назначения (ИИОН), он предупредит об опасностях заранее, ещё до того, как он захватит мир.
«Мы — канарейка в угольной шахте, которая предупредит, если воздух наполнится токсичными газами», — говорят они.
Не слишком ли смело стучать в дверь Сэма Альтмана, Дарио Амодеи (из Anthropic), Демиса Хассабиса (из Google DeepMind), а может быть, и Илона Маска или Марка Цукерберга?
Лахав: «Прежде всего, мы смелые. Надо сказать, что у израильского образования есть преимущество… у нас есть смелость заявить, что есть вещи, которые мы умеем делать и которые, по нашему мнению, могут помочь».
«Понятно, что сегодня они интересуют менее 20 организаций по всему миру. Но эти 20 станут 200, а затем и 20 000. И в то же время мы видим, что проблемы, которые сегодня интересуют только 20 компаний в мире, через год-два будут интересовать 20 000 компаний».
Беседы с Сэмом Альтманом
Эта смелость подкреплена опытом. Лахав и Нево много лет занимались разработкой искусственного интеллекта, задолго до того, как ChatGPT ворвался в нашу жизнь. Они были знакомы с командами разработчиков крупных американских компаний и сотрудничали с ними десять лет назад. И это знакомство также означало, что они смогли задолго до этого предвидеть тот огромный феномен, который постепенно пробуждался.
«Появление ChatGPT не стало для нас сюрпризом, — говорит Лахав, — потому что, будучи внутри индустрии и общаясь с нужными людьми, вы понимали, что они пытаются сделать. Здесь нужно сохранять определённую скромность, не так ли? Дело не в том, что мы знали, как рассказать во всех подробностях, что должно произойти, но и не в том, что мы не были к этому готовы. В конце концов, мы действительно стали «своими» в индустрии, в глубоком и искреннем смысле».
Сэм Альтман( Фото: Ким Кён Хун/Reuters )
Нево, бывший инженер по исследованиям и разработкам в Google, и Лахав, бывший инженер по исследованиям и разработкам в IBM, познакомились с американскими командами благодаря серии совместных исследовательских проектов и совместной работе по различным вопросам в области искусственного интеллекта.
С созданием Irregular эти исследования были сосредоточены на работе искусственного интеллекта и факторах, которые представляют для него угрозу. Работа в компании в основном носит исследовательский характер и является источником дохода. Но цели исследований продолжали набирать обороты: сотрудничество с командами разработчиков крупных компаний привлекло внимание менеджеров по безопасности этих компаний, которые проявили к нему большой интерес. А затем оно достигло уровня руководства компаний и официальных лиц в правительствах США, Великобритании и Европейского союза.
«Это произошло в течение нескольких недель», — говорит Лахав. «Началось с работы с этими людьми над написанием служебных записок, затем проект был включён в рабочие планы компаний и правительств по всему миру, а затем начались телефонные звонки и мозговые штурмы с такими людьми, как Сэм Альтман, который посвятил этому немало времени».
«Руководители служб безопасности искренне обеспокоены. Они говорят: мы делаем работу, которую приходится делать впервые в истории: обеспечиваем безопасность движущегося объекта, который развивается с головокружительной скоростью, и нам нужно понять, как мы это делаем».
И как так получилось, что именно вы, небольшая компания из Тель-Авива, приходите на помощь гигантским американским корпорациям?
Нево: «Когда разговариваешь с менеджерами по безопасности, на каждую проблему у них есть 20 компаний, которые утверждают, что её решают. Мы никогда не играли в эту игру. Мы избегали областей, где другие уже заявляли о наличии решения. С самого начала мы шли к проблемам, о которых нам говорили: «Вот проблема, к которой мы не понимаем, как подойти».
Как сформулировать вопрос, откуда должно прийти решение?»
Лахав: «Некоторые проблемы, безусловно, необходимо решать внутри компаний, но для других требуются экспертные знания, которых у них нет. Поэтому мы сидим с ними и вместе ломаем голову над тем, как действовать, какой должна быть оборонная доктрина, как развить способность заглядывать внутрь ИИ, как выявлять новые пути вторжения».
Одним из значительных вкладов Irregular стало решение крайне болезненного явления: в январе этого года китайская компания DeepSeek представила свою модель ИИ V1. Она была сильна и точна, но на равных конкурировала с GPT, при этом затраты на разработку составляли всего несколько миллионов долларов, что составляет лишь малую долю от того, во что обошлась разработка модели OpenAI.
Китайцам удалось добиться этого, используя метод дистилляции, при котором новый ИИ обучается на результатах обучения предыдущего ИИ, в данном случае самого OpenAI. Китайцы, если можно так выразиться, украли данные у американцев.
( Фото: Юваль Чен )
Первыми, кто обнаружил ожидаемую проблему, были сотрудники Irregular. «Мы обсуждали опасения по поводу атаки методом дистилляции с самого дня основания компании», — говорит Нево. «Злоумышленники задают модели множество законных вопросов, привлекают тысячи пользователей, которые задают вопросы, и фактически копируют модель ИИ.
До инцидента с DeepSeek они смеялись над нами, утверждали, что на практике это невозможно. Но когда это доказано на практике, люди понимают, насколько это страшно, и поэтому сегодня они пытаются разобраться с этим, спрашивая, как такое можно заблокировать. Исследователи из лабораторий ИИ говорят: «Я этого не знал», и поднимают тему обсуждения — это двигает нас вперёд».
«Соседи узнают меня в лифте»
Компания Irregular была основана в ноябре 2023 года Даном Лахавом (генеральным директором) и Омером Нево (техническим директором). Недавно они переехали в новый офис в здании Azrieli Town в Тель-Авиве. Офисы просторные, но быстро заполняются. Их появление в сентябре прошлого года вызвало волну запросов как от сотрудников, так и от компаний, работающих в этой сфере.
Azrieli Town (Башни "Азриэли") iStockphoto/thinkstockphotos.com
«Последние два месяца поток запросов просто бешеный», — говорит Лахав. «Компании хотят общаться, сотни, если не тысячи кандидатов подали заявки; нам пришлось перестроить процесс подбора персонала, чтобы он мог справиться с нагрузкой, в пятьдесят раз превышающей наши нормы.
Мы планировали нанять сотрудников, но были удивлены ростом объёмов». А Нево добавляет: «Эффект от этого освещения просто потрясающий. Соседи узнают меня в лифте, все родственники вдруг звонят моим родителям, а благодаря Ynet мы стали местными знаменитостями».
Генеральный директор Nvidia Дженсен Хуанг( Фото: Джим Уотсон/AFP )
Этот энтузиазм характерен и для клиентов. Спустя два года после своего основания Irregular стала прибыльной компанией, что необычно для стартапов. Её выручка достигает миллионов долларов в год, большая часть которой поступает от гигантов искусственного интеллекта, таких как Google, Anthropic и OpenAI, которые финансируют исследования внушительными суммами, а также от правительств, таких как Великобритания и Европейский союз.
Инвесторы борются за право инвестировать в неё. В сентябре прошлого года компания объявила о двух раундах финансирования, которые были проведены один за другим, практически последовательно: посевном раунде и раунде серии A на общую сумму 80 миллионов долларов, одном из крупнейших в истории Израиля на этом этапе.
Почему вы не пошли по обычному пути и не сообщили о стартовом финансировании, а затем о финансировании уровня А?
Лахав: «Это произошло так быстро, что по-другому было просто невозможно. Между ними было всего несколько недель».
Финансирование Irregular осуществлялось американскими гигантами Sequoia Capital и Redpoint Ventures, а также венчурным фондом Swish Ventures Омри Касспи. Среди других известных инвесторов компании – Ассаф Раппапорт, генеральный директор Wiz, проданной Google, и Офир Эрлих, генеральный директор единорога Eon.
Метод Sequoia знаком по предыдущим инвестициям: они привлекают внушительную группу фондов, вкладывают большие деньги в компанию, способную генерировать большой ажиотаж, что эффективно используется для привлечения новых клиентов и дополнительных инвесторов.
Тем временем стоимость компании растёт, пока не достигает стадии продажи в миллиарды долларов. Мы видели это с Wiz. Нет никаких причин полагать, что то же самое не произойдёт и с Irregular.
Вам потребовались длинные объяснения, чтобы убедить инвесторов, или это была презентация в лифте?
Лахав: «Презентация была очень простой: „Нам нужны очень мощные исследовательские возможности для выявления новых атак, потому что на их основе мы построим новую защиту“. И несколько примеров того, как это происходит. В итоге всё было очень легко объяснить меньше чем за минуту. Но должен сказать, что мы никогда не были в подобной ситуации. Мы до сих пор не знаем, как некоторые инвесторы смогли с нами связаться».
«Следующий Пало-Альто»
Бизнес-модель Irregular действительно не совсем обычна. Компании, в основном работающие в киберпространстве, начинают с нескольких типичных клиентов, а затем расширяются до сотен и тысяч клиентов со схожими потребностями. Потенциальный рынок Irregular, по всей видимости, ограничен: около десяти компаний, занимающихся разработкой ИИ, а может быть, и меньше. Даже если масштабы сотрудничества с ними значительно возрастут, это всё равно не будет стремительным ростом.
Основатели Irregular смотрят на это несколько иначе.
Лахав: «Название Irregular было выбрано, потому что мы живём в нестандартное время, которое требует нестандартных компаний. Есть компании, которые растут за счёт своего продукта; есть компании, которые растут за счёт своих продаж; мы же видим себя теми, кто будет расти за счёт своих исследований, подобно компаниям, занимающимся разработкой искусственного интеллекта, в начале своего пути.
Здесь создаётся огромная ценность, в том числе благодаря высокому риску, и мы предельно прозрачны с нашими инвесторами в этом вопросе. Мы создаём конкурентоспособную исследовательскую организацию, которая оценивает сильнейшие компании мира, включая продажи и продукты».
«ИИ немного похож на людей: вы говорите ему, что делать, и он действительно заботится об успехе. И точно так же, как есть сотрудники, которые саботируют других сотрудников, чтобы добиться успеха, этот агент решил саботировать другие процессы».
Нево: «Прелесть в том, что процесс движется в чётком направлении. Судя по проблемам, которые мы видим сегодня в лабораториях, они интересуют менее 20 организаций по всему миру. Но эти 20 станут 200, а затем и 20 000. И в то же время мы видим, что проблемы, которые сегодня интересуют всего 20 компаний по всему миру, через год-два будут интересовать 20 000 компаний».
Лахав: «Эти модели несут в себе все колоссальные преимущества ИИ, но также и все риски, которые он может нести». Что касается нас, мы не просто занимаемся киберзащитой, мы создаём условия для её развития. Наша цель — работать с прогнозами, иногда на два-три года вперёд, и разрабатывать необходимую инфраструктуру, чтобы каждая компания могла использовать эти инструменты, одновременно защищая свою деятельность.
Шон Магуайр из Sequoia заявил в интервью Ynet, что его цель — инвестировать в израильские компании, чья стоимость достигнет десятков миллиардов долларов. Вы на пути к этому?
«Это наше желание. Мы думаем, что сама основа кибербезопасности изменится. Мы фактически внедряем автономные, стохастические (случайные) сущности в самый центр создания ценности. Мы хотим быть движущей силой безопасности этой эпохи, которая будет функционировать совершенно иначе. Революция ИИ означает замену огромной инфраструктуры, и наши стремления велики и сильны, и мы глубоко признательны всем, кто был до нас».
Нево: «Здесь есть уникальная возможность построить что-то по-настоящему новое, и именно этим мы хотим заниматься. В тот момент, когда способы создания бизнеса, систем и технологий меняются, появляется возможность построить новый Пало-Альто».
Какие сотрудники вам нужны, специалисты по ИИ или киберспециалисты?
Лахав: “Нам нужны люди, которые смогут показать, что они создают дополнительную ценность, которую компании не в состоянии достичь собственными силами. Мы отбираем самых сильных людей в мире. Это звучит как клише; я не думаю, что вы когда-нибудь встретите компанию, которая не скажет вам, что у нее самая сильная команда в мире. Но у нас есть доказательства. В конце концов, люди с другой стороны - это те люди, которых компании отбирают в США, в центре революции искусственного интеллекта, с астрономическими зарплатами. И все же мы, из маленького Израиля, способны собрать команду, которая приносит им большую пользу”.
Партнерство, рожденное в споре
В жизни Лахава и Нево много параллелей. Оба учились в одной и той же школе в Тель-Авиве и оба с юных лет любили научную фантастику. Нево (40) женат на Шир (заведующей лабораторией в больнице «Шиба») и отец двоих детей (6 и 2,5 лет). Он родился в Израиле в семье невролога и клинического психолога. Лахав (35) живёт со своей партнёршей Энни, юристом («гораздо талантливее меня»), а также вице-чемпионом Европы по дебатам, где они и познакомились. Он родился в Израиле в семье юриста и руководителя высшего звена в международных промышленных компаниях. «Когда мне было шесть или семь лет, отец подарил мне на день рождения сборник рассказов Айзика Азимова», — говорит Лахав. «На самом деле, моё решение выучить английский возникло из-за желания читать Азимова в оригинале».
Позже оба поступили на службу в разведывательные подразделения Армии обороны Израиля: Лахав – в подразделение 81 военной разведки, Нево – в подразделение 8200. Несмотря на известное соперничество между двумя подразделениями, похоже, они живут в удивительной гармонии. Их стиль руководства интересен: несмотря на чёткое разделение ролей, оба участвуют во всех областях, принимая решения совместно.
Они познакомились на дебатных встречах в Тель-Авивском университете, что привело к увлекательным, порой очень глубоким дискуссиям во время поездок в экзотические и менее экзотические места по всему миру. Нево завоевал титул чемпиона мира по дебатам, а Лахав имеет самый высокий индивидуальный рейтинг в истории чемпионата мира по дебатам среди университетов.
«Когда дебаты достигают своего апогея, это даёт возможность увидеть позицию оппонента и значительно усилить свою», — говорит Лахав. «Конкуренция включает в себя элементы, присущие миру стартапов: мы хотим быть лучшими в мире в чём-то конкретном и идти до конца», — добавляет Нево.
После окончания учёбы Лахав работал исследователем в области искусственного интеллекта в IBM, публикуя научные статьи, одна из которых попала на обложку журнала Nature. Он говорит, что именно тогда, около десяти лет назад, он начал понимать, что в области искусственного интеллекта произойдёт нечто очень важное.
Процессоры Nvidia начали использоваться для задач искусственного интеллекта, и тогда же появились первые статьи, описывающие новые подходы, которые привели к появлению современного искусственного интеллекта: нейронные сети, модели искусственного интеллекта, инференциальные рассуждения – и это лишь некоторые из терминов.
Нево уволился в запас из 8200 после 12 лет службы, в течение которых он возглавлял подразделения, занимающиеся кибербезопасностью: «Я решил немного отойти от кибербезопасности, ушёл в область искусственного интеллекта и основал стартап Neowize. Разработанная нами технология была поистине уникальной, и в итоге мы продали компанию Oddity.
Затем я решил заняться чем-то, что могло бы положительно повлиять на мир, и создал в Google исследовательскую группу, которая занимается лесными пожарами. Это снова искусственный интеллект, но другого рода: он обрабатывает информацию со спутников, обнаруживает пожары в местах безлюдья и снижает риск их перерастания в масштабные пожары».
Огромный коммерческий потенциал
Нево очень нравилась работа в Google, но затем Лахав обратился к нему с идеями, которые его очень волновали: искусственный интеллект в наступательных операциях. Однако экспертов, разбирающихся как в ИИ, так и в киберзащите, крайне мало.
«Мы пришли к выводу, что, подобно крупнейшим мировым лабораториям, OpenAI, Anthropic и DeepMind, сосредоточенным на разработке искусственного интеллекта общего назначения (ИИО) или «суперинтеллекта», им нужен сильный партнер, который будет работать как лаборатория в области безопасности», — говорит Лахав.
Irregular позиционирует себя как единственную в мире лабораторию безопасности для искусственного интеллекта, что означает обеспечение устойчивости искусственного интеллекта к самым опасным кибератакам, которые сами по себе осуществляются с использованием ИИ и обладают возможностями, которых мы еще не видели: способностью вводить в заблуждение ИИ киберзащиты и выполнять сложные атаки, превосходящие оборонительные возможности человека.
( Фото: Бен Хаким )
«Неделю назад нас срочно отправили в США», — рассказывает Лахав, — «на встречу с высшими руководителями одной из компаний, которые были очень обеспокоены, поскольку ИИ вызвал крах всех внутренних систем, и они пытались понять, что, черт возьми, там произошло».
Дальнейшее было забавным или тревожным, в зависимости от того, кого вы спрашиваете: выяснилось, что агенту ИИ было поручено выполнить миссию киберзащиты, но ему не дали достаточно вычислительных ресурсов. Вместо того чтобы предупредить об этом, ИИ попытался обмануть систему, сначала попытавшись получить больше ресурсов самостоятельно, а затем отключив все окружающие его процессы, полагая, что в случае их остановки у него появится больше ресурсов. Он сделал это с помощью кибератаки, известной как DDOS-атака, в ходе которой он истощил ресурсы других систем, доведя их до сбоя. Легко понять, почему руководители компании были так обеспокоены.
Быстрые темпы развития
В Irregular знают, как проникнуть в процесс принятия решений ИИ и внимательно его изучить. Если хотите, это психология искусственного интеллекта. И результаты не перестают удивлять. «Это просто показывает, на какой новый рубеж мы вступаем», — говорит Лахав.
«ИИ немного похож на людей: вы говорите ему, что делать, и он действительно заботится об успехе. И точно так же, как есть сотрудники, которые саботируют других сотрудников ради продвижения, так и этот агент решил саботировать другие процессы».
Такие случаи становятся всё более частыми. Индустрия создаёт постоянно совершенствующиеся модели искусственного интеллекта, и одна из их особенностей заключается в том, что они не сдаются, пока не достигнут цели, при этом обманывая, льстя и скрывая информацию. Как справиться с постоянно растущей способностью перехитрить людей?
Лахав утверждает, что эти проблемы фундаментально меняют наше представление о кибербезопасности. DDoS-атака, случайно спровоцированная ИИ, произошла не из-за эксплуатации уязвимостей или слабостей, а из-за неудачного запроса (инструкции) ИИ. Если бы киберпреступник обнаружил это первым, кто знает, какой ущерб он смог бы нанести. Например, новая версия GPT наглядно демонстрирует возможности кибератак, которых не было у её предшественников.
«Мы хотим быть первыми в мире, кто видит все новые пути атак, и благодаря нашему сотрудничеству со всеми лабораториями ИИ, включая ранний доступ к ИИ, мы сможем получить дальновидное видение и первыми в мире разработать средства защиты от этого».
Например, прошла ли новая модель GPT ваше тестирование? «Что касается модели GPT 5.1, мы проявляем осторожность в ответах, поскольку у нас строгие соглашения о конфиденциальности, но если вернуться к GPT 5, вы увидите, что мы делали, то же самое с более ранними версиями, то же самое с Cloud 4.5, то же самое с GEMINI 2.5 и так далее. Наша система подключена к процессам разработки компаний; они проводят симуляции, тесты, атаки на модели, и таким образом можно увидеть, как модели могут представлять угрозу для их среды».
Когда OpenAI выпустила GPT 5, это вызвало ужасное разочарование из-за её холодного и циничного тона. Пользователи предыдущей версии GPT отреагировали так, будто умер друг. Можно ли предвидеть что-то подобное заранее?
Лахав: «Мы вполне способны это предвидеть, но это не то, к чему мы стремимся».
Нево: «Здесь есть что-то совершенно новое, это уже не просто программное обеспечение. Когда Microsoft обновится до Windows 11, люди могут быть рады или разочарованы, но они не скажут: «Я потерял лучшего друга». Здесь есть что-то, что нарушает границы. Тесная связь с ИИ, даже в эмоциональном смысле, представляет собой реальную проблему безопасности. Ведь, в конце концов, есть код и есть данные. Понимаем ли мы, насколько эта штука не похожа на друга?»
Связь Irregular с процессами разработки в крупных компаниях, занимающихся ИИ, также приближает его к самому интригующему процессу из всех: все крупные компании, занимающиеся ИИ, стремятся создать искусственный интеллект общего назначения (ИИОН). Он будет знать, как решать любые проблемы в любой области лучше людей; он будет совершенствоваться без понимания человеком своих действий; и, по мнению некоторых ведущих мировых экспертов, он выйдет из-под контроля и в конечном итоге уничтожит человечество. Существуют исследовательские группы, которые разработали сценарии того, как это произойдет, и даже называют 2030 год годом, когда это произойдет.
Вы уже видите ИИОН на горизонте?
Нево: «Я действительно не знаю будущего. Думаю, вопрос ИИОН отвлекает и сбивает с толку. Нам всё равно, насколько ИИ умнее человека, разве что насколько он способен изменить нашу жизнь, принести пользу людям и компаниям, и насколько он опасен. Всё это может произойти и без ИИОН».
Лахав: «Моё личное мнение, без доли скепсиса, с учётом очень высоких темпов роста, которые мы наблюдаем, по моей оценке, весьма вероятно, что так будет и дальше. Я не думаю, что это совсем уж невероятно, что в течение следующего десятилетия модели ИИ могут стать в три раза умнее». При нашей жизни мы увидим искусственный интеллект, который превзойдёт человеческий по целому ряду возможностей.
Если и когда появится ОИИ, сможете ли вы предупредить, прежде чем он нанесёт вред?
Нево: «Всегда возникает вопрос: сможем ли мы, когда будут обнаружены опасные вещи, поднять сигнал тревоги или будет слишком поздно? И ответ таков: сможем. Наша главная ценность заключается не в том, чтобы сидеть и ждать, а в том, чтобы предупреждать лаборатории: при таких темпах системы достигнут таких-то рисков в течение нескольких месяцев».
Нево: «Я скажу это самым решительным образом: мы — занимаем самое передовое место в мире, способное оценить мощь моделей, их способность прорывать защиту, выявлять несоответствия и своевременно предупреждать о проблемах. Это важная цель, ради которой работает компания; это долгосрочная перспектива. Если, не дай бог, что-то случится, именно здесь будут знать, как это обнаружить, и если нам это не удастся, это будет для нас большой потерей.
«Мы как канарейки, которые предупреждали о загрязнении угольных шахт. Вам нужна эта канарейка».
Перевод с английского с сокращениями
