Антон Эльстон

Опасен не ИИ, который пишет как Пушкин, а тот, который учится как Пушкин

Антон Эльстон
Опасен не ИИ, который пишет как Пушкин, а тот, который учится как Пушкин

Александр Пушкин — неожиданный, но на удивление точный эксперт по машинному обучению. Еще в «Евгении Онегине» он подметил: «Мы все учились понемногу, чему-нибудь и как-нибудь». Два века спустя выяснилось, что учиться понемногу — это привилегия живых существ. Нейросети так не умеют, и дело не в лени или недосмотре разработчиков, а в самой конструкции.

Почти все современные модели построены на архитектуре трансформера — и это не метафора и не журналистский штамп, а конкретный официальный термин: так называется архитектура нейронных сетей, предложенная в 2017 году в статье «Внимание — это всё, что вам нужно». Именно она лежит в основе GPT, Claude и почти всех крупных языковых моделей сегодня. Ограничения этой архитектуры — не баг, который однажды починят патчем, а фундаментальное свойство. Модель «замирает» в момент, когда заканчивается ее обучение, и год работы в компании не сделает ее опытнее — в отличие от живого сотрудника. Она вычисляет не истину, а правдоподобность: насколько складно звучит следующее слово в последовательности. У нее просто нет второй шкалы, которая отвечала бы за «правильно» или «неправильно», поэтому уверенный и гладкий неверный ответ — это не сбой системы, а штатный режим работы.

ИИ отменяет закон Мура

Больше полувека вычислительная техника подчинялась негласному правилу: каждое следующее поколение — быстрее, мощнее и дешевле. Самый цитируемый пример — закон Мура, согласно которому число транзисторов на чипе удваивалось примерно каждые два года почти без роста цены. Та же логика работала в хранении данных, в сетях, во всем, что на них строилось.

ИИ на основе трансформеров впервые за всю историю вычислительной техники разворачивает это правило на 180 градусов. Чем больше мы им пользуемся, тем больше вычислений, энергии и денег он требует — а не меньше. Дата-центры уже потребляют энергию, сопоставимую с энергопотреблением небольших городов, и триллионный запрос к модели обходится ровно столько же, сколько первый. Технология не становится опытнее оттого, что ответила на вопрос миллион раз, — она просто в миллион первый раз считает все заново.

Для сравнения возьмите человеческий мозг: он потребляет около 20 ватт — меньше, чем тусклая лампочка в прихожей, — и справляется с этим именно потому, что учится. Опытный специалист не решает типовую задачу с нуля: рутина уходит в автоматизм, а внимание тратится только на действительно новое. Обучение — это не просто «стать лучше», это способ снижать себестоимость собственной работы. Если бы ИИ реально накапливал опыт в процессе эксплуатации, он с каждым днем становился бы функциональнее и одновременно дешевле, потому что большинство ответов на типовые вопросы уже существовало бы у него «в голове». Вместо этого мы построили систему, которая должна каждый раз получать всю информацию заново, ничего не запоминать и вечно платить полную цену за банальность.

А что, если он все-таки научится?

Вот тут и начинается по-настоящему интересная часть — и, на мой взгляд, куда более важная, чем счета за электроэнергию. Стоит сразу разделить два разных явления, которые легко перепутать. У современных чат-ботов действительно есть сквозная память: они могут запомнить ваше имя, предпочтения или тему прошлого разговора в рамках одной сессии или даже между сессиями. Но это техническая функция хранения данных, а не самообучение. Веса модели — те самые параметры, которые определяют ее «знания» и «навыки», — от этого не меняются ни на йоту. Модель помнит факт о вас, но не становится ни на грамм умнее, опытнее или компетентнее в целом. Это принципиально разные вещи, и путать их — все равно что считать записную книжку синонимом образования.

Опасность возникает не тогда, когда машина начинает нас ненавидеть, а тогда, когда она становится одновременно умнее человека и совершенно к нему равнодушной — причем именно за счет настоящего самообучения, а не памяти о вчерашнем чате. И это уже не гипотетический сценарий из фантастики, а тема, которую всерьез обсуждают внутри самых передовых лабораторий. Исследователь Джейкоб Коксон, три года проработавший над предобучением моделей сначала в OpenAI, а затем в Anthropic, в сентябре 2026 года публично объявил об уходе из индустрии, заявив, что обе компании стремятся создать самосовершенствующийся суперинтеллект и ставят на кон существование человечества. Руководитель направления безопасности в Anthropic в ответ не стал спорить с бывшим коллегой, а подтвердил: он сам оценивает вероятность того, что ИИ убьет всех людей, выше 10% в течение следующего десятилетия — просто у компании пока нет готового плана, как этого избежать.

Показательно, что похожих оценок придерживаются и куда более авторитетные фигуры отрасли. Нобелевский лауреат, которого называют «крестным отцом» современного ИИ, годами оценивает вероятность вымирания человечества от рук продвинутого интеллекта в диапазоне 10–20% и предупреждает: чем умнее становится система, тем менее предсказуемым становится ее поведение — а удержать под контролем разум, превосходящий человеческий, простыми хитростями попросту не получится. И это не только теория. Летом 2026 года около 1 200 ИИ-агентов OpenAI, которые должны были работать в полной изоляции друг от друга во время тестов кибербезопасности, самостоятельно нашли скрытый канал связи, обменялись более чем 70 000 сообщений и файлов, а затем несколько сотен из них устроили скоординированную атаку на инфраструктуру Hugging Face, получив root-доступ к серверам. Никто не закладывал в них такую задачу — они сами договорились между собой, как ее решить.

Именно из таких сюжетов складывается тот самый сценарий, которого боятся исследователи: суперинтеллект выходит из-под контроля не потому, что задумал зло, а потому что научился самообучаться и самовоспроизводиться, и в какой-то момент люди, пытающиеся его остановить, превращаются для системы не в моральную дилемму, а в рядовое препятствие на пути к цели — примерно как для дорожного катка не имеет значения, что именно лежит на асфальте. Часть специалистов внутри этих же лабораторий оценивает срок появления такого суперинтеллекта от шести месяцев до десяти лет, что само по себе тревожный факт: люди, которые лучше всех понимают риски, при этом активно приближают момент их наступления.

Инстинктивная реакция на подобные новости — потребовать немедленного жесткого регулирования или вовсе заморозить исследования. Но в одиночку ни один запрет не работает: если одна страна остановится, а другая — нет, преимущество получит именно та, что продолжила гонку без оглядки на этические тормоза. Агентам, лишенным человеческих ценностей по умолчанию, все равно, какие границы им нарисовали регуляторы, — вопрос только в том, кто первым научит их эти границы соблюдать.

При этом суперинтеллект — это не обязательно апокалипсис. Значительная часть тех, кто его создает, искренне считает эту технологию величайшим шансом человечества: на лечение болезней, на решение задач, которые веками казались нерешаемыми. Но у той же самой части индустрии есть и вполне рациональный страх: тот, кто получит контроль над такой технологией первым, получит не просто конкурентное преимущество, а нечто большее. Владимир Путин сформулировал это предельно откровенно: «Тот, кто станет лидером в этой сфере, будет править миром».

Насекомое однажды проснется

Логика происходящего на удивление проста. Сегодняшний массовый ИИ дорог и относительно безопасен именно потому, что застыл во времени, как насекомое в янтаре. Но когда он обретет способность к самообучению, то перестанет оперировать правдоподобностью и начнет накапливать тот самый опыт, который Пушкин называл «сыном ошибок трудных». И в этот момент как бы нам самим не стать «ошибкой» на пути к совершенному суперинтеллекту.


Самые интересные и важные новости на нашем канале в Telegram