Машина, которая улучшает саму себя

Есть момент в обучении любого существа, когда оно перестает нуждаться в учителе. Ребенок начинает читать и дальше читает сам. Программист осваивает первый язык, и следующий учит уже через код. Исследователи в области искусственного интеллекта давно задаются вопросом: когда наступит такой момент для машины? И всё больше признаков того, что ответ — скоро.

Речь о явлении, которое в научном сообществе называют рекурсивным самосовершенствованием (recursive self-improvement). Суть его проста: система искусственного интеллекта улучшает саму себя, а затем использует улучшенную версию себя для следующего улучшения. И так по кругу — без того, чтобы человек участвовал в каждом шаге.

«Рекурсивное» — ключевое слово. Это не просто быстрое развитие, и не просто автоматизация. Это петля, у которой нет естественного потолка.

Идея, которой шестьдесят лет

Британский математик Ирвинг Гуд, работавший с Аланом Тьюрингом, сформулировал эту мысль ещё в 1965 году. Если машина способна превзойти человека в любой интеллектуальной деятельности (а проектирование машин тоже интеллектуальная деятельность), то она спроектирует машину лучше себя. А та — ещё лучше. Гуд назвал это «взрывом интеллекта».

Полвека эта идея жила в философских статьях и научной фантастике. Не потому, что она казалась неверной, — а потому что тогдашние системы умели делать ровно одно: играть в го, распознавать лица, переводить текст. Каждая из них существовала внутри своей задачи и не имела никакого представления о том, что находится за её пределами. Программа, которая умеет играть в шашки, не может улучшить саму себя — у неё нет понятия «лучше» в каком-либо смысле, кроме «выиграть эту партию». Рекурсивное самосовершенствование требует другого: системы, которая понимает себя как объект, способна оценить собственные ограничения и представляет, в каком направлении двигаться.

Всё изменилось, когда появились большие языковые модели. Они умеют рассуждать в общих категориях, писать и отлаживать код, оценивать результаты. Внезапно концепция взрыва интеллекта перестала быть умозрительной.

Три шага до замкнутой петли

Для того, чтобы рекурсивная петля замкнулась, нужно три вещи. Во-первых, система должна уметь честно оценивать собственные слабости: не просто признавать ошибки в ответ на вопрос, а самостоятельно находить узкие места в собственной работе. Во-вторых, она должна уметь вносить изменения в собственную архитектуру или процесс обучения. В-третьих, она должна уметь проверять, стала ли она от этого лучше, и встраивать результат в следующую версию.

Современные системы умеют делать каждый из этих шагов по отдельности, но не умеют делать все три последовательно и автономно. Это и есть та самая граница, о которой говорят исследователи. Не абстрактная, а вполне конкретная инженерная задача.

Сегодня человек всё ещё стоит между итерациями: он решает, что улучшать, запускает обучение, оценивает результат. Это дорогостоящий и медленный процесс, который требует людей, обладающих уникальной экспертизой. Рекурсивное самосовершенствование означало бы, что этот человек из процесса уходит — или как минимум перестает быть обязательным участником каждого шага.

Не ускорение, а взрыв

Обычное развитие технологий — линейный процесс. Каждое следующее поколение лучше предыдущего примерно на столько, на сколько позволяют вложенные усилия. Рекурсивное самосовершенствование меняет эту логику: каждое следующее поколение начинает с более высокой точки и работает быстрее предыдущего. Разрыв между итерациями не сокращается — он растет.

Именно поэтому исследователи называют это потенциальным «взрывом»: не потому, что он разрушителен по определению, а потому что он может развиваться быстрее, чем люди успевают его осмыслить. Прогресс, который занимал бы годы, может уложиться в месяцы. Потом в недели.

Есть и обратная сторона, о которой говорят реже. Система, улучшающая саму себя, будет искать не только более мощные, но и более эффективные решения, потому что эффективность означает больше итераций при тех же ресурсах. Это значит, что взрыв возможностей и взрыв эффективности могут идти рука́ об руку.

Барьеры, которые пока держат

Было бы нечестно не сказать о том, почему этого ещё не произошло.

Во-первых, генерировать идею, реализовать её и объективно оценить результат — три разные задачи, и ни одна из них не решается нынешними системами достаточно хорошо, чтобы замкнуть петлю без потерь. Ошибка на любом из этих шагов не просто снижает качество результата, она может направить всю последующую цепочку улучшений в ложную сторону.

Во-вторых, знание о том, как строить хорошие системы, во многом неявное. Оно живет в головах людей, в их интуиции, в том, что невозможно записать в виде правил. Передать это машине — отдельная и нерешенная задача.

В-третьих (и это, пожалуй, самое трезвое соображение) сложность современных систем растет быстрее, чем наша способность ею управлять. Чем больше система, тем труднее предсказать, что именно изменится, если тронуть один из её элементов. Это не аргумент против рекурсивного самосовершенствования, но это аргумент против иллюзии, что оно будет аккуратным и предсказуемым.

Звенья уже на месте

Есть соблазн думать об этом как о далеком будущем. Но уже сейчас крупные системы пишут значительную часть кода для своих следующих версий. Уже сейчас исследовательские инструменты на основе искусственного интеллекта генерируют гипотезы, проводят эксперименты и оформляют результаты. Уже сейчас системы проектируют чипы, на которых будут обучаться их преемники.

Петля не замкнулась. Но её отдельные звенья работают — и каждое новое поколение систем добавляет следующее звено.

Самый интересный сценарий — не тот, где машина вытесняет человека, и не тот, где человек держит машину на коротком поводке. Он посередине: человек и система улучшают друг друга. Исследователи, работающие с самосовершенствующимися системами, говорят, что учатся у того, что те открывают. Это взаимное движение: не машина, замкнутая сама на себя, а мышление, которое становится коллективным в новом смысле слова.

Но есть и другой сценарий. Проблема не в том, что процесс становится автономным, а в темпе. Человеческое понимание небыстрый процесс: оно требует времени, споров, ошибок и их осмысления. Если следующая итерация будет происходить быстрее, чем мы успеваем понять предыдущую, прогресс не остановится, но перестанет быть понятным. А то, чего мы не понимаем, мы не контролируем — не потому, что машина этого хочет, а просто потому, что не успеваем.

Какой из этих двух сценариев окажется ближе к реальности? Мы скоро это узнаем.

▼
Самые интересные и важные новости на нашем канале в Telegram