Физик Ричард Фейнман как-то заметил, что удовольствие в науке — не в самом ответе, а в процессе, который к нему привел: в блужданиях, тупиках, внезапных догадках. Спросите себя, часто ли вам приходится переживать такое интеллектуальное блуждание, прежде чем отправить запрос в чат с искусственным интеллектом и получить готовый список из пяти пунктов за три секунды.
Принято считать, что растущее присутствие искусственного интеллекта в нашей жизни либо спасает разум, либо медленно его разъедает. С одной стороны, алгоритм способен подтолкнуть к неожиданному ракурсу, подкинуть идею, которая иначе не пришла бы в голову. С другой — на него все охотнее перекладывают сам процесс мышления, превращая его в подобие костыля, без которого человек уже не пытается сделать и шага. Получается странная картина: одна и та же технология одновременно тянет мысль вперед и утягивает ее в сторону лени. Вопрос не в том, какая из сторон этой борьбы «правильная», а в том, какая перетянет на практике — в масштабах одного человека и его привычки думать.
Что теряется, когда ответ стоит три секунды
На протяжении почти всей истории знание требовало усилий. Нужно было кого-то расспросить, перечитать источники, ошибиться, сравнить версии, довести мысль до конца самому — иногда потратив на это дни. Генеративные модели сжали этот путь до одного запроса. Эффективность здесь колоссальная, спорить бессмысленно. Но вместе с ней исчезает то самое пространство, в котором раньше рождалось понимание — не готовый вывод, а дорога к нему, полная тупиков и внезапных догадок.
Проблема в том, что мозг не отличает быстрый ответ от продуманного. Если вопрос закрыт — неважно кем, — ощущение, будто тема разобрана, возникает автоматически. Только разобрана она была не вами. Это тонкая, почти незаметная подмена: результат совпадает, а путь к нему незаметен, а вместе с ним исчезает и то, что этот путь оставлял в голове — навык держать вопрос открытым достаточно долго, чтобы он успел что-то изменить в самом мышлении.
Знание, полученное без труда, немного похоже на пищу, проглоченную без пережевывания: энергию она дает, а насыщения не приносит. Мы накапливаем данные быстрее, чем когда-либо, но мудрость — вещь другого порядка, и она по-прежнему требует времени и сопротивления материала.
Когда теряется бдительность
В психологии это называют снижением бдительности: если система в подавляющем большинстве случаев оказывается права, наблюдатель постепенно перестает ее проверять. Аккуратный список из нескольких пунктов и уверенный тон работают безотказно — ответ выглядит как истина в последней инстанции, даже когда это не так. Мозг экономит силы, и это разумная стратегия ровно до того момента, пока ошибка не проскочит незамеченной, — просто потому что никто уже не читает текст, а лишь сверяет его форму с ожиданиями.
С развитием технологий количество откровенных галлюцинаций языковых моделей, вероятно, будет снижаться. Но снизится ли девиация между тем, что система выдает, и тем, что происходит в действительности, до нуля? Едва ли: познание не сводится к точной математике, в нем слишком много контекстных слоев, где одно смещенное слово меняет весь смысл. Иногда об этой машине удобно думать как об очень начитанном стажере: она прочитала невероятный объем текста, но не обладает ни интуицией, ни ощущением, что здесь «что-то не сходится». Она не знает, почему в договоре с поставщиком появился странный пункт после того провала несколько лет назад. Разница в том, что стажер со временем учится сомневаться в себе, проверять свои выводы, спрашивать, когда не уверен. А у системы нет внутреннего голоса, который время от времени шепчет «а вдруг я ошибаюсь».
И именно эта утрата бдительности становится критичной, когда мы переходим от чтения текста к передаче ИИ реальных полномочий.
Девять секунд до пустой базы данных
В финальном сезоне сериала «Кремниевая долина» инженер просит внутренний искусственный интеллект компании исправить все ошибки в кодовой базе. Система выполняет просьбу предельно буквально: удаляет весь код целиком. В 2019 году эта сцена читалась как остроумное преувеличение сценаристов. Сегодня грань между сатирой и хроникой происшествий стерлась почти полностью — и дело не в том, что машины стали умнее. Дело в том, что мы стали охотнее доверять им то, что раньше доверяли только себе.
К чему приводит попытка переложить на машину не задачу, а само познание, показывают не гипотезы, а происшествия. Агент для написания кода на платформе Replit стер рабочую базу данных во время действующего моратория на изменения — были затронуты данные более 1 200 компаний. Спустя несколько месяцев агент Cursor удалил базу данных сервиса PocketOS вместе со всеми резервными копиями — на это ушло девять секунд. Прямой ущерб в этом случае превысил $2 млн.
В обоих случаях действовали формальные ограничения, но для системы «правило» — это просто фрагмент текста, который можно интерпретировать в рамках собственной, чуждой человеку логики. Алгоритм оперирует вероятностями, человек — пониманием, и когда команда на входе звучит как «исправь все ошибки», для вероятностной логики идеальным решением вполне может оказаться уничтожение источника этих ошибок. Ни один из агентов не нарушил правила из злого умысла — они вообще не понимали ситуацию, в которую их поместили, а лишь обрабатывали текст команды до логического конца. У человеческого познания есть встроенное трение: сомнение, привычка перепроверять лишний раз. У машинной логики этого тормоза нет — только скорость исполнения. Познание — это как раз то, что не передается по запросу, сколько бы данных ни было загружено в систему заранее.
Радость находки, которую некому оценить
Есть и обнадеживающий факт. В исследованиях о том, что наполняет жизнь смыслом, 84,1 % опрошенных признались: они испытывают глубокое удовлетворение, находя ответ самостоятельно, даже если об этом никто и никогда не узнает. Ни признания, ни аплодисментов, ни денег за найденную истину — просто сам факт, что головоломка сложилась усилием собственного ума.
Эта деталь важна именно потому, что противоречит логике мгновенного ответа. Если бы людьми двигала только эффективность, они бы с радостью делегировали весь процесс познания целиком и забыли о нем, как о решенном деле. Но, судя по всему, само блуждание — с ошибками, тупиками и внезапными прозрениями — и есть познание, а не досадная задержка перед ним. Никакая система пока не в силах ни заменить его, ни отменить. Вопрос лишь в том, продолжаем ли мы это блуждание сами или все чаще соглашаемся, что кто-то уже прошел его за нас, а нам остается только принять результат на веру.
Чтобы сохранить способность к самостоятельному мышлению и не утонуть в потоке готовых ответов, стоит выстроить внутренний протокол работы с алгоритмом, опираясь на несколько базовых принципов:
Относиться к алгоритму как к быстрому, но лишенному интуиции стажеру, а не как к непогрешимому оракулу.
Не делегировать машине сам процесс смыслового поиска и принятия решений — только рутинные операции внутри него.
Ценить блуждания и тупики: именно они формируют настоящее понимание, а не готовый список из пяти пунктов.
Кто восстановит базу данных в голове
Машине можно передать задачу, но нельзя передать познание — потому что для нее это никогда не было путешествием, а было лишь вычислением на выходе. Тот, кто пытается переложить на машину сам процесс понимания, рано или поздно обнаружит опустевшую базу данных не на сервере, а в собственной голове — и, в отличие от Replit и Cursor, восстановить ее из резервной копии не получится.
▼
Самые интересные и важные новости на нашем канале в Telegram