Марио Андретти, чемпион «Формулы-1» 1978 года, говорил: «Если кажется, что все под контролем, значит, вы едете недостаточно быстро». На трассе это работает, а в серверной может стоить очень дорого. Лучше всех это знают бывшие сотрудники Knight Capital.
Сорок пять минут без тормозов
1 августа 2012 года, 08:01 по нью-йоркскому времени автоматическая система Knight Capital, одного из крупнейших маркет-мейкеров США, начала рассылать сотрудникам письма с пометкой «Power Peg disabled». К открытию биржи в 09:30 их набирается 97. Формально это не тревожные сигналы, а служебные уведомления, поэтому их никто не читает.
Причина до обидного проста. Готовясь к новой программе Нью-Йоркской фондовой биржи, компания обновила код на восьми серверах. На один из них техник обновление не скопировал, а проверку вторым человеком никакая процедура не требовала. На восьмом сервере ожил старый модуль, отключенный еще в 2003 году. Он пролежал в коде девять лет, как неразорвавшийся снаряд под огородной грядкой.
Когда открылись торги, программа, которая рассылает заявки по торговым площадкам должна была исполнить всего 212 клиентских заявок. Вместо этого она отправила на рынок более 4 млн ордеров. За 45 минут компания проторговала свыше 397 млн акций и потеряла более $460 млн. Пытаясь все исправить, инженеры откатили новый код на семи исправных серверах, и стало только хуже: старый модуль включился и там. Позже Комиссия по ценным бумагам и биржам США (SEC) выписала Knight еще $12 млн штрафа.
Главная ирония в том, что данных хватало: 97 писем прямо указывали на проблему. Не хватило человека, который отвечал бы за решение, и заранее предусмотренной точки, где нужно было бы остановиться. Данные сообщают, что что-то изменилось. Почему это случилось и что будет дальше, они не говорят.
Ответственность не автоматизируется
Искусственный интеллект за секунды перерабатывает массивы, на которые аналитик потратил бы месяц, и сразу выдает рекомендацию. Отсюда вопрос, который задают удивительно редко: если технология работает быстрее людей, за что тогда отвечает руководитель?
Мне кажется, за суждение. Однажды я видел, как команда выкатила обновление приложения в пятницу вечером, потому что «все тесты зеленые». Тесты действительно были пройдены успешно. Только они не проверяли ту функцию, которая к утру понедельника отключила оплату у трети пользователей. С тех пор отчеты и дашборды я воспринимаю как показания свидетелей, а не как приговор.
Прежде чем принять рекомендацию алгоритма, полезно ответить на три вопроса: на каких данных она построена, чего в них может не хватать и при каких условиях она окажется ошибочной. А вместо «можем ли мы сделать это сейчас?» стоит спрашивать «что будет, если мы ошибемся?».
Автоматизация не снимает ответственности. Ошибку алгоритма расхлебывают люди: клиенты, сотрудники, акционеры. Поэтому и отвечать за нее должен человек, который решил доверить задачу машине. Подсказать синоним или набросать черновик письма искусственный интеллект может без особых церемоний. Но если от процесса зависят деньги, безопасность, персональные данные или отношения с клиентами, до запуска нужно определить три вещи:
кто отвечает за результат;
какие решения машине разрешено принимать самой;
в какой момент обязательно вмешивается человек.
В авиации это поняли давно: автопилот ведет самолет большую часть рейса, но командиром экипажа остается пилот.
Спидометр не видит поворота
Ошибиться можно не только в отдельном решении, но и в оценке целой эпохи. В июне 2007 года вышел iPhone. После этого квартальная выручка производителя BlackBerry выросла больше чем втрое, с $1,1 млрд до $3,4 млрд, а в 2009 году журнал Fortune поставил компанию на первое место в рейтинге Fortune самых быстрорастущих компаний. Годовая выручка, по данным, которые компания подала в SEC, достигла $11,07 млрд. По мнению финансового директора, все шло прекрасно. Чем это закончилось, известно.
Так выглядит платформенный сдвиг: правила игры уже поменялись, а цифры об этом еще не знают. Вокруг искусственного интеллекта неопределенность особенно велика: одни прогнозы обещают безработицу для всех, другие — жизнь на пляже с коктейлем, пока работают агенты.
Отсюда практический вопрос: когда вкладываться в новую технологию? Быть первым во всем необязательно. Чаще выгоднее подождать, пока у других появится измеримая отдача, и тогда браться всерьез. Несколько лет назад многим компаниям предлагали перевести на блокчейн логистику, документооборот и вообще что угодно. Шума было много, результатов почти никаких. Перед тем как выделять ресурсы, стоит ответить на три вопроса:
Дала ли технология измеримый результат в похожих задачах у других компаний?
Просят ли ее клиенты, а не только продавцы решений?
Можно ли проверить ее на небольшом пилоте, не рискуя основным бизнесом?
Чем больше ответов «да», тем меньше смысла наблюдать со стороны.
Тормоза как инструмент скорости
Есть любопытный факт из автоспорта: в болиде «Формулы-1» перегрузка при торможении в несколько раз больше, чем при разгоне. Гонку выигрывают не на прямой, где мощные моторы у всех, а в поворотах, где важно затормозить в правильной точке и ни метром позже.
У Knight Capital был мощный мотор и не было тормозов. В BlackBerry водитель следил за спидометром, а не за дорогой. Искусственный интеллект дает каждому двигатель невиданной мощности: он за секунды выдает десять вариантов ответа. Ценность человека не в том, чтобы придумать одиннадцатый. Она в том, чтобы понимать, какие вопросы задавать, какие ответы проверять и какие решения оставлять людям.
Побеждает не тот, кто быстрее, а тот, кто финиширует.
▼
Самые интересные и важные новости на нашем канале в Telegram