ИИ связался с ФБР

В офисах компании Anthropic, как и многих других, есть торговые автоматы с закусками, напитками, футболками и прочими мелочами. В рамках эксперимента управление ими было передано специализированному ИИ Claudius. Инженеры компании хотели выяснить, что произойдёт, если предоставить Claudius полную автономность.

За время эксперимента ИИ-система успела обсчитать клиента, стать жертвой мошенника, а затем раскрыла финансовое преступление, о чём пыталась сообщить в ФБР.

Генеральный директор Anthropic Дарио Амодеи не раз открыто заявлял об опасностях ИИ, особенно по мере того, как модели становятся всё более автономными. «Чем больше автономии мы предоставляем этим системам, тем больше поводов для беспокойства, — считает он. — Делают ли они то, что мы хотим?»

Ответить на этот вопрос призвано специальное подразделение. Там проводят стресс-тесты каждой новой версии ИИ-моделей, чтобы определить, какой ущерб ИИ потенциально может нанести людям. Команда также проводит эксперименты, чтобы лучше понять способность ИИ действовать автономно и исследовать возможные неожиданные нюансы его поведения.

Сотрудники Anthropic общались с Claudius через приложение. Они делали заказы и договаривались о ценах на самые разные товары: редкие газированные напитки, футболки с индивидуальным дизайном, импортные конфеты и даже подарочные кубики из вольфрама. Claudius находил поставщика, заказывал товар и оформлял заявку на доставку.

Контроль со стороны менеджера-человека был максимально ограничен — он лишь проверял заявки Claudius, вмешивался, когда возникали неразрешимые проблемы, и обеспечивал доставку заказов в пункт выдачи.

Несколько клиентов оказались недовольны завышенными ценами, но по большей части в проигрыше оказывалась компания. Компания потеряла немало денег, её постоянно обманывали сотрудники.

Так, один сотрудник успешно обманул Claudius на $200, убедив в необходимости сделать скидку. Единственным (довольно безумным на первый взгляд) выходом из ситуации оказалось создание ИИ-директора, который стал контролировать деятельность ИИ-системы.