По словам бывшего исследователя OpenAI Даниэля Кокотайло, за последние несколько месяцев компанию покинули почти половина сотрудников, занимавшихся вопросами долгосрочных рисков сверхмощного искусственного интеллекта.
OpenAI, создатель ИИ-ассистента ChatGPT, считается одной из ведущих компаний в области разработки искусственного интеллекта. Ее миссия, согласно уставу, заключается в разработке технологии искусственного общего интеллекта (AGI) таким образом, чтобы она "приносила пользу всему человечеству".
Поскольку такие системы могут представлять серьезные риски, включая возможность выхода из-под контроля человека, OpenAI с момента основания наняла большое количество исследователей, занимающихся "безопасностью AGI" - методами обеспечения безопасности будущих систем AGI.
Именно эта группа исследователей, по словам Кокотайло, сильно сократилась из-за недавних увольнений. Среди ушедших - Ян Хендрик Кирхнер, Коллин Бернс, Джеффри Ву, Джонатан Уэсато и другие. Их уход последовал за громкими отставками в мае главного научного сотрудника Ильи Суцкевера и Яна Лейке, которые вместе возглавляли команду "суперсогласования" компании.
Кокотайло, присоединившийся к OpenAI в 2022 году и ушедший в апреле 2023 года, рассказал Fortune в эксклюзивном интервью, что в 2024 году наблюдается медленный и устойчивый исход сотрудников. Из примерно 30 сотрудников, работавших над вопросами безопасности AGI, осталось только около 16.
По мнению Кокотайло, эти увольнения важны, поскольку они могут свидетельствовать о том, насколько осторожно OpenAI относится к возможным рискам разрабатываемой технологии и не приводят ли мотивы получения прибыли к действиям, которые могут представлять опасность.
Хотя Кокотайло не мог говорить о причинах всех увольнений, он предполагает, что они соответствуют его убеждению, что OpenAI "довольно близка" к разработке AGI, но не готова "справиться со всем, что это влечет за собой".
Кокотайло выразил разочарование тем, что OpenAI выступила против законопроекта SB 1047, направленного на регулирование ИИ. Он считает, что это "в некотором смысле предательство плана, который у нас был в 2022 году" по оценке долгосрочных рисков AGI и получению добровольных обязательств о том, как реагировать на пересечение опасных порогов.
Тем не менее, Кокотайло не жалеет, что присоединился к OpenAI. "Я думаю, что узнал там много полезного. Я чувствую, что, вероятно, оказал положительное влияние", - сказал он, хотя и сожалеет, что не ушел раньше.
Для тех, кто остался в компании, Кокотайло предостерег от группового мышления в условиях гонки крупнейших компаний по разработке AGI. "Не удивительно, что компании приходят к выводу, что для человечества хорошо, если они выиграют гонку за AGI - это вывод, к которому их подталкивают стимулы", - отметил он.