OpenAI ответила на письмо уволенных исследователей о безопасности ИИ

OpenAI ответила на открытое письмо трёх бывших сотрудников, заявив, что их увольнение связано с нарушением правил обращения с чувствительной информацией, а не с критикой работы компании или вопросами безопасности ИИ. В сообщении от 9 октября OpenAI также пообещала в ближайшие недели рассказать о договорах с независимыми экспертами и подтвердила, что считает возможность наблюдать за работой передовых моделей важной для всей отрасли.

Поводом для ответа стало письмо Джасмин Ван (Jasmine Wang), Микиты Балесни (Mikita Balesni) и Томека Корбака (Tomek Korbak), опубликованное днём ранее. Авторы утверждают, что действовали в рамках своих рабочих обязанностей и опасаются: увольнения могут заставить оставшихся сотрудников осторожнее говорить о рисках ИИ и сотрудничать с внешними экспертами.

Почему OpenAI уволила трёх исследователей

В аккаунте OpenAI Newsroom опубликовано сообщение «от руководителей исследований». Компания утверждает, что внутреннее расследование выявило нарушения правил работы с чувствительной информацией и серьёзное нарушение доверия. OpenAI заявила, что сохраняет решение о прекращении трудовых отношений и не считает публичную переписку по индивидуальным кадровым вопросам полезной.

При этом компания отдельно подчеркнула, что увольнения не были связаны с высказыванием опасений по поводу безопасности. По словам OpenAI, критические дискуссии о безопасности и исследованиях проходят внутри компании регулярно и считаются необходимой частью работы.

Что именно произошло, стороны описывают по-разному

Бывшие сотрудники в своём письме говорят, что сотрудничество с независимыми организациями было частью их работы. В частности, они описывают участие в разборе инцидента с агентами OpenAI и взаимодействие с внешними экспертами. OpenAI, напротив, утверждает, что расследование обнаружило нарушения правил, но в публичном сообщении не назвала конкретные действия, документы или положения политики, о которых идёт речь.

Поэтому сейчас доступны две версии событий: изложение компании и объяснение бывших сотрудников. Одно публичное заявление не позволяет независимо установить, какие правила были нарушены и как именно проходило расследование.

OpenAI обещает привлечь внешних экспертов по безопасности

В письме исследователи призвали OpenAI выполнить обещание о постоянной работе независимых оценщиков внутри компании. В ответ OpenAI сообщила, что завершает оформление договоров с внешними специалистами по безопасности и собирается объявить подробности в ближайшие недели. Компания заявила, что участие внешних экспертов и сотрудничество с независимыми организациями останутся частью её работы.

Пока OpenAI не назвала организации, с которыми ведёт переговоры, и не описала, к каким системам и материалам получат доступ оценщики. Именно эти условия покажут, насколько независимой и содержательной будет такая проверка.

Спор о возможности проверять работу моделей

Ещё один ключевой вопрос письма — наблюдаемость передовых моделей (monitorability): насколько исследователи могут понять по доступным данным, как модель пришла к ответу и не скрывает ли она нежелательное поведение. Авторы письма считают, что такая возможность ухудшается, и просят OpenAI не поддерживать разработки, которые дополнительно затруднят проверку моделей.

OpenAI согласилась, что сохранение наблюдаемости требует общих усилий всей отрасли. Компания заявила, что давно считает эту тему частью своей исследовательской программы и продолжает вкладывать в неё ресурсы. Среди упомянутых материалов — исследование OpenAI о проверке наблюдаемости рассуждений моделей и открытый набор оценочных материалов.

Что остаётся неясным

В одном OpenAI и авторы письма публично согласны: независимая оценка и возможность проверять поведение моделей важны для безопасности. Но это согласие не снимает главного разногласия — почему именно были уволены сотрудники и соблюдали ли они действовавшие правила при работе с внешними организациями.

OpenAI заявила о нарушениях, но не раскрыла их конкретные обстоятельства. Бывшие сотрудники утверждают, что действовали добросовестно и в рамках своих задач. Обещанные договоры с внешними оценщиками тоже пока находятся в стадии оформления. Новые подробности появятся, если компания опубликует условия сотрудничества или подробнее ответит на вопросы о решении по увольнениям.

Источник: сообщение OpenAI Newsroom от 9 октября.