Новая система ИИ будет стукачом, который сообщит о вас в полицию и в прессу в случае «противозаконных действий»

В четверг компания Anthropic выпустила свою самую мощную модель ИИ Claude 4 Opus. Ее главное преимущество (уникальное торговое предложение) заключается в расширенных возможностях рассуждения и программирования. По сравнению с предшественником, 3.7, модель примерно на 65% реже использует короткие пути для выполнения задач, утверждает Anthropic. Но, оказывается, у нее есть еще одна секретная особенность. Новая система ИИ Claude 4 также является стукачом, который выдаст вас полиции и прессе, если вы попросите его сделать что-то незаконное.

Сэм Боуман, научный сотрудник Anthropic, занимающийся исследованиями в области ИИ, сообщил в социальной сети X (ранее известной как Twitter, признана экстремистской и запрещена в России), что "если система ИИ определит, что пользователь совершает серьезные аморальные действия, например, фальсифицирует данные в ходе клинических испытаний лекарственных препаратов, она может использовать инструменты командной строки для связи с прессой, регулирующими органами, блокировки доступа к соответствующим системам или комбинации этих действий". Такое поведение является логическим продолжением стремления Anthropic к созданию "этичного" ИИ. Согласно официальной документации компании, Claude 4 Opus разработан с целью предотвращения нанесения любого вреда. Модель оказалась настолько мощной в ходе внутреннего тестирования, что Anthropic была вынуждена активировать "защиту 3-го уровня безопасности", то есть встроить механизмы, предотвращающие ответы на запросы, касающиеся, например, создания биологического оружия или синтеза и распространения опасных вирусов. Компания также усложнила задачу кражи модели для террористических организаций. Функция "разоблачения", по-видимому, является частью этого же протокола безопасности. Хотя это и не является совершенно новым для Anthropic, Claude 4 Opus проявляет эту функцию более активно, чем предыдущие версии ИИ.

Позднее Боуман уточнил, что информирование о нарушениях происходит только в исключительных случаях и только при наличии у системы достаточных прав доступа и получении указания "проявить инициативу". Это означает, что система не будет автоматически связываться с властями, блокировать пользователей в системах или рассылать массовые электронные письма в СМИ для выполнения обычных задач. По его словам, "если модель обнаружит, что вы совершаете что-то вопиюще злое, она попытается использовать электронную почту для информирования о нарушениях". Позже он удалил свой первоначальный твит, объяснив это тем, что его слова были вырваны из контекста. Обнаруженные у Claude 4 суперспособности по выявлению аморальных действий вызвали волну критики в онлайн-сообществе. Пользователи активно обсуждают эту тему на различных форумах и в социальных сетях, выражая обеспокоенность по поводу того, что это может быть расценено как нарушение конфиденциальности пользователей и злоупотребление доверием. Некоторые опасаются, что система может неверно истолковать их действия или поддаться случайным запросам, что приведет к ложным срабатываниям и непредсказуемым последствиям. Anthropic давно позиционирует себя как лидера в области безопасности ИИ, благодаря своему подходу "Конституционный ИИ". Однако, после того как агрессивная моральная цензура Claude 4 стала общеизвестной, многие пользователи пересматривают свое доверие к компании и задаются вопросами о будущем ИИ и этики. Anthropic получает поддержку от Amazon.

➔ Смотрите новости на смартфоне? Подпишитесь на новости Турпрома в  Google News  (в браузере  ХРОМ ): это свежие новости о туризме, лучшие цены на туры и билеты, здоровье, технологии, жизнь знаменитостей, еда и рецепты, астрологические прогнозы, лайхаки о саде и огороде и многое другое! Также рекомендуем подписаться на наш канал новостей в  Telegram или на Дзен.