Perceive Beating Новости ИИ: Anthropic начала добавлять «Контракт блокировки» (Context Lock) к зашифрованным рассуждениям Claude. Fable 5.1 требует, чтобы любое зашифрованное рассуждение, созданное через программный интерфейс приложения, возвращалось в точности в том виде, в котором оно было сгенерировано, вместе с системными промптами, инструментами и историей сообщений, использованными при его создании. Любое изменение предыдущего контента приведет к ошибке программного интерфейса приложения или отклонению рассуждения.

Это изменение направлено на предотвращение дистилляции моделей. Ранее исследователи обнаружили, что, хотя зашифрованные рассуждения Claude были непонятны пользователю, их можно было передать обратно интероперабельной модели Anthropic для интерпретации. Злоумышленник мог сначала заставить Opus выдать высококачественные логические выводы, а затем вставить зашифрованный блок в менее защищенную модель, такую как Haiku, побудив ее сформулировать полные рассуждения Opus. Это включает в себя не только копирование ответов большой модели, но и извлечение всего процесса решения задачи, записанного на «черновике».

Anthropic уже отразила одну волну атак, выпустив Fable 5 в июне, когда она начала Связать зашифрованные рассуждения с моделью, не позволяя передавать их для расшифровки меньшим моделям, таким как Haiku. Fable 5.1 теперь представила «Связывание диалога»: если вносятся какие-либо изменения в Пред. промпты, инструменты или записи чата, старые рассуждения аннулируются.

Ранее защита была направлена против «подмены модели для кражи рассуждений»; теперь устранена и возможность «подмены контекста для выведывания рассуждений».