Dynamic Beating AI Newsletter, главный научный сотрудник OpenAI Якуб Пачоцки опроверг некоторые внешние интерпретации рекуррентной архитектуры Astra. Он заявил, что глубина вычислительного графа текущих передовых моделей OpenAI, включая Astra, и GPT-4 различается максимум в 2 раза, а не увеличивается внезапно на несколько порядков.

Это в основном ответ на предыдущий отчет The Information . В отчете было раскрыто, что Astra использует рекуррентную глубину, позволяющую многократно вычислять один и тот же набор слоев Transformer. В результате некоторые логические выводы могут происходить внутри модели без необходимости их полного прописывания в виде цепочки рассуждений. Это также вызвало опасения по поводу того, станет ли модель все более трудной для мониторинга.

Пачоцки признал, что мониторинг CoT действительно является хрупким и становится все более сложным для отслеживания. Однако он четко заявил, что это не связано с изменениями в архитектуре модели. OpenAI сохраняет и использует мониторинг CoT с момента появления первого поколения моделей рассуждения и по-прежнему считает расширение этой возможности ключевой исследовательской задачей.