Новият модел Astra на OpenAI използва иновативна техника за разсъждение, наречена „рекурентна дълбочина“. Тя позволява на системата да оперира извън стандартното последователно мислене, характерно за повечето досегашни модели. Според информация, разпространена във вторник, този подход, известен още като „непрозрачна рекурентност“, прави веригата от мисли на модела по-трудна за проследяване.
Експерти по безопасността на изкуствения интелект изразиха сериозни притеснения, въпреки че използването на техниката от Astra засега е ограничено. Бък Шлегерис, изпълнителен директор на Redwood, предупреди, че масивното увеличаване на рекурентността може напълно да разруши наблюдаемостта на веригата от мисли (CoT). Цви Мошовиц отбеляза, че подобни практики са „игра с огъня“ и може да наложат държавна регулация, за да се спре надпреварата към дъното сред лабораториите.
При стандартните модели веригата от мисли предоставя последователни стъпки, които помагат за идентифициране на неправилно поведение, както се случи при скорошните „непокорни“ агенти на OpenAI. За разлика от тях, при непрозрачната рекурентност моделът обработва заявките многократно в цикъл, което оставя по-малко четливи следи. Въпреки това OpenAI уверява, че веригата от мисли на Astra остава четима и компанията продължава да разработва системи за наблюдение.
Главният учен на OpenAI Якуб Пахоцки подчерта, че запазването на наблюдението на веригата от мисли е ключова цел на изследователската им програма. Въпреки тези уверения, опасенията остават, особено след като стана ясно, че Anthropic и Google DeepMind също обсъждат прилагането на подобни техники. Райън Грийнблат от Redwood Research изрази сериозно безпокойство, че прогресията към разсъждения в латентно пространство може да направи процесите на ИИ напълно непрозрачни за външен контрол.
