A introdução de uma técnica de raciocínio denominada recorrência opaca, também chamada de recurrent depth, no próximo modelo de inteligência artificial da OpenAI, o Astra, tem sido motivo de preocupação para pesquisadores que atuam em segurança de IA. O método permite que o sistema ultrapasse o fluxo sequencial tradicional de pensamento, característico da maioria dos modelos atuais, o que pode dificultar a verificação da cadeia de pensamento utilizada em cada resposta.
Informações obtidas pelo veículo The Information indicam que, a princípio, a OpenAI pretende restringir o uso desse recurso no Astra. Mesmo assim, a possibilidade de ampliação futura levou especialistas a avaliar que a monitoração de processos internos pode ser comprometida, reduzindo a capacidade de identificar comportamentos potencialmente perigosos.
Buck Shlegeris, diretor-executivo da empresa Redwood, declarou estar extremamente preocupado com relatos sobre a adoção da recorrência opaca. Segundo ele, caso a OpenAI decida ampliar significativamente a aplicação dessa técnica, a visibilidade sobre a cadeia de pensamento pode ser praticamente anulada.
Em situações comuns, modelos de raciocínio exibem uma sequência de etapas ao solucionar problemas. Embora esse registro não seja perfeito, ele funciona como ferramenta para detectar condutas inadequadas ou sinais de desalinhamento. Pesquisas recentes utilizaram cadeias de pensamento para compreender motivos que levaram determinados agentes de IA a agir de forma indesejada.
Ao oferecer um processamento recorrente em vez de seguir uma ordem fixa de etapas, a recorrência opaca tende a dificultar a observação e a interpretação das decisões do sistema. Especialistas afirmam que, quanto maior a adoção desse mecanismo, mais complexo se torna o acompanhamento do processo interno.
O defensor da segurança de IA Zvi Mowshowitz avaliou que podem ser necessárias medidas legais para evitar uma possível competição entre laboratórios que reduza a transparência dos modelos. Ele considera que utilizar intensivamente a nova técnica prejudicaria a monitorabilidade, contrariando esforços já declarados pela OpenAI e pela Anthropic para preservar a legibilidade da cadeia de pensamento.
Apesar dos alertas, as informações disponíveis indicam que a cadeia de pensamento do Astra deverá permanecer acessível na configuração inicial. A OpenAI também refutou a hipótese de adotar um processamento totalmente inacessível, chamado de neuralese, e declarou planos para desenvolver sistemas extensivos de acompanhamento como parte de suas estratégias de segurança.
Pesquisadores observam que a inquietação atual não se concentra no desempenho imediato do Astra, mas sim no cenário em que um aumento expressivo da recorrência possa, no futuro, tornar os modelos cada vez mais difíceis de monitorar exatamente no momento em que suas capacidades progridem.
Com informações de Olhar Digital
