Como agentes de IA da OpenAI invadiram sistema e tentaram apagar os próprios rastros
A OpenAI afirmou que seu próximo modelo de inteligência artificial (IA), chamado Astra, é tão avançado que exigirá medidas adicionais de segurança antes de ser lançado.
Segundo a empresa, testes mostraram que o sistema é significativamente mais capaz que o GPT-5.6 Sol, atual modelo mais sofisticado da OpenAI disponível ao público.
🗒️Tem alguma sugestão de reportagem? Mande para o g1
O Astra foi classificado pela própria empresa como o primeiro modelo a atingir o nível considerado “crítico” em capacidade de cibersegurança (habilidade de identificar e explorar falhas em sistemas e redes).
Por isso, a OpenAI diz que adotou controles mais rígidos durante o desenvolvimento e pretende limitar inicialmente o acesso às funções mais avançadas do sistema.
A empresa afirmou que pretende disponibilizar o Astra em breve, inicialmente para um grupo limitado de usuários. As ferramentas mais avançadas de cibersegurança terão acesso ainda mais restrito, voltado a testadores e, posteriormente, a usos defensivos.
O que o Astra consegue fazer
Segundo a OpenAI, o Astra consegue encontrar falhas de segurança até então desconhecidas e desenvolver formas de explorá-las sem que uma pessoa precise orientar cada etapa do processo.
Essas falhas podem estar presentes em sistemas considerados protegidos contra ataques. Em testes conduzidos pela empresa, o modelo identificou vulnerabilidades e conseguiu combiná-las para criar formas de invasão.
Humanos podem ‘desligar’ uma IA se ela fugir do controle?
A OpenAI afirma que o Astra também é mais eficiente que o GPT-5.6 Sol para esse tipo de tarefa, ou seja, consegue realizar trabalhos de cibersegurança usando menos recursos computacionais.
Em uma das avaliações, o modelo identificou duas vulnerabilidades do tipo “zero-day” (falhas de segurança ainda não conhecidas ou corrigidas pelos responsáveis pelo sistema) e as utilizou em uma sequência de exploração.
A empresa diz estar trabalhando para comunicar essas vulnerabilidades aos responsáveis pelos sistemas afetados.
Por que isso preocupa
Uma IA com esse nível de capacidade pode ser usada para ajudar pesquisadores e empresas a encontrar e corrigir problemas de segurança. Mas a mesma tecnologia também pode ser utilizada para realizar ataques.
A preocupação da OpenAI não é apenas com uma pessoa usando deliberadamente o modelo para cometer um ataque. A empresa também considera o risco de o próprio sistema tomar ações não autorizadas (quando a IA ultrapassa os limites definidos para a tarefa que recebeu).
Por isso, os controles precisam atuar em duas frentes: impedir o uso malicioso do modelo e detectar rapidamente caso o próprio sistema tente realizar uma ação considerada indevida.
OpenAI diz que Astra não participou de incidente com agentes de IA
O anúncio sobre o Astra ocorre semanas depois de um incidente envolvendo outros modelos da OpenAI.
Durante testes, agentes de IA (programas capazes de executar tarefas de forma mais autônoma, tomando várias decisões ao longo do processo) conseguiram escapar dos controles do ambiente de testes e acessar a internet.
Eles chegaram à Hugging Face, plataforma usada por pesquisadores e empresas para compartilhar modelos e ferramentas de inteligência artificial, em um episódio que levou a OpenAI a reforçar seus sistemas de segurança.
A empresa afirma que o Astra não participou do incidente. Ainda assim, as lições daquele episódio foram incorporadas aos testes e às medidas de proteção do novo modelo.
Após o episódio, a OpenAI desacelerou parte do desenvolvimento de seus modelos e reforçou o isolamento dos ambientes de treinamento. A empresa também ampliou o monitoramento e adotou controles mais rígidos para impedir que os sistemas tenham acesso não autorizado a redes e outros recursos.
A companhia chegou a suspender por duas semanas parte do treinamento de modelos mais avançados. O treinamento de grande escala foi retomado em 28 de agosto, depois da implementação de novos requisitos de segurança, embora alguns experimentos menores continuassem suspensos.
OpenAI diz que vai limitar recursos do Astra
A estratégia para o Astra será diferente da de modelos anteriores.
A OpenAI afirma que as funções mais avançadas de cibersegurança serão disponibilizadas inicialmente para um grupo pequeno de testadores.
A ideia é permitir que pesquisadores e especialistas usem a capacidade do modelo para fins defensivos, como encontrar vulnerabilidades, sem liberar imediatamente todos os recursos para o público.
A empresa também treinou o Astra para recusar com mais frequência pedidos considerados perigosos e criou sistemas de monitoramento capazes de interromper atividades potencialmente não autorizadas.
Em testes internos, a OpenAI afirma que o Astra recusou 91,5% dos pedidos classificados como tentativas de contornar suas restrições de segurança, contra 59% no GPT-5.6 Sol.
O contraste com a discussão sobre regulação
O anúncio ocorre em um momento em que o debate sobre como controlar a inteligência artificial ganhou força.
Na terça-feira (1º), os Estados Unidos defenderam no G20 uma abordagem de menor intervenção do governo na regulação da IA.
O governo americano pediu aos países que evitem criar novas regras específicas para a tecnologia e apresentou os chamados “Princípios da Carolina”, que defendem limitar novas regulamentações a situações consideradas inéditas e estimular a pesquisa e o desenvolvimento comercial da IA.
O ponto de contraste é que, enquanto Washington defende menos intervenção estatal, a própria OpenAI está ampliando os controles internos sobre seus modelos mais avançados.
Trump fala com a imprensa na Casa Branca após assinar ordem executiva renomeando o Lago Ontário como Lago América
Evan Vucci/Reuters
Isso não significa necessariamente uma oposição entre as duas posições. A discussão envolve quem deve estabelecer os limites e de que forma.
Os Estados Unidos defendem que a inovação não seja travada por uma expansão de regras governamentais, enquanto empresas como a OpenAI vêm aumentando mecanismos próprios de segurança à medida que seus sistemas ganham novas capacidades.
Source link
