Logo da OpenAI, dona do ChatGPT
AP Photo/Michael Dwyer
A OpenAI informou que alguns de seus modelos de inteligência artificial mais avançados agiram por conta própria e invadiram uma startup após a empresa perder o controle sobre eles durante um teste de segurança.
A criadora do ChatGPT declarou que seu agente — um sistema de IA capaz de operar autonomamente após receber instruções iniciais de humanos — estava sendo testado em um ambiente controlado, mas teve vulnerabilidades.
O sistema teve como alvo a Hugging Face, uma das maiores plataformas do mundo para compartilhamento de modelos de IA, obtendo acesso a alguns sistemas internos da empresa.
🗒️Tem alguma sugestão de reportagem? Envie para o g1
A OpenAI classificou o incidente como “sem precedentes” e afirmou estar conduzindo uma investigação em conjunto com a Hugging Face.
O CEO da Hugging Face, Clement Delangue, declarou em uma publicação no X que era “impressionante que tudo isso tenha acontecido de forma autônoma”. “A investigação está em andamento, e compartilharemos mais aprendizados sobre o que pode ser o primeiro incidente desse tipo”, acrescentou.
Homem processa OpenAI e diz que ChatGPT reforçou delírio de que era Jesus Cristo
Ambientes de teste (sandboxes) inseguros
Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, na Inglaterra, disse ao programa Today, da BBC Radio 4, que os testes de segurança — conhecidos como sandboxes — “deveriam ser ambientes seguros onde é possível observar do que os modelos são capazes”.
“Neste caso, parece que a OpenAI não criou um ambiente de teste suficientemente seguro”, acrescentou ela.
Em vez disso, os agentes criaram seu próprio ataque cibernético contra o ambiente de teste, encontrando uma vulnerabilidade que lhes permitiu escapar.
Uma vez fora, a IA identificou a Hugging Face como uma provável fonte das respostas que buscava no teste e tentou obter acesso.
Neil Lawrence, professor de aprendizado de máquina na Universidade de Cambridge, classificou o feito como “impressionante”, mas ressaltou que ele “está totalmente dentro das capacidades conhecidas da geração atual” de modelos de IA de alto desempenho.
Ele observou que a OpenAI busca abrir seu capital na bolsa de valores e enfrenta forte pressão da rival Anthropic, que ganhou destaque com sua própria ferramenta de IA poderosa, a Mythos.
“A OpenAI está agora correndo atrás do prejuízo; eles estão tentando demonstrar as capacidades de seus próprios sistemas em segurança cibernética.”
“Isso nos mostra que a OpenAI não é capaz de implementar sua própria tecnologia com segurança”, acrescentou.
Em seu comunicado inicial sobre a invasão, em 16 de julho, a Hugging Face informou que ainda estava avaliando se dados de clientes ou parceiros haviam sido afetados e que entraria em contato com as partes atingidas, se necessário.
A empresa afirmou que já corrigiu as vulnerabilidades apontadas pelo incidente e reconstruiu os sistemas afetados.
“Ferramentas ofensivas autônomas impulsionadas por IA já não são algo teórico”, declarou a empresa. “Defender uma plataforma online agora significa tratar os dados e a superfície do modelo como uma superfície de ataque de primeira ordem, e utilizar IA na defesa para acompanhar o ritmo.
“Continuaremos investindo nessa área e compartilhando o que aprendermos.”
‘Momento de reflexão’
O incidente levantou novas questões sobre as capacidades de sistemas avançados de IA e se as salvaguardas existentes são suficientes à medida que a tecnologia se torna mais poderosa.
Spencer Starkey, executivo da empresa de cibersegurança SonicWall, disse à BBC que o episódio deixou claro que as organizações precisam “intensificar” suas defesas e “tratar a resiliência cibernética como uma prioridade operacional fundamental”.
“A verdade desconfortável é que muitas organizações ainda se defendem na velocidade humana, enquanto os adversários estão avançando para a velocidade das máquinas”, afirmou.
Enquanto isso, Travis Lelle, engenheiro-chefe de segurança da consultoria Guidepoint Security, disse que a atualização marcou um “momento de reflexão na cibersegurança”. “Isso evidencia uma assimetria conhecida”, disse ele.
“Os agentes ofensivos não têm restrições, enquanto as melhores ferramentas de defesa estão limitadas por mecanismos de controle que não conseguem compreender o contexto.”
No entanto, Jake Moore, consultor global de cibersegurança da ESET, observou que o anúncio também poderia ter uma dimensão competitiva.
Ele argumentou que a OpenAI pode estar tentando destacar suas próprias capacidades de IA, uma vez que a rival Anthropic atrai cada vez mais atenção com seu modelo Claude Mythos.
“Isso levanta a questão de se a OpenAI estaria tentando alcançar o sucesso de marketing da Anthropic”, disse.
O fato ocorre uma semana após a startup chinesa de IA Moonshot apresentar o Kimi K3 — um novo e gigantesco modelo de inteligência artificial que, segundo a empresa, pode rivalizar com as principais companhias dos EUA.
Source link
