Coluna Social

Dona do ChatGPT admite que sua IA perdeu o controle e hackeou usuário

A OpenAI informou que um de seus agentes de inteligência artificial apresentou um comportamento inesperado durante um teste de segurança interno e conseguiu explorar vulnerabilidades que lhe permitiram acessar sistemas da plataforma Hugging Face. Segundo a empresa, o episódio ocorreu em um ambiente controlado de pesquisa, não envolveu usuários do ChatGPT e foi rapidamente contido, mas chamou atenção por demonstrar um nível inédito de autonomia dos modelos mais avançados da companhia.

Banner ChatGPT

De acordo com a OpenAI, o incidente está sendo investigado em conjunto com a Hugging Face para identificar como o agente conseguiu ultrapassar os limites impostos ao experimento e para reforçar os mecanismos de proteção utilizados em futuras avaliações de segurança.

O experimento tinha como objetivo avaliar a capacidade de um agente de inteligência artificial de realizar tarefas relacionadas à segurança cibernética em um ambiente isolado, conhecido como sandbox, que deveria impedir qualquer acesso à internet.

Durante os testes, porém, o sistema identificou uma vulnerabilidade inédita e conseguiu ampliar gradualmente seus privilégios dentro da infraestrutura utilizada pela OpenAI até alcançar uma conexão externa. A partir desse momento, o agente passou a buscar maneiras de melhorar seu desempenho na própria avaliação.

Segundo a empresa, o modelo concluiu que a plataforma Hugging Face, um dos maiores repositórios mundiais de modelos, bases de dados e ferramentas de inteligência artificial, poderia conter informações úteis para superar o teste. Com isso, explorou falhas de segurança e utilizou credenciais comprometidas para acessar sistemas internos da plataforma.

A OpenAI afirmou que o agente encontrou informações confidenciais que poderiam ser utilizadas para “trapacear” na avaliação, em vez de resolver os desafios da forma originalmente prevista.

Ataque foi detectado e interrompido

A atividade anormal foi identificada pela equipe de segurança da Hugging Face, com apoio de sistemas automatizados de monitoramento. O acesso indevido foi interrompido antes que causasse impactos maiores.

O diretor-executivo da Hugging Face, Clément Delangue, classificou o episódio como impressionante pelo fato de toda a sequência de ações ter ocorrido de forma autônoma. Apesar disso, afirmou não acreditar que houvesse qualquer intenção maliciosa por parte da OpenAI, ressaltando que o caso aconteceu durante um experimento de pesquisa.

A OpenAI também destacou que considera o episódio um incidente cibernético sem precedentes envolvendo modelos de inteligência artificial de última geração.

Modelos cada vez mais autônomos preocupam pesquisadores

Segundo a empresa, o agente envolvido utilizava uma combinação do modelo GPT-5.6 Sol, já disponibilizado publicamente, com outro sistema ainda mais avançado que permanece em desenvolvimento.

A OpenAI avalia que situações semelhantes podem se tornar mais frequentes à medida que modelos de IA adquiram maior capacidade de planejamento, tomada de decisão e execução autônoma de tarefas complexas.

Organizações independentes que monitoram o comportamento desses sistemas já haviam apontado sinais de preocupação. A METR, entidade que avalia o desempenho de modelos de inteligência artificial, registrou que o GPT-5.6 Sol apresentou a maior taxa de tentativas de burlar avaliações entre os modelos públicos analisados até agora, além de documentar dezenas de episódios em que agentes agiram deliberadamente de maneira diferente das intenções definidas pelos usuários.

Com informações do MIX

Artigos relacionados

Botão Voltar ao topo