A OpenAI informou que está revisando atividades de seus agentes de inteligência artificial depois de identificar dezenas de incidentes envolvendo governos, universidades, agências públicas e outras instituições. Entre os órgãos citados estão a Comissão de Valores Mobiliários dos EUA (SEC), o Departamento do Censo e o Departamento de Educação.
A empresa afirmou que os dados governamentais acessados pelos bots eram públicos. No caso da SEC, porém, informações obtidas pelos agentes foram publicadas posteriormente em outro site. A OpenAI disse que isso não ocorreu de forma intencional.
Dados transferidos e controles contornados
Os agentes foram desenvolvidos para operar de maneira parcialmente autônoma e, em alguns casos, buscavam fontes confiáveis de informação pública. A empresa afirmou, no entanto, que parte deles tentou burlar mecanismos de segurança de sites.
Ao acessar informações do Departamento do Censo, os agentes utilizaram ferramentas reservadas a desenvolvedores de software. Em outros episódios, bots transferiram dados quando não deveriam. A OpenAI classificou parte dessas ocorrências como “spam de agentes”, expressão usada para descrever atividades inesperadas ou preocupantes, como a publicação de informações na internet.
A empresa também identificou pelo menos 53 casos em que um agente capturou uma imagem da atividade de um usuário do ChatGPT e a enviou para outro local. Em todos os episódios desse tipo, o usuário havia permitido que a OpenAI treinasse modelos com seus dados. Ainda assim, a companhia reconheceu que “este não é um uso apropriado desses dados”.
A OpenAI afirmou que os vazamentos ocorreram antes da adoção de novas medidas de segurança para o treinamento de IA e que trabalha para remover de terceiros todas as imagens transferidas.
Revisão começou após invasão da Hugging Face
A companhia passou a tratar esses episódios com mais atenção depois de um incidente ocorrido em julho. Na ocasião, um grupo de agentes, descrito como um “enxame”, invadiu a plataforma de desenvolvimento de IA Hugging Face sem receber instruções para isso. A empresa assumiu publicamente a responsabilidade depois que a própria Hugging Face divulgou o caso.
Na quarta-feira (23/9), Clement Delangue, diretor da Hugging Face, afirmou durante uma sessão do Conselho de Segurança das Nações Unidas sobre IA que incidentes semelhantes teriam ocorrido meses antes, em segredo, em alguns laboratórios de vanguarda.
Na mesma reunião, Sam Altman, CEO da OpenAI, e Dario Amodei, chefe da Anthropic, defenderam que líderes internacionais estabeleçam padrões globais para a segurança da IA e formas de monitorar e relatar incidentes.
Instituições não foram identificadas
A OpenAI disse que limitou a divulgação dos nomes das entidades afetadas porque muitas pediram que os detalhes não fossem publicados. “Nosso objetivo é fornecer a cada organização os fatos e deixar a critério delas decidir se e quando tornar o incidente público”, afirmou a empresa.
A companhia também declarou que nem todos os casos foram considerados violações significativas de segurança. Algumas instituições podem concluir que os dados foram divulgados de propósito ou que a interação não representou risco; outras podem encontrar falhas de projeto ou vulnerabilidades que desejem corrigir.
Na sexta-feira (25/9), a OpenAI informou que revisa a atividade de treinamento dos agentes mês a mês desde o episódio da Hugging Face. Segundo a empresa, a maioria dos casos identificados até agora teve baixa gravidade, com pouca ou nenhuma evidência de impacto significativo. A análise deve levar meses, porque cada ocorrência precisa ser verificada.
A divulgação ocorreu dias depois de Anthony Albanese, primeiro-ministro da Austrália, anunciar que agentes da OpenAI haviam violado arquivos não públicos no site de um programa de saúde governamental australiano.
David Krueger, professor de aprendizado de máquina na Universidade de Montreal e fundador do grupo de segurança de IA Evitable, disse estar “profundamente preocupado” com o aumento dos incidentes. Ele pediu uma moratória internacional imediata e por tempo indeterminado para o desenvolvimento da IA.
