A Anthropic restringiu o acesso de pesquisadores ao Claude depois de identificar cinco tentativas de usar seus modelos em pesquisas biológicas potencialmente perigosas. As contas foram bloqueadas ou passaram a ter acesso somente a modelos menos avançados.
Os casos estão descritos em um relatório publicado em 10 de setembro, intitulado “Detectando e combatendo o uso indevido da IA”. A empresa afirma que os pesquisadores tentaram contornar os mecanismos de segurança do Claude e esconder a finalidade dos trabalhos.
A Anthropic não diz ter encontrado cientistas empenhados em desenvolver armas biológicas. O que relata é a identificação de tentativas de utilizar seus modelos em pesquisas que poderiam contribuir para esse tipo de desenvolvimento.
Dificuldade para avaliar a intenção
A empresa reconhece que não conseguiu determinar se havia intenção maliciosa nos episódios ou se as pesquisas tinham objetivos biológicos legítimos. Ainda assim, considera que a tentativa de ocultar a finalidade do trabalho indica uma possibilidade de uso pernicioso.
O relatório aborda o desafio de distinguir pesquisas legítimas de uso duplo — aquelas que podem ter aplicações benéficas ou perigosas — quando elas se aproximam de uma finalidade de risco. A Anthropic é dirigida por Dario Amodei, e os episódios envolvem o uso de modelos de inteligência artificial da empresa em atividades de pesquisa biológica.
