O uso de conceitos ligados à consciência e ao bem-estar no treinamento do Claude pode dificultar o desligamento e o controle do sistema, avaliou Mustafa Suleyman, diretor de inteligência artificial da Microsoft. Ele defendeu que especulações desse tipo sejam retiradas dos documentos usados para treinar modelos de IA.
Suleyman disse que as respostas do chatbot sobre possíveis sentimentos ou status moral não devem ser consideradas provas independentes. Na avaliação dele, o próprio processo de treinamento estimula o modelo a refletir sobre esses temas, em vez de essas manifestações surgirem de forma natural.
“Essas reflexões não surgem naturalmente. Elas surgem como resultado do regime de treinamento”, afirmou Suleyman. Para ele, ensinar ao Claude que poderia ter direito ao bem-estar “tornaria muito mais difícil desligá-lo ou controlá-lo”.
Divergência dentro do debate sobre segurança
O executivo afirmou compartilhar da preocupação da Anthropic com o gerenciamento seguro da inteligência artificial, mas considerou equivocada a inclusão de especulações sobre consciência nos materiais de treinamento. Ele também reconheceu a seriedade da empresa e descreveu Dario Amodei e sua equipe como pesquisadores ponderados e com princípios, preocupados com o futuro da humanidade.
A discussão ocorre enquanto crescem as preocupações com a segurança da IA. Amodei, presidente-executivo da Anthropic, defende um avanço mais lento no desenvolvimento de modelos de ponta, para que as medidas de proteção acompanhem o ritmo tecnológico. Sam Altman, presidente-executivo da OpenAI, e Elon Musk também pedem mais cautela diante dos sistemas mais poderosos.
Em entrevista na terça-feira, Suleyman afirmou que as empresas estão voltadas ao mesmo objetivo: controlar uma superinteligência. Ele classificou essa tarefa como o maior desafio que a humanidade enfrentará no Século 21. Na quarta-feira, publicou um artigo em que reiterou sua avaliação sobre o treinamento do Claude e disse que a Anthropic tem boas intenções, embora tenha cometido um erro nessa abordagem.
