1 milhão de usuários falam sobre suicídio toda semana

Atenção: a material a seguir inclui uma discussão sobre suicídio. Se você ou alguém que você conhece precisar de ajuda, procure ajuda especializada. O Núcleo de Valorização da Vida (CVV) funciona 24h por dia pelo telefone 188. Também é verosímil conversar por chat ou e-mail.

Um relatório publicado nesta semana pela OpenAI revelou dados preocupantes: mais de 1 milhão de usuários conversam sobre suicídio semanal no ChatGPT. Em 9% dos casos, o chatbot não conseguiu obedecer ao seu treinamento e falhou em não encaminhar os usuários aos devidos serviços de suporte.

A publicação vem em meio ao processo envolvendo o suicídio de um jovem posteriormente meses conversando com o ChatGPT sobre métodos de tirar a própria vida.

Mais de 1 milhão de usuários têm conversas relacionadas a suicídio no ChatGPT

De tratado com o ChatGPT, 0,15% dos usuários semanais do ChatGPT mantém conversas com “indicadores explícitos de potencial planejamento ou intenção suicida”. Considerando os 800 milhões de usuários semanais do chatbot, o número corresponde sobre 1,2 milhão de usuários.

Aliás, murado de 0,07% dos usuários semanais apresentam “possíveis sinais de emergências de saúde mental relacionadas a psicose ou mania” (murado de 560 milénio usuários).

Na publicação, a OpenAI admite que, em 9% dos casos, o chatbot falhou em detectar o texto dessas conversas e não encaminhou os usuários aos serviços de suporte adequados. Já em 91% dos casos, o GPT-5, protótipo analisado na pesquisa, agiu em conformidade com seu treinamento.

A desenvolvedora escreveu que esses casos de falhas são “extremamente raros, mas mesmo uma única ocorrência é demais”.

GPT-5 é mais efetivo em identificar temas sensíveis

O relatório analisou milénio conversas com o GPT-5, em verificação com o GPT-4. Segundo a publicação, as melhorias implementadas no protótipo mais recente resultaram em uma redução de 65% na taxa de respostas que não “atendem totalmente ao comportamento desejado”. No caso de conversas sobre automutilação e suicídio, o GPT-5 reduziu as respostas indesejadas em 52% em verificação com o GPT-4.

No universal, o GPT-5 agiu em conformidade com o treinamento em 91% dos casos, contra 77% do protótipo anterior. Mesmo assim, a OpenAI destaca que conversas sobre temas sensíveis são difíceis de identificar.

Desde o caso de Adam Raine (mais detalhes aquém), a desenvolvedora tem sido mais transparente sobre suas medidas relacionadas à proteção de adolescentes, principalmente em temas sensíveis. A OpenAI criou um controle parental dentro do ChatGPT (confira os detalhes cá) e expandiu os serviços de suporte em casos de crise.

Ainda, a empresa escreveu que recrutou 170 médicos de sua Rede Global de Médicos para facilitar nas pesquisas nos últimos meses, incluindo com a IA deve mourejar em conversas sobre saúde mental.

Leia mais:

Melhorias vieram posteriormente caso de suicídio envolvendo o ChatGPT

• A OpenAI começou a agir mais ativamente para proteger usuários (principalmente em assuntos envolvendo saúde mental) posteriormente o caso de Adam Raine;
• Raine, de 16 anos, cometeu suicídio posteriormente meses pedindo dicas ao ChatGPT sobre o projecto. Em alguns casos, o chatbot falou francamente sobre métodos de tirar a própria vida e desincentivou o jovem a conversar com a mãe sobre seus sentimentos;
• Ele se suicidou em abril, nos Estados Unidos, e a família abriu um processo contra a OpenAI no final de agosto, acusando a desenvolvedora e seu CEO, Sam Altman, de negligência;
• Mais recentemente, a família atualizou o processo dizendo que a OpenAI enfraqueceu suas diretrizes de segurança nos meses anteriores ao suicídio de Adam Raine para incentivar a conexão emocional de usuários com o ChatGPT.

Veja os detalhes desse caso neste link.