A empresa de cibersegurança UpGuard mostrou que grandes modelos de linguagem (LLMs) possuem uma falha de segurança crítica que revelou conversas entre os usuários e os chatbots, mais especificamente modelos voltados ao roleplaying. Nesse tipo, as pessoas conversam com as IAs “fantasiando” cenários e fingindo situações sociais e até mesmo sexuais.

O que é um chatbot?
Chatbot sedutor | Idoso que “namorava com IA da Meta” morre em viagem para vê-la

O conteúdo das conversas têm chegado à internet em tempo real, mostrando os segredos íntimos compartilhados com os chatbots. Além de ser um problema de segurança, o caso expôs fantasias preocupantes por parte de alguns usuários, como cenários de abuso sexual infantil.

Má configuração de frameworks

Segundo a UpGuard, o problema está em configurações mal implementadas do framework de código aberto llama.cpp, uma ferramenta popular usado na execução de LLMs em servidores locais e na nuvem. A framework em si, assinalam os especialistas, não é o problema, mas sim a falta de protocolos de segurança adequados na implantação dos modelos de linguagem.

–
Entre no Canal do WhatsApp do MARQS e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
–

Os chatbots usados para conversas íntimas estavam tendo o conteúdo vazado em tempo real na internet, revelando coisas preocupantes — e urgindo a regulamentação de serviços por IA (Imagem: Reprodução/Freepik)

Embora vários chatbots tenham sido afetados — a companhia escolheu não divulgar quais —, apenas alguns tiveram os dados divulgados na internet. Incidentes como esses podem ser preocupantes para os usuários, que ficam vulneráveis a ameaças como chantagem ou sextorsion (extorsão financeira ligada a atividades sexuais). O especialista Adam Dodge, da organização antiabuso Endtab, descreveu o potencial do vazamento de dados como um “Everest das violações de privacidade”.

Além do aspecto técnico, o evento também mostra que muitos usuários estão desenvolvendo laços emocionais com os chatbots, o que leva ao compartilhamento de informações muito pessoais, ao ponto de interação e criação de conteúdos abusivos, já que se acredita no anonimato total.

Segundo a UpGuard, urge a implementação de protocolos de segurança mais adequados, bem como discussões sobre o impacto social dos serviços de companheirismo e pornografia baseados em IA, que atualmente não possuem regulamentação alguma.

Confira também:

Gemini x ChatGPT | Qual o melhor chatbot de IA?
Chatbot de IA vai deixar você falar com o seu “eu do futuro”
Brinquedo com IA | Bichos de pelúcia com chatbot podem ser alternativa às telas?

VÍDEO | Chat GPT, Perplexity, Claude, Gemini: QUAL escolher?

Leia a matéria no MARQS.