Hackers estão sendo usados por empresas de IA

Nos últimos tempos, uma das maiores preocupações das startups de inteligência artificial tem sido a possibilidade de um hacker infiltrar-se em seus modelos, utilizando-os para gerar conteúdos perigosos ou extrair dados sensíveis de usuários. Curiosamente, empresas de tecnologia estão pagando bem para que hackers façam exatamente isso. Esses programadores utilizam técnicas de prompting incomuns para ultrapassar as barreiras de segurança dos modelos de linguagem , com o objetivo final de ajudar as empresas a identificar vulnerabilidades.

Contexto

Os LLMs são meticulosamente ajustados para bloquear conteúdos relacionados a tópicos sensíveis, como instruções para a produção de drogas ou como esconder um corpo. No entanto, há diferentes técnicas para contornar essas proteções, algumas das quais podem ser descobertas através de simples tentativas e erros. Uma dessas técnicas envolve alimentar um LLM com uma longa sequência de perguntas e respostas, fazendo com que ele imite esse comportamento. Ademais, essas falhas também se aplicam a geradores de imagens, que podem produzir material explícito ou violento.

Soluções

Com isso, startups estão desenvolvendo algoritmos que podem encontrar falhas de segurança e ajudar as companhias de IA a corrigi-las antes que sejam exploradas de forma maliciosa. A ideia é deliberadamente testar os modelos para expor suas fraquezas, tornando-os mais seguros.

Entretanto, nem todos seguem as regras, visto que alguns vigilantes têm agido por conta própria, alegando que as empresas de IA não estão agindo rápido o suficiente. Dessa forma, os esforços autônomos dos hackers continuam, enquanto empresas estão lutando para acompanhar a velocidade dos ataques de prompting.

Fonte: Financial Times

------------------------------------------------------------------------------------------------------------------------------

🚀 Gostou do conteúdo? Então continue lendo as principais notícias do mercado de IA.

📩 Assine a nossa newsletter e fique por dentro de tudo sobre a Inteligência Artificial.

Foto: Freepik (reprodução)