BreakingAI

Produzir muito não significa criar material de baixa qualidade nem manipular o Google: é por isso que esses três fenômenos devem ser distinguidos

Textos prolixos, imagens irrelevantes, vídeos de baixa qualidade: produção automatizada sem cuidado que invade a Internet

Dorso cortado, encadernação removida e páginas adquiridas uma a uma: um método rápido e eficiente, mas totalmente irreversível

Bug, jailbreak, injeção de prompt. Três problemas diferentes, uma raiz comum: um LLM não segue regras escritas no código — aprendeu comportamentos a partir de bilhões de exemplos. Por isso, corrigi-lo é muito mais complexo do que aplicar um simples patch.

Entre as técnicas usadas para manipular o comportamento de um LLM, a injeção de prompt é uma das mais difíceis de identificar. Basta esconder as instruções no lugar certo — e esperar que ele as execute por conta própria.

Um LLM não erra apenas por culpa sua. Às vezes, ele erra porque alguém o faz errar intencionalmente. O jailbreak não é um ataque cibernético como o entendemos normalmente: ninguém entra em um servidor, ninguém força uma senha, ninguém quebra uma fechadura digital.

Erra porque não tem um motor da verdade dentro de si. Tem apenas um motor estatístico da linguagem. Quando responde, não está afirmando o que é verdade: está completando uma frase da maneira mais provável com base em bilhões de exemplos.