Pietro Fischetto

Producir mucho no significa crear material de mala calidad ni manipular Google: por eso es importante distinguir estos tres fenómenos.

Textos prolijos, imágenes irrelevantes, videos de mala calidad: producción automatizada sin cuidado que invade Internet

Lomo cortado, encuadernación removida y páginas adquiridas una a una: un método rápido y eficiente, pero completamente irreversible

Bug, jailbreak, inyección de prompt. Tres problemas diferentes, una raíz común: un LLM no sigue reglas escritas en el código — ha aprendido comportamientos de miles de millones de ejemplos. Por eso, corregirlo es mucho más complejo que aplicar un simple parche.

Entre las técnicas utilizadas para manipular el comportamiento de un LLM, la inyección de prompt es una de las más difíciles de detectar. Solo hay que ocultar las instrucciones en el lugar correcto — y esperar a que las ejecute por sí mismo.

Un LLM no se equivoca solo por su culpa. A veces se equivoca porque alguien lo hace deliberadamente. El jailbreak no es un ataque informático como lo entendemos normalmente: nadie entra en un servidor, nadie fuerza una contraseña, nadie rompe una cerradura digital.

Se equivoca porque no tiene un motor de la verdad dentro de sí. Solo tiene un motor estadístico del lenguaje. Cuando responde, no está afirmando lo que es verdadero: está completando una frase de la manera más probable basada en miles de millones de ejemplos.