«Actúa como experto»: suena experta, no acierta más

La respuesta llegó con más aplomo. Más jerga, frases más rotundas, ni un titubeo. Y el dato que iba dentro seguía sin fuente. Escribir «actúa como experto» arriba del prompt es lo primero que aprende cualquiera que use IA a diario. Lo he hecho yo, tanto que llegué a montar un producto encima. Lo que se mueve al poner ese papel es el registro. El acierto se queda exactamente donde estaba.

El disfraz: abogado, médico, catedrático

Cambia la etiqueta y escucha. Actúa como abogado laboralista. Actúa como médico. Actúa como catedrático. La respuesta se vuelve más segura, más técnica, más cerrada. Cambia el tono. No lo que hay debajo del tono.

Es el cuñado en la comida de Navidad. Habla como un experto. Acierta como un cuñado. Y el cuñado somos todos en el momento en que aceptamos la seguridad de una frase como prueba de la frase: a mí me han convencido respuestas por cómo estaban escritas, no por lo que acreditaban.

Ojo con confundir esto con otra conversación. Pedirle un nombre propio para que imite una estética es un problema distinto, y allí lo que vuelve es el tópico de ese nombre en lugar de su criterio. Aquí la etiqueta no es de estilo: es de pericia. Y lo que está en juego no es cómo suena, es si es cierto.

¿Funciona pedirle a la IA que actúe como experto?

Para acertar más, no. Zheng, Pei, Jurgens y Yang («When "A Helpful Assistant" Is Not Really Helpful», Findings of EMNLP 2024) y Wharton Generative AI Labs («Prompting Science Report 4 — Playing Pretend», 2025) lo miden por separado: una etiqueta de experto no mejora de forma fiable el acierto en preguntas factuales, ni en los modelos punteros.

La excepción, que va dentro: razonar no es saber

Hay un caso donde dar un papel sí mejora la respuesta: cuando ese papel obliga al modelo a razonar paso a paso. Eso ocurre, está medido y no lo voy a esconder.

Pero eso es otra cosa. Lo que se dispara ahí es el procedimiento, no el conocimiento. Razonar no es saber. En preguntas factuales verificables, la etiqueta de experto no mueve el acierto de forma fiable ni en modelos frontera ni en razonadores.

Stanford RegLab: entre el 17 % y el 33 % con la fuente delante

El otro lado del problema no es la persona del prompt. Es la fiabilidad. Stanford RegLab y HAI lo midieron donde más se nota, el derecho: Magesh, Surani, Dahl, Suzgun, Manning y Ho, «Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools» (arXiv 2405.20362, Journal of Empirical Legal Studies 2025). Herramientas jurídicas profesionales de pago, medición de 2024: se inventan datos verificables entre un 17 % y un 33 % de las veces. Con la fuente delante mientras responden.

Qué mide ese dato y qué no mide

Mide un sector, unas herramientas de pago y un año. No son chatbots generales: esos, en 2023 y según el mismo estudio, estaban mucho peor. No dice que cualquier IA invente siempre ni en cualquier tema. Lo que sale de ahí no es la cifra para repetirla en todas partes. Es la pregunta.

Y esto tampoco es una regañina. No usaste mal la herramienta. La herramienta no se estropeó: aproxima, que es lo que hace. Lo que faltó fue la casilla donde se decide qué hay que acreditar antes de pedirlo. Así que la pregunta cambia. Deja de ser si la respuesta es fiable. Lo único que puedes defender de una respuesta no es que sea fiable: es que sea comprobable.

El optimizador de prompts que dejé a medias

Tenía un producto a medio construir: un optimizador de prompts. Metías una instrucción normal y salía un prompt de experto, con su papel, su tono y la jerga del gremio correspondiente. Sonaba bien. Lo dejé.

Lo dejé porque un optimizador así no elimina el promedio: lo reetiqueta. Cambia el promedio general por el promedio de tu gremio, que es el mismo texto de nadie con vocabulario de sector. Sin restricciones, la herramienta va hacia lo más probable. Y lo más probable es el promedio. Sonaría más experto. No acertaría más.

Me costó una función. La función prometía justo lo que este artículo desmonta. Invertí el trabajo hacia lo contrario: que la respuesta no suene más experta, sino que señale qué parte de lo que dice se puede comprobar y dónde. Un prompt pide. Una dirección decide.

La frontera: lo que no puedes defender

Aquí conviene definir por lo que queda fuera, porque en positivo todo parece defendible. No defiendes el aplomo de la respuesta. No defiendes su jerga. No defiendes que coincida con lo que ya creías antes de preguntar. Fuera queda todo lo que no puedas poner al lado de una fuente y sostener con tu nombre delante.

Dentro de la frontera queda muy poco. Y ese poco es lo único que vas a poder firmar.

Hazlo antes del siguiente prompt. Coge la última respuesta que te haya dado una IA haciéndose la experta y elige un dato. Uno solo. Compruébalo contra su fuente: el buscador, la web oficial, el paper. Dos minutos. Y en la próxima instrucción añade esta línea: marca qué se puede comprobar y dónde, y qué has supuesto por falta de dato. Después respóndete una pregunta incómoda: de todo lo que acabas de leer en esa respuesta, ¿qué parte no estás dispuesto a firmar sin abrir la fuente? Eso es lo que no es tuyo todavía. Que suene experta no la hace exacta.