Cuando varias IA coinciden, eso no es prueba

Mientras construía el Explorador de Escenarios de IA, un modelo elaboró un marco elegante para rastrear qué hacen los sistemas de IA: creación, acceso, confianza, portabilidad, derechos de consulta y capacidad de actuar.

Los seis componentes ya estaban en su prompt.

La respuesta desarrolló el marco, pero eso no se podía contar como un descubrimiento independiente. Comparar el resultado con el prompt expuso el problema.

Dos ejecuciones posteriores, con modelos y prompts distintos que no incluían esas pistas, no reprodujeron el mismo marco. Ambas abordaron problemas relacionados. Como los modelos y la formulación cambiaron a la vez, esto no fue un experimento controlado del efecto de la pista.

El error original estaba bastante claro: una idea aportada en la pregunta se había contado como un hallazgo en la respuesta.

Ese riesgo sobrevive a una segunda opinión. Si otro modelo ve el mismo prompt sesgado —o lee la primera respuesta antes de intentar la suya— puede repetir la idea sin aportar mucho respaldo adicional.

Pasar la respuesta de un modelo a otro: una pregunta sesgada produce una primera respuesta, y luego un segundo modelo coincide con ella. Primero, intentos por separado: la misma pregunta se envía por separado a los modelos A y B, después vienen la comparación y la crítica, y por último la comprobación de las afirmaciones fácticas. La coincidencia todavía necesita comprobación. — Consigue respuestas por separado antes de compararlas. La coincidencia todavía necesita comprobación.

Para el Explorador, el flujo de trabajo ahora separa esas tareas:

Consigue primero intentos por separado. Dale a los modelos la pregunta sin la respuesta propuesta, los borradores anteriores ni las explicaciones favoritas del proyecto.
Después, incorpora a un crítico informado. Deja que vea los borradores y el conjunto del proyecto, para que pueda cuestionar suposiciones, detectar omisiones e identificar repeticiones.
Compara las explicaciones. Conserva las respuestas originales. Fíjate en si describen la misma causa y la misma consecuencia, y conserva los desacuerdos.
Comprueba contra el mundo. Cuando un argumento depende de afirmaciones fácticas, comprueba las fuentes o busca a alguien con la experiencia pertinente. La coincidencia entre modelos no puede hacer ese trabajo por sí sola.

Esto sigue dejando mucho margen para el error. Distintos modelos pueden compartir suposiciones y repetir el mismo error. Un modelo puede inventar una coincidencia que no existe al comparar sus respuestas.

Los escenarios son futuros posibles que examinar, no pronósticos. Usar varios modelos ayuda a generar ideas y a cuestionarlas; no establece su probabilidad.

Antes de contar la coincidencia como respaldo, pregúntate qué vio cada modelo —y si la respuesta ya estaba en la pregunta.