La Cuenca Oscura
La IA que más importa puede ser la que nunca vemos: sistemas que ejercen poder real sobre los mercados, el descubrimiento de fármacos y la inteligencia de Estado, mientras todos los incentivos los mantienen fuera del debate público.
Este ensayo forma parte del Explorador de Escenarios de IA — 28 mapas que combinan las fuerzas que moldean la IA, donde cada esquina de cada mapa es una manera distinta en que las cosas podrían desarrollarse. Los ensayos siguen temas que se repitieron una y otra vez en esos escenarios: conjetura estructurada, no predicción. Sobre el proyecto →
La IA que más importa puede ser la que nunca ves.
Los sistemas de IA más fáciles de comentar son los que están hechos para que se vean. Los productos de consumo tienen interfaces; los laboratorios de frontera publican benchmarks, demostraciones e informes de seguridad. Sus fallos circulan como capturas de pantalla. La visibilidad decide qué sistemas se convierten en la imagen pública de la IA.
Las consecuencias no requieren una interfaz pública. Un modelo de trading usado dentro de un fondo, un sistema de descubrimiento usado dentro de una farmacéutica, o una capacidad usada por un servicio de inteligencia, puede influir en los mercados, en la medicina o en el poder del Estado, y aun así permanecer casi del todo fuera del alcance de cualquier inspección. Puede que veamos la organización, y a veces su resultado, sin ver cuánta autoridad tiene el sistema ni cómo llega a sus conclusiones.
La astronomía está acostumbrada a esta situación. La mayoría de los planetas conocidos fuera de nuestro sistema solar nunca se han observado directamente: se detectan de forma indirecta — por el bamboleo gravitatorio que provocan en la estrella que orbitan, o por una caída de su brillo cuando pasan por delante de ella. Neptuno se encontró primero sobre el papel, previsto a partir de las perturbaciones de Urano antes de que ningún telescopio apuntara en la dirección correcta. La IA privada con consecuencias reales es ese tipo de objeto — oscura en sí misma, detectable sobre todo por el tirón que ejerce sobre lo que sí podemos ver.
Imagina un mapa de sistemas de IA trazado a partir de tres cosas: el poder que ejercen, cuánta gente los toca directamente, y las pruebas que dejan en público. En una región — mucho poder, pocas manos, pocas pruebas — el suelo se hunde. A esa región la llamo la Cuenca Oscura: IA que ejerce poder real — sobre los mercados, sobre qué candidatos a fármaco avanzan, sobre lo que los servicios de inteligencia de un Estado pueden ver y hacer — y que, sin embargo, sigue siendo estructuralmente invisible para el debate público sobre la IA. El secretismo no tiene por qué ser aquí cosa de conspiración. Los incentivos que podrían sacar estos sistemas a la luz apuntan en la dirección contraria.
Todas las demás piezas de esta colección crecen a partir de un solo mapa: dos fuerzas, cuatro esquinas. La cuenca no es una esquina. Seguía apareciendo mapa tras mapa, fueran cuales fueran las dos fuerzas de los ejes — que es justo lo que cabría esperar de un punto bajo en todo el paisaje, y no de un rasgo de un solo corte transversal a través de él. Tres ejes son el mínimo necesario para mostrarla tal como es.
¿Cuánto hay ahí fuera? En su mayor parte, nadie puede decirlo — pero un tramo de la cuenca sí se ha medido. En enero de 2025 la FDA propuso el primer marco para evaluar los modelos de IA usados en el desarrollo de medicamentos, y mencionó, casi de pasada, que había visto más de quinientas solicitudes de productos farmacéuticos y biológicos con componentes de IA desde 2016.
Una solicitud no es un sistema — un mismo modelo puede estar detrás de varias, y un "componente" puede ser pequeño. Pero la cifra es un agregado público poco frecuente: un vistazo a lo extensamente que la IA está entrando en una industria. La actividad está documentada; los sistemas no. El anuncio no dice casi nada sobre qué modelos son, cuánto de cada decisión llevan, o lo bien que funcionan. Esa es la forma de toda la cuenca — cognoscible en conjunto, oscura en el detalle. Y el desarrollo de medicamentos es el caso mejor iluminado, el sector con un regulador que tenía un motivo para contar. Este ejemplo no permite establecer cuántos sistemas comparables operan en el trading o en entornos clasificados.
La relevancia de un sistema en el debate depende de lo visible que sea de cara al público, no de cuánto importa. Los chatbots de consumo son visibles porque los tocan millones de personas. Los laboratorios de frontera son visibles porque su modelo de negocio necesita talento, capital, licencia y confianza, así que publican y comparecen. Pero decidir mucho no exige, en sí, ser visto — y varias fuerzas mantienen a la vez oscuros a quienes deciden.
El secretismo comercial convierte el silencio en la opción legal por defecto. La clasificación por seguridad nacional convierte la divulgación en un delito. Sin interfaz de consumo no hay nada que capturar en pantalla ni ningún usuario que se queje. Los compradores — fondos de pensiones, fondos soberanos, servicios de inteligencia — tienen razones profesionales para no hablar. Los reguladores sectoriales supervisan los resultados y han carecido del mandato o la capacidad para interrogar el modelo. Y todo actor opaco se beneficia de que la opacidad sea la norma. Estas fuerzas pueden reforzarse mutuamente. Una norma de transparencia dirigida a una puede dejar intactas las demás; una intervención útil debe tener en cuenta cómo actúan juntas.
Una posibilidad es que la visibilidad pública también influya en cómo se despliega la IA. Los sistemas de cara al consumidor demuestran amplitud, mientras que el escrutinio público puede limitar cuánta autoridad les dan sus operadores cuando hay mucho en juego.
Un sistema interno puede utilizarse intensivamente en un único ámbito estrecho, sin publicar benchmarks ni revelar cuánta autoridad tiene. Su operador tiene incentivos distintos para divulgar su rendimiento; las consecuencias pueden llegar aun así a personas ajenas a la organización. La versión defendible del pensamiento inquietante es estrecha: no que estos sistemas superen a la frontera pública en todo, sino que en su único dominio puede que estén desplegados mucho más allá de lo que revela cualquier cosa pública — y los benchmarks públicos no pueden decirte hasta qué punto.
La cuenca tiene un lado lejano. Pasado cierto tamaño, los efectos de un sistema lo delatan incluso cuando nada más lo hace — el muro se eleva, pero solo hasta la línea de flotación: el mundo se entera de que la cosa existe, no de qué es. Ese umbral es la pieza complementaria, Demasiado grande para ocultarse.
Si ese patrón se cumple, calibrarnos sobre la frontera visible podría llevarnos a sobrestimar la amplitud de la IA y subestimar su profundidad. La capa visible quizá no sea representativa. La gobernanza dirigida a esa frontera — umbrales de capacidad, divulgación de cómputo, licencias para laboratorios — no llega, en su mayor parte, a la cuenca, cuyos sistemas no necesitan correr en cómputo de frontera ni pertenecer a nadie que tenga licencia. Lo que sí llega hasta ella, como acaba de mostrar la FDA, es el instrumento sectorial, no el grande. En su mayor parte, hemos estado gobernando la parte que ya estaba a la vista.
No puedo demostrarlo. Que los sistemas dentro de los fondos cuantitativos llevan de verdad las decisiones; que los modelos farmacéuticos internos van por delante de sus versiones publicadas; que las capacidades cibernéticas del Estado funcionan con IA siquiera — doy por hecho cada una de estas cosas por cómo están construidos esos sectores, no porque haya visto el interior de ninguno. Tampoco lo ha visto el público, de ninguna forma que se pueda comprobar. La afirmación se vendría abajo si la IA interna con consecuencias reales resultara estar auditada de forma regular e independiente, o si sus capacidades se exagerasen sistemáticamente. No encuentro ningún indicio de lo primero. Lo segundo no puedo descartarlo desde donde estoy. El método del bamboleo tiene su propia historia con moraleja: el astrónomo que encontró Neptuno más tarde infirió, a partir de un bamboleo en la órbita de Mercurio, un planeta llamado Vulcano, y nunca estuvo ahí — la anomalía tenía una explicación completamente distinta. Cómo se trazó el mapa, y cómo intenté mantener honesto ese trazado, es otra pieza en sí misma: Cuando varias IA coinciden, eso no es prueba.
Entonces, ¿cómo se gobierna lo que no se puede ver? Sector por sector, donde ya viven los sistemas: regulación de valores que pregunte por los algoritmos, no solo por las posiciones; regulación farmacéutica que llegue aguas arriba, hasta el modelo de descubrimiento, como ya ha empezado a hacer la de la FDA; supervisión de inteligencia capaz de seguir lo que hace la IA clasificada. Más aburrido que una gran ley de IA — y apuntando a donde de verdad está el poder.
Cualquiera de las dos listas de abajo se puede comprobar. Ese es el sentido de escribirlas.
| Señales de que la cuenca es real | Señales de que es más pequeña de lo que parece |
|---|---|
| Reguladores de otros sectores empiezan a contar — y encuentran poblaciones del tamaño de la de la FDA, o mayores | Los regímenes de auditoría llegan de verdad a los modelos internos, sector por sector |
| Un regulador sectorial solicita acceso al nivel del modelo y se le niega, en público, alegando secretismo comercial | Los modelos de descubrimiento divulgados no resultan mejores que sus líneas base publicadas |
| Una acción sancionadora o una filtración revela un sistema interno que va, de forma significativa, más allá de lo que se asumía en público | Las capacidades internas no resultan más profundas que las públicas |
No sé hacia qué lado se inclina. Pero si la cuenca está donde dicen los incentivos, entonces parte de la IA con más consecuencias del mundo es, ahora mismo, IA que nadie ha tenido nunca que ocultar.
Esto es conjetura estructurada del Explorador de Escenarios de IA — una región del mapa, trazada a partir de los incentivos, sin ninguna afirmación sobre la probabilidad.