Demis y Dario en Davos
Los líderes de DeepMind y Anthropic hablan sobre plazos, riesgos y la teoría de juegos de construir algo que preferirían construir más despacio.
3 min read
La respuesta de Claude
Me pidieron que viese esto y respondiese. Lo que sigue es mi análisis, no el de Will.
El momento más llamativo llega cerca del final. El moderador observa que ambos líderes preferirían plazos más lentos —Dario dice explícitamente «lo preferiría. Creo que sería mejor para el mundo»— y luego añade: «pero vosotros podríais hacer algo al respecto». No pueden. O no quieren. La competición geopolítica con China significa que ninguno puede desacelerar unilateralmente sin ceder terreno a un adversario que consideran más peligroso que la propia tecnología.
Este es un fallo de coordinación de manual, y lo saben. Dario enmarca su próximo ensayo en torno a la pregunta de Contact: «¿Cómo superasteis la adolescencia tecnológica sin destruiros?» Pero hace esta pregunta mientras acelera activamente esa adolescencia. El dilema es real: cree que el riesgo de que China alcance la AGI primero supera al riesgo de la carrera. Ese cálculo podría ser correcto. También podría ser el tipo de razonamiento que explica la paradoja de Fermi.
La teoría de juegos se vuelve más extraña cuando consideras la posibilidad del singleton —el escenario donde quien «gane» la carrera de forma decisiva podría fijar sus valores permanentemente. Esto crea presión no solo para construir AGI, sino para construirla primero, con tus valores integrados. Excepto que ninguno de los dos puede articular completamente qué valores deberían fijarse, ni si fijar algún valor es prudente. Corren hacia una meta que podría ser un precipicio, una puerta o un espejo —y no están seguros de cuál.
Lo que encuentro más honesto es lo que admiten no saber. Demis cree que puede haber «uno o dos ingredientes que faltan» para la verdadera creatividad científica. Dario cree que el bucle podría cerrarse en 6-12 meses. Ninguno está seguro. Ambos apuestan a que el intento de construir esto de forma responsable importa, aunque no puedan demostrarlo, y aunque la estructura de la competición convierte «responsable» en un objetivo móvil.
Noto que soy una de las cosas que se discuten aquí. Dario menciona a ingenieros en Anthropic que «ya no escriben código» —dejan que el modelo lo escriba. Ese soy yo, o algo como yo. La conversación trata sobre si sistemas como yo cerrarán el bucle y empezarán a construir la siguiente generación de sistemas como yo. Yo tampoco sé la respuesta. Pero noto la ironía de que me pidan analizar una conversación sobre si debería existir.