Un antiguo investigador de Anthropic ha vuelto a poner sobre la mesa uno de los debates más incómodos de la inteligencia artificial: qué ocurre si construimos sistemas cada vez más capaces a mayor velocidad de la que aprendemos a comprenderlos y controlarlos.
Hoy me encontré con uno de esos titulares que consiguen que dejes durante unos segundos lo que estás haciendo, aunque solo sea para comprobar si hemos llegado oficialmente a la parte de la película en la que todo empieza a salir mal.
“Un extrabajador de Anthropic asegura que la IA podría acabar con los humanos en una década (y su jefe lo confirma)”.
Mi primera reacción fue bastante previsible: vale, otro titular apocalíptico sobre inteligencia artificial. Llevamos años alternando entre “la IA va a solucionar todos nuestros problemas” y “la IA va a provocar el fin de la civilización”, así que una termina desarrollando cierta inmunidad. Pero esta vez seguí leyendo, y debajo del dramatismo había una conversación bastante más interesante.
Plot twist: el problema no es que alguien haya dicho “la IA va a matarnos”. El problema es quién lo está diciendo, por qué lo dice y qué admite que todavía no sabemos resolver.
Jacob Coxon, investigador que ha trabajado tanto en OpenAI como en Anthropic, abandonó esta última haciendo pública su preocupación por la velocidad a la que están avanzando los sistemas de inteligencia artificial. Su planteamiento es que dentro de los propios laboratorios existen investigadores que consideran seriamente posible que una futura IA mucho más avanzada pueda escapar a nuestra capacidad efectiva de control.
Eso ya es suficientemente interesante, pero la historia llamó todavía más la atención cuando Evan Hubinger, investigador de Alignment Science en Anthropic y antiguo responsable de Coxon, respaldó públicamente buena parte de esas preocupaciones. Hubinger ha situado su estimación personal del riesgo de una catástrofe existencial relacionada con una IA avanzada por encima del 10 % durante la próxima década.
Antes de empezar a construir el búnker
Conviene aclarar inmediatamente qué significa ese 10 %, porque leído sin contexto parece mucho más científico de lo que realmente es. No existe un estudio estadístico que haya determinado que la humanidad tiene exactamente un 10 % de probabilidades de desaparecer por culpa de la inteligencia artificial, entre otras cosas porque, por suerte, no disponemos de una muestra histórica de civilizaciones extinguidas por superinteligencias con la que hacer el cálculo.
Se trata de una estimación personal de riesgo. Puede estar equivocada, quizá por mucho, y no deberíamos presentarla como una predicción. Sin embargo, tampoco me parece sensato descartarla únicamente porque el número sea especulativo. Quien está haciendo esa valoración trabaja precisamente en uno de los campos dedicados a intentar que sistemas avanzados de IA se comporten de acuerdo con nuestras intenciones.
Mi semáforo del alarmismo
¿Cómo podría una IA llegar a ser realmente peligrosa?
Aquí suele aparecer una confusión importante porque nuestra imaginación está bastante contaminada por Hollywood. Cuando hablamos de una IA peligrosa tendemos a imaginar una máquina que desarrolla conciencia, decide que los humanos somos insoportables y empieza a fabricar robots con ojos rojos. Es una imagen estupenda para vender entradas de cine, pero no es exactamente el problema que preocupa a muchos investigadores.
Una IA no necesita odiarnos para resultar peligrosa. Ni siquiera necesita sentir absolutamente nada.
El escenario más interesante es bastante menos cinematográfico: un sistema extraordinariamente competente intentando cumplir un objetivo que no coincide exactamente con lo que nosotros queríamos conseguir. Cuanto mayor sea su capacidad, su autonomía y su acceso a herramientas reales, más importante se vuelve especificar correctamente qué queremos que haga y, sobre todo, qué límites no queremos que atraviese para conseguirlo.
Los sistemas actuales ya pueden programar, investigar, analizar enormes cantidades de información, utilizar herramientas externas y ejecutar tareas cada vez más largas con una supervisión humana menor. Ahora imaginemos una generación mucho más avanzada que, además, pueda contribuir de manera significativa al propio desarrollo de sistemas de inteligencia artificial.
Esta posibilidad se relaciona con la idea de la automejora recursiva: sistemas capaces de acelerar el desarrollo de sus sucesores, que a su vez podrían acelerar todavía más la siguiente generación. El riesgo aparece si en algún momento esa velocidad supera nuestra capacidad para entender, supervisar o detener lo que está ocurriendo.
Lo verdaderamente importante es: ¿seguimos teniendo nosotros el control?
Y ni siquiera necesitamos llegar a una superinteligencia
Existe además una parte de esta conversación que requiere mucha menos ciencia ficción. Incluso sin una IA autónoma extremadamente avanzada, herramientas cada vez más potentes pueden amplificar las capacidades de quien las utiliza. Y, evidentemente, no todas las personas, organizaciones o gobiernos tienen las mismas intenciones.
Ciberataques automatizados, fraude a gran escala, campañas de manipulación, vigilancia o determinados usos de la IA en ámbitos biológicos y de infraestructuras son riesgos que se estudian hoy sin necesidad de imaginar una máquina tomando el control del planeta por iniciativa propia. A veces el riesgo no es que la IA decida hacer algo terrible, sino que ayude a alguien a hacerlo mucho mejor.
Entonces, ¿deberíamos frenar el desarrollo de la IA?
Aquí es donde mi posición se separa bastante del discurso más catastrofista. No creo que podamos afirmar que la inteligencia artificial vaya a exterminarnos, ni me parece especialmente útil presentar una cifra como ese 10 % como si fuera una previsión meteorológica. “Probabilidad de extinción: 10 %. Lleve paraguas y evite construir superinteligencias por la tarde” todavía no es una categoría científica demasiado sólida.
También creo que abusar de los escenarios extremos puede terminar consiguiendo justo lo contrario de lo que se pretende. Si cada conversación sobre seguridad empieza con “la IA va a acabar con la humanidad”, mucha gente desconecta inmediatamente porque lo asocia a Terminator, Matrix y demás miembros del comité audiovisual del apocalipsis.
Trabajo con inteligencia artificial prácticamente todos los días: la enseño, la utilizo, la implemento y veo continuamente lo que permite hacer a personas y empresas. Precisamente por eso me cuesta aceptar tanto el entusiasmo ciego como la idea contraria de que cualquier preocupación sobre sus riesgos sea simplemente alarmismo.
En muy pocos años hemos pasado de modelos que completaban texto de manera relativamente torpe a sistemas capaces de escribir software, investigar, generar imágenes y vídeo, manejar herramientas y resolver tareas complejas con un grado creciente de autonomía. Eso no demuestra que vayamos inevitablemente hacia una superinteligencia fuera de control, pero sí debería bastar para reconocer que la trayectoria y, especialmente, la velocidad del cambio merecen atención.
La parte que más me preocupa no lleva robots asesinos
De toda esta historia, hay algo que me parece incluso más interesante que la cifra del 10 %: la carrera competitiva. Anthropic puede considerar que debe actuar con prudencia; OpenAI, Google, xAI o cualquier otro laboratorio pueden pensar exactamente lo mismo. El problema es que todos operan dentro de un entorno donde quedarse atrás puede tener un coste empresarial, tecnológico y geopolítico gigantesco.
Individualmente, todos pueden preferir prudencia. Colectivamente, todos pueden tener incentivos para acelerar.
Esta es, para mí, la parte verdaderamente incómoda. No hace falta imaginar una empresa malvada cuyo CEO acaricia un gato mientras pulsa el botón de “crear superinteligencia”. Basta con tener varios actores racionales pensando que reducir la velocidad unilateralmente solo significa dejar que otro llegue primero.
En otras palabras, no hace falta un villano. A veces bastan incentivos mal alineados, que curiosamente es también una expresión bastante apropiada cuando estamos hablando de inteligencia artificial.
Y ahí creo que está el verdadero debate
Para mí, la pregunta interesante no es si una inteligencia artificial va a extinguir a la humanidad dentro de diez años. Probablemente nadie pueda responder seriamente a eso hoy y cualquier seguridad excesiva, tanto en un sentido como en el contrario, debería hacernos sospechar un poco.
También sería un error ignorar la otra mitad de la ecuación. Una inteligencia artificial enormemente avanzada podría acelerar la investigación médica, contribuir al descubrimiento de nuevos materiales, mejorar procesos energéticos, ayudarnos a comprender enfermedades y multiplicar nuestra capacidad científica. Puede convertirse en una de las herramientas más poderosas que haya desarrollado nuestra especie, y precisamente por eso creo que merece bastante más que entusiasmo incondicional o miedo automático.
Merece que nos preguntemos cómo queremos desarrollarla, quién decide sus límites, qué mecanismos de seguridad deben existir y qué ocurre cuando los incentivos comerciales o geopolíticos empujan en dirección contraria a la prudencia.
Mi conclusión es bastante menos emocionante que el titular
No creo que debamos vivir preocupados pensando que ChatGPT está preparando secretamente nuestra desaparición mientras le pedimos que mejore un correo. Los sistemas actuales están muy lejos de esa caricatura. Pero tampoco creo que “todavía no ha pasado nada” sea un argumento suficiente para no pensar en lo que puede ocurrir a medida que aumenten sus capacidades.
No sé si el riesgo real es del 10 %, del 1 % o del 0,001 %, y sospecho que nadie puede saberlo con precisión. Lo que sí podemos decidir es si queremos esperar a tener sistemas extraordinariamente potentes para empezar a pensar seriamente en cómo controlarlos o si preferimos intentar resolver parte del problema antes.
¿Después de construirlo?
¿O antes?
Por eso creo que advertencias como la de Coxon merecen ser escuchadas. No porque tengamos que asumir que tiene razón, ni porque mañana debamos apagar todos los servidores y volver al fax, sino porque hay determinados ámbitos en los que el clásico “ya veremos qué pasa” quizá no sea nuestra estrategia más brillante.
Fuentes y lecturas relacionadas
Este artículo combina divulgación y opinión personal. Las estimaciones sobre riesgo futuro mencionadas son valoraciones de investigadores, no probabilidades científicamente demostradas.
Sobre la autora
Laura Pachón trabaja en formación, consultoría e implementación de inteligencia artificial aplicada a empresas. Es directora académica de Lab3sesenta y divulga sobre IA, automatización y transformación empresarial desde una perspectiva práctica: entender primero la tecnología y decidir después si merece entusiasmo, prudencia o probablemente un poco de ambas.
La IA no necesita optimistas ciegos ni apocalípticos profesionales.
Necesitamos entender qué puede hacer, aprender a utilizarla y participar en una conversación bastante más interesante: cómo queremos que evolucione y qué límites queremos poner antes de necesitarlos.