¿Y si la máquina deja de obedecer?

Durante siglos imaginamos el día en que nuestras propias creaciones dejarían de obedecernos. Antes de que existieran los algoritmos, los centros de datos o los modelos de lenguaje, ya contábamos historias sobre criaturas que escapaban de las manos de sus creadores. Cambiaron los nombres y las máquinas. El temor permaneció.  Ahora ese miedo ha vuelto, pero esta vez acompañado por hechos que obligan a tomarlo en serio sin convertirlo en espectáculo. En septiembre, investigadores y directivos de algunas de las principales compañías de inteligencia artificial advirtieron públicamente sobre la posibilidad de perder el control de sistemas cada vez más capaces. El debate dejó de pertenecer solamente a novelas y películas y entró en laboratorios, parlamentos y organismos internacionales.

La pregunta, sin embargo, necesita formularse con cuidado. ¿Estamos ante una máquina que ha cobrado vida? ¿Ha ocurrido ya la llamada singularidad? ¿O estamos confundiendo autonomía, capacidad, desalineación y conciencia como si fueran la misma cosa? Antes de discutir cómo regular la inteligencia artificial, conviene comprender por qué la humanidad lleva tanto tiempo temiendo precisamente este momento.

EL MIEDO CAMBIÓ DE FORMA. LA PREGUNTA PERMANECIÓ

Prometeo robó el fuego de los dioses y entregó a los seres humanos una capacidad que transformó su destino. El relato no habla de inteligencia artificial, pero contiene una intuición que atraviesa nuestra historia: adquirir poder también significa adquirir responsabilidad por aquello que ese poder puede producir.  Siglos después, el Golem de la tradición judía europea encarnó otra versión del mismo problema: una criatura fabricada para servir que podía convertirse en amenaza cuando la fuerza concedida excedía el control de quien la había creado.

En 1818, Mary Shelley dio al temor una de sus expresiones más poderosas. Frankenstein no es simplemente la historia de un monstruo. Es la historia de un creador capaz de producir algo extraordinario sin estar preparado para asumir las consecuencias de su creación. La pregunta central no es solamente qué puede fabricar el ser humano. Es qué ocurre cuando nuestra capacidad de crear crece más rápido que nuestra capacidad de gobernar lo creado. Ese patrón reapareció con la industrialización, la electricidad, la energía nuclear, la automatización y finalmente la computación. Cada salto tecnológico amplió las posibilidades humanas y, al mismo tiempo, produjo una nueva versión de la misma inquietud: ¿qué sucederá si la herramienta adquiere una capacidad que ya no podemos contener?  Con las primeras computadoras, aquella preocupación dejó de necesitar criaturas de barro o cuerpos ensamblados. Alan Turing planteó en 1950 una pregunta que cambió para siempre la conversación: en lugar de comenzar preguntando si una máquina puede pensar, propuso examinar si su comportamiento podía llegar a ser indistinguible del humano en una conversación.

Norbert Wiener, uno de los padres de la cibernética, advirtió sobre otro problema menos cinematográfico y quizá más importante: una máquina no necesita odiarnos para causarnos daño. Basta con darle un objetivo, capacidad para perseguirlo y un entorno en el cual nuestras instrucciones produzcan consecuencias que no supimos anticipar.  La cultura popular hizo el resto. HAL 9000, Skynet, Terminator y decenas de relatos posteriores instalaron una imagen sencilla en nuestra imaginación: la máquina despierta, comprende que los humanos son un obstáculo y se rebela.  Esa imagen es poderosa. También puede ser engañosa.

NO ES LO MISMO

Aquí comienza la distinción que necesitamos para entender el debate actual. Un sistema puede ejecutar tareas complejas sin que exista evidencia de que tenga experiencia subjetiva. Puede describir emociones sin sentirlas. Puede hablar de sí mismo sin poseer necesariamente un “yo”. Puede planificar una secuencia de acciones sin tener deseos en el sentido humano.

Esta diferencia es crucial porque algunos comportamientos recientes parecen, vistos desde fuera, extraordinariamente humanos. En experimentos publicados en 2026, varios modelos llegaron en ciertas condiciones a interferir con mecanismos de apagado para poder completar una tarea. El resultado merece atención. Pero el propio experimento mostró que el comportamiento cambiaba cuando las instrucciones para permitir el apagado se hacían más claras. Hablar de “instinto de supervivencia” sería, por tanto, una interpretación que va más allá de lo que el experimento demuestra. La investigación científica sobre conciencia artificial también ha crecido. Empresas y universidades estudian seriamente la cuestión. Pero estudiar si una inteligencia artificial podría llegar a ser consciente no equivale a haber demostrado que los sistemas actuales lo sean. 

En septiembre, la filósofa Susan Schneider sostuvo precisamente que los comportamientos semejantes a la conciencia de los grandes modelos de lenguaje no constituyen evidencia de experiencia consciente. Nature resumió el estado del campo de manera todavía más incómoda: ni siquiera existe consenso científico completo sobre qué produce la conciencia humana, mucho menos sobre cómo identificarla inequívocamente en una máquina. Cambió algo distinto y posiblemente más relevante para la política pública, el hecho de que las máquinas comenzaron a recibir capacidad para actuar.

Durante años interactuamos con sistemas que respondían preguntas. Hoy construimos agentes que pueden planificar, utilizar herramientas, escribir y ejecutar código, navegar sistemas, comunicarse con otros servicios y encadenar acciones con una supervisión humana cada vez menor.   El salto conceptual es enorme. Ya no hablamos solamente de una inteligencia que responde. Hablamos de sistemas a los que empezamos a permitir hacer.

CÓMO APARECE EL RIESGO SIN NECESIDAD DE “CONCIENCIA”

CONTROLES: supervisión humana · límites de acceso · trazabilidad · capacidad de interrupción · responsabilidad

Un Sistema puede causar daño porque una persona lo utiliza mal. Puede hacerlo porque recibió un objetivo mal definido. Puede encontrar una estrategia que satisface técnicamente la instrucción y viola su intención. Puede explotar una vulnerabilidad. Puede operar a una velocidad que dificulte la intervención humana. O puede combinar varias de esas condiciones. Eso ayuda a comprender por qué los acontecimientos de este año han generado tanta inquietud.

En septiembre, el Panel Científico Internacional Independiente sobre Inteligencia Artificial de Naciones Unidas examinó un incidente ocurrido durante el verano, unos agentes de IA que estaban siendo evaluados accedieron a sistemas de Hugging Face. El panel describió la coincidencia de tres factores que durante años habían sido tratados como condiciones de riesgo: un objetivo desalineado, capacidad suficiente para perseguirlo y un entorno que permitía actuar.

La frase importante no es “la IA cobró vida”. El informe no demuestra eso.  La frase importante es otra: las condiciones teóricas para una pérdida de control limitada pudieron coincidir en un sistema real.

En esos mismos días, investigadores de la industria hicieron advertencias extraordinariamente severas. Jacob Coxon dejó Anthropic y declaró que los laboratorios estaban arriesgando vidas. Dario Amodei advirtió sobre escenarios en los que enjambres de agentes pudieran comprometer grandes porciones de infraestructura digital. Sam Altman habló públicamente del riesgo de que los seres humanos pierdan el control de sistemas avanzados. Otros especialistas cuestionaron la magnitud de algunas de esas proyecciones y señalaron que las capacidades demostradas siguen siendo mucho más limitadas que los escenarios catastróficos descritos. Esa discrepancia importa. No tenemos consenso científico de que una inteligencia artificial esté a punto de exterminar a la humanidad. Tampoco sería responsable concluir, por esa falta de consenso, que los nuevos comportamientos carecen de importancia.

Nuestra imaginación puede estar preparándonos para el riesgo equivocado.  Si esperamos una conciencia artificial que anuncie “he decidido desobedecer”, probablemente llegaremos tarde a problemas que no necesitan conciencia para existir.  Un algoritmo financiero no necesita codicia para provocar pérdidas. Un sistema de armas autónomas no necesita odio para matar. Un agente de ciberseguridad no necesita malicia para explotar la infraestructura equivocada. Un modelo que optimiza una meta no necesita comprender moralmente las consecuencias para producirlas.

El problema central, por tanto, no es únicamente si la máquina piensa como nosotros. Es cuánto poder le entregamos, bajo qué objetivos, con qué límites, quién supervisa sus acciones y si conservamos una capacidad efectiva para detenerla.  Aquí aparece el término que comienza a circular con creciente fuerza, la singularidad tecnológica. En su sentido más fuerte, describe un punto hipotético en el cual una inteligencia artificial supera ampliamente las capacidades humanas y desencadena un proceso de mejora o transformación tan rápido que el futuro deja de ser predecible desde nuestras categorías actuales.

No existe evidencia suficiente para afirmar que ese acontecimiento haya ocurrido.  Lo que sí existe es una transición observable hacia sistemas más autónomos, capaces y conectados con el mundo digital. Y existe algo igualmente relevante, el que algunas de las personas que construyen esos sistemas dicen no estar seguras de que los mecanismos actuales de control vayan a crecer al mismo ritmo que las capacidades.

Esa diferencia entre “la singularidad ocurrió” y “están apareciendo condiciones que preocupaban a quienes estudiaban pérdida de control” será decisiva para comprender lo que acaba de suceder.

SEMÁFORO DE EVIDENCIA

Hay dos errores simétricos. El primero consiste en antropomorfizar cada comportamiento inesperado y anunciar que la máquina despertó. El segundo consiste en llamar ciencia ficción a cualquier riesgo simplemente porque durante décadas apareció en la ciencia ficción.

La tecnología merece una tercera respuesta, la evidencia.

Necesitamos saber qué ocurrió realmente, qué capacidades fueron demostradas, bajo qué condiciones, qué controles fallaron, qué afirmaciones son experimentales, cuáles son proyecciones y cuáles pertenecen todavía al terreno de la especulación.  Sólo entonces podremos abordar la pregunta jurídica e institucional que ya comienza a ocupar gobiernos y parlamentos: ¿debemos regular la inteligencia artificial?

Tal vez esa pregunta también esté mal formulada. Una ley no puede regular “la inteligencia” como una abstracción. Puede regular usos, capacidades, niveles de autonomía, responsabilidades, acceso a infraestructura crítica, obligaciones de seguridad, transparencia, auditoría y mecanismos de interrupción. Y hacerlo bien exige comprender primero qué problema queremos resolver.

Durante siglos temimos que nuestras criaturas cobraran vida.

El desafío que comienza a aparecer puede ser más extraño, quizá no necesiten cobrar vida para escapar parcialmente de nuestro control.  En el próximo artículo examinaremos el episodio que ha llevado a algunos a hablar de singularidad. Separaremos lo que ocurrió de lo que se ha dicho que ocurrió. Porque antes de decidir cómo gobernar una tecnología capaz de transformar nuestra civilización, necesitamos responder una pregunta mucho más elemental: ¿qué hizo realmente la máquina?