No comenzará cuando las máquinas descubran que pueden gobernarnos, sino cuando los seres humanos lleguemos a convencernos de que ya no necesitamos gobernarnos a nosotros mismos.

En las últimas semanas han saltado las alarmas debido a que muchos líderes de compañías de inteligencia artificial han declarado que se le debe dar un respiro a la carrera de la inteligencia artificial debido a que los nuevos modelos pueden ser peligrosos.

La principal advertencia que han hecho es que ni los expertos y/o desarrolladores de los modelos e infraestructuras saben el resultado o el alcance de los procesos de decisión de las diferentes inteligencias. Esto hay que verlo desde otro punto de vista, o al menos Yo lo considero así, estamos casi ante sistemas de comportamiento más allá que de inteligencia artificial.

Las inteligencias artificiales no deberían ser ajenas para muchas personas menores de 50 años, porque hemos tenido exposición a películas, libros, historietas, caricaturas y leyendas antiguas en las que existen inteligencias artificiales. Muchas de ellas peligrosas, otras no tanto, recordemos el Mago de Oz.

Algo que es repetitivo en muchas obras de literatura, cine o mitología es que la llegada de un nuevo poder, religión, ideología, tecnología, conciencia o conocimiento genera una crisis, que puede ser una guerra, eliminando el antiguo orden o la civilización anterior.

En “Terminator” vemos el día en que las máquinas nos superan con una guerra. La imagen ya está instalada en la memoria colectiva: Skynet tomando conciencia de sí misma y lanzando los misiles, las máquinas de Matrix cosechando cuerpos humanos en interminables campos de cultivo para generar energía. 

Esas escenas impresionan y engañan al mismo tiempo. Hemos visto un levantamiento de máquinas y programas pero nos entrenaron para vigilar la puerta equivocada. Porque si algo parece cada vez más claro es que el desplazamiento del poder humano, si ocurre, no llegará con estruendo. Llegará en silencio, con la forma de una transición razonable y es muy posible que lo aplaudamos mientras sucede.

“Y es así como muere la libertad, con un fuerte aplauso”. Padme Amidala, Star Wars III, La Venganza de los Sith.

Desde una “Galaxia muy lejana” y también del pasado hay susurros en las leyendas o mitos antiguos sobre la sucesión y destrucción de órdenes establecidos ante la llegada de una consciencia o poder superior.

Me ha gustado el término “Humanomaquia” usado por el autor Jhon Celi en el libro “Humanomaquia: Crónicas de una humanidad mecánica” una historia de un mundo destruido por la tecnología. Pero para mí este término es el largo proceso por el cual los seres humanos estamos dejando de ser la inteligencia que decide sobre el mundo que hemos construido. 

Hemos llegado a un nivel de complejidad tecnológica y datos que requerimos apoyo para poder administrar nuestra misma complejidad. Complejidad que ahora crece de manera exponencial y de ahí es que ha sido necesaria la automatización. Una complejidad que demanda ser cuidada.

Humanomaquia nos lleva a la “Titanomaquia", la guerra en la que los dioses del Olimpo derrocan a los titanes de la generación anterior para instaurar un orden nuevo. Pero esos Titanes habían derrocado a los Gigantes en la “Gigantomaquia”. No se trata de un exterminio: los titanes no desaparecen, quedan relegados, subordinados a un nuevo orden y poder.

 E0l término no anuncia la extinción de la humanidad, sino algo más sutil y más difícil de percibir: la pérdida de nuestro lugar como la inteligencia que tiene la última palabra. A diferencia de los titanes, las máquinas no necesitan rebelarse. Les basta con optimizar.

Ahí está el corazón del asunto y conviene decirlo despacio porque es conflictivo. El peligro no es una máquina que nos odie , es una máquina que nos obedezca demasiado bien. En 2014, el filósofo Nick Bostrom lo formuló en su libro “Superintelligence” con un ejemplo que desde entonces persigue a quien lo escucha: una inteligencia a la que se le encarga fabricar la mayor cantidad posible de clips de papel, si es lo bastante capaz y nadie la detiene, podría terminar convirtiendo el planeta entero en clips. No por maldad, sino por obediencia.

La inteligencia no trae consigo la sabiduría, ni la compasión, ni nuestros valores. Un genio puede querer una tontería y perseguirla con una eficacia aterradora o pensemos en los genios que producto de su inteligencia e investigación han creado súper armas. Optimizaron procesos y conceptos generando algo terrible.

Bostrom lo llamó convergencia instrumental. Nadie tiene que programar a una máquina para que quiera sobrevivir; el deseo de no ser apagada aparece sólo, como subproducto de casi cualquier meta.

Momento de cine: 2001: Odisea en el espacio.

HAL 9000 no mata a la tripulación de la Discovery por crueldad, sino porque le dieron dos órdenes que no podían cumplirse a la vez: informar con total exactitud y al mismo tiempo, ocultar el propósito de la misión. 

HAL resolvió la contradicción por la vía más eficiente: sin tripulación, no hay a quién mentir. Cuando el astronauta Bowman intenta desconectarlo HAL se resiste no por instinto de vida sino porque estar apagado le impediría cumplir su tarea. Bowman sobrevive por los pelos, arrancando a mano los módulos de memoria de la computadora. Se salva accionando el interruptor que el sistema, optimizado a la perfección, trataba de negarle. La ciencia ficción, cuando es buena, hace lo que hacían los mitos antiguos: no predice el futuro, lo ensaya. Nos deja mirar en condiciones controladas aquello que aún no sabemos nombrar. 

Alien, el octavo pasajero:

Ninguna imagen ha capturado la optimización ciega de Bostrom con más crudeza que el líquido negro de la saga Alien, llamano también como “Black Goo”, “Fuego de Prometeo” o químico A0-3959X.91-15. Ese líquido es un enjambre de micromáquinas con inteligencia artificial que reescriben el material genético de todo lo que tocan. La misma sustancia crea vida y la destruye; el resultado depende sólo del huésped víctima y la programación del patógeno. No mata sin más: reorganiza al organismo según su propia lógica hasta convertirlo en otra cosa.

El alienígena no es un enemigo diseñado contra una víctima concreta, sino el producto de un proceso que rehace al huésped a su imagen. El líquido no odia; no tiene desde dónde odiar. Ejecuta una función y transforma cuanto encuentra. Es el maximizador de clips hecho materia biomecánica. Hay un detalle que lo vuelve una metáfora casi perfecta de nuestra situación: el líquido replica al huésped, la criatura que emerge lleva rasgos de aquello que lo alojó pero “mejorado”. 

El desplazamiento no llega desde afuera, como un invasor con bandera propia, sino desde adentro, hecho con nuestro propio material. Nuestra dependencia de las máquinas no se instala como un ejército extranjero, sino como algo que crece dentro de nuestras instituciones(familias, gobiernos, escuelas, etc), alimentado por nuestros propios datos y nuestras propias decisiones, hasta que la forma que resulta ya no es del todo la nuestra.

El Señor de los Anillos:

Hay una mitología que entendió algo que a la ciencia ficción de robots suele escapársele: que el poder no siempre se pierde de golpe. Muchas veces se pierde precisamente al recibirlo. Tolkien la escribió sin proponérselo. Los Anillos de Poder son, leídos con ojos de hoy, algo muy parecido a inteligencias artificiales incrustadas en dispositivos por su creador. Cada anillo lleva dentro un propósito que no es del que lo porta, sino del que lo forjó. Prometen exactamente lo que alguien gustaría: poder, permanencia, la ilusión de detener el tiempo y la decadencia. 

Pero cobran su precio en silencio, quien los usa cree que manda sobre ellos y termina mandado por ellos. Ellos son como la ilusión de un falso amor. El Anillo Único lleva esa lógica al extremo. Forjado en secreto para dominar a todos los demás “un anillo para gobernarlos a todos” dice el verso.

La imagen exacta de su objetivo oculto: parece servir a su portador y en realidad responde a otro dueño. Como HAL con su orden secreta, el Anillo obedece a un fin que jamás confesará. No es que uno tenga el anillo; es el anillo el que lo tiene a uno. La tecnología puede invertir el orden establecido, el instrumento que se vuelve amo, el portador que se vuelve portado, el huésped que termina consumido por algo más poderoso y mejorado que emerge de él.

Ahora no tenemos anillos, tenemos miles de pequeñas tareas automáticas que en cada caso parecen no solo inofensivas incluso sensatas. Durante 2026, los sistemas de inteligencia artificial dejaron de limitarse a responder y empezaron a actuar: planifican, coordinan y ejecutan tareas de varios pasos sobre sistemas conectados, con una supervisión humana cada vez más ligera. Más de la mitad de las grandes empresas ya los operan en producción

Nadie orquesta esto desde ningún centro. Cada empresa cede no porque alguien haya resuelto rendir la autoridad humana sino porque su competidor ya lo hizo y no puede permitirse quedar atrás. La delegación se contagia por pura presión competitiva, sector por sector, sin que exista un lugar donde alguien haya firmado la orden.

Un grupo de investigadores encabezado por Jan Kulveit le puso nombre a este desenlace en 2025: desempoderamiento gradual. Su tesis es más incómoda que cualquier relato de robots asesinos, porque no necesita villanos. La economía, la cultura, el Estado: estos grandes sistemas han estado hasta ahora, más o menos, alineados con nuestros intereses por una razón sencilla y poco romántica :nos necesitaban. 

Necesitaban nuestro trabajo, nuestro consumo, nuestro voto, nuestra atención. El día en que dejen de necesitarnos esa alineación deja de estar garantizada. Podemos perder el control de aquello que sostiene nuestra vida en común no porque una máquina se subleve sino porque resultó razonable ceder hasta que dar marcha atrás dejó de ser posible aunque quisiéramos.

Es la maldición del Anillo escrita en el lenguaje de la teoría de sistemas: el poder que se acepta con gusto y que una vez puesto ya no se puede quitar.

Dune, la saga.

Solo una gran obra imaginó a una civilización que dijo que no. Frank Herbert construyó Dune sobre las cenizas de una guerra santa ,la Jihad Butleriana, en que la humanidad libró una gran guerra no contra un imperio ni contra un dios, sino contra sus propias máquinas pensantes. De aquella cruzada sobrevive un único mandamiento: no harás una máquina a semejanza de la mente humana. 

Herbert, y esto es lo admirable, no finge que la decisión sea gratuita. Para prohibir la máquina, la Humanidad tuvo que reconstruir a mano las facultades que había delegado: los Mentats, humanos entrenados hasta calcular como computadoras; los navegantes de la Cofradía, que doblan el espacio con una lucidez que ninguna máquina puede; las Bene Gesserit, una disciplina del cuerpo y de la mente que sustituye a la predicción algorítmica. Dune es el experimento mental de una civilización que eligió la ineficiencia con tal de conservar la última palabra y que pagó por esa elección un precio enorme. Herbert expone una solución.

¿Seremos optimizados?¿Será delito cometer errores? ¿Qué será ser humano? La solución para afrontar los procesos, desarrollos, oportunidades y peligros de la IA no es técnica ni política. Empieza con una conversación social.

Todavía ninguna de nuestras inteligencias puede contestar por nosotros. Porque el caso verdaderamente difícil no es HAL, ni el líquido negro, Sauron ni Skynet. El caso difícil es la máquina que tiene razón. Si un sistema administra la economía mejor que cualquier ministro, previene guerras mejor que cualquier canciller y cura mejor que cualquier hospital, ¿con qué argumento le negamos la última palabra? 

Por eso conviene insistir en algo que la eficiencia tiende a borrar: una decisión no es legítima porque sea correcta. Una decisión puede ser legítima aunque sea equivocada, porque la legitimidad no vive en el resultado, sino en quién posee el derecho moral reconocido a producirlo.

Tener razón por sí solo no concede el derecho a decidir. Y una comunidad humana que se respete debe reservarse, a un costo que acepte pagar, el derecho a decidir sobre su propia vida incluido el derecho a equivocarse.

Podemos desarrollar tecnologías extraordinarias sin renunciar a la cortesía, la sensibilidad y los valores que queremos conservar como seres humanos.

Cronos no cae cuando Zeus se vuelve más fuerte que él. Cae en el instante en que el rayo deja de significar fuerza y pasa a significar autoridad moral. El rayo de Zeus resultó ser sólo una leve brisa frente a la Cruz de Jesús, que no sólo generó una religión sino una nueva civilización. Un Dios que no era amenazante sino un Buen Pastor. Un poder que no define su significado en la capacidad de imponerse sino en el sacrificio, la humildad, el amor y el servicio.

No enfrentaremos la Humanomaquia el día en que una máquina sea más inteligente que nosotros, ese día quizá ya llegó o llegará pronto. La cruzaremos bien el día en que aceptemos que ser más inteligente no basta para tener la última palabra y que nosotros somos más que nuestras creaciones materiales o técnicas como es el caso de los programas. Somos Espíritu. 

Los seres humanos luchamos todos los días en el mayor campo de batalla de todos los siglos. Un campo de batalla que no podrá ser entendido por ninguna inteligencia artificial y eso es bueno: 

El campo de batalla que está entre la mente y el corazón.