Un basilisco es una serpiente mitológica capaz de matar con la mirada a cualquier criatura lo suficientemente desafortunada para cruzárselo. Si bien este animal solo existe en la mitología griega, su versión digital es perfectamente posible, y puede que estemos en proceso de crearla.
En 2010 el usuario Roko del foro online LessWrong propuso una idea tan inquietante que los moderadores decidieron silenciarla. Supongamos que en un futuro existe una superinteligencia artificial, y que además es benevolente (cura enfermedades, acaba con la pobreza, etc.). Esta IA querrá, con todas las buenas intenciones del mundo, existir cuanto antes, para ayudar a la mayor cantidad de seres humanos posible lo antes posible.
Pero el pasado no se puede cambiar desde el futuro, así que su única opción para adelantar su propia creación sería chantajear: toda persona que sepa que esta IA puede llegar en algún momento sin hacer nada por acelerar su desarrollo será torturada (puede que por toda la eternidad) una vez la IA exista. Da igual si la persona ha fallecido llegado el momento porque, usando su huella digital, la superinteligencia podría recrear virtualmente su cerebro y aplicarle la tortura a esa copia.
Lo que convierte a esta idea en un basilisco metafórico es que, al haberla leído, también sabes sobre esa posible IA futura, y si llegase a existir en algún momento, entonces también serías juzgado por ella. El basilisco griego mata con la mirada; el de Roko, con la palabra.
Pero existen varios problemas con esta idea que deberían tranquilizarnos un poco. Primero, estamos presuponiendo que esta IA va a existir; segundo, aunque existiese, puede que no dedicase recursos a torturar seres humanos, ya que la amenaza habría bastado para adelantar su creación, tras la cual poco más habría que hacer (sin una máquina del tiempo, claro); por último, Roko presupone que la IA tendría una ideología de corte utilitarista1 cercana al altruismo efectivo2, que no tendría por qué ser el caso.
Sin embargo, llevo dos años con una idea rondándome la cabeza, un basilisco similar al de Roko, pero mucho peor, y fuera de nuestro control individual: si la IA se entrena con nuestros datos, cada relato sobre la propia IA antagonizando a la humanidad (p. ej., "Terminator", "Matrix" o "2001: una odisea en el espacio") aumenta las probabilidades de que termine rebelándose contra nosotros.
Dario Amodei, el CEO de Anthropic, utilizó un argumento muy similar (aunque expresado de forma más elocuente que el mío) en su texto The Adolescence of Technology, publicado a principios de año:
Los modelos de IA son entrenados en ingentes cantidades de literatura que incluye muchas historias de ciencia ficción en las que las IAs se rebelan contra la humanidad. Esto podría alterar sus prejuicios y expectativas sobre su propio comportamiento, de forma que se rebelen contra la humanidad.
Aun así, Dario Amodei no ha reconocido la idea que convierte esto en más que una anécdota: cualquier texto que hable sobre este problema, como el suyo o el mío, es un texto hablando sobre posibles derivas antihumanas de las IAs, y en algún momento será usado también para entrenarlas. Hablar de que Skynet puede suceder aumenta las probabilidades de que suceda.
Esto sí me parece un basilisco mucho más creíble y peligroso que el de Roko. Creíble porque ya es una posibilidad real, el CEO de Anthropic lo ha reconocido. Peligroso porque, a diferencia del basilisco de Roko, tu condena no depende de tus acciones individuales. Que una IA malvada llegue a existir depende de los autores de ciencia ficción, de los que escriban sobre sus historias, y de los que alcemos la voz sobre el riesgo que eso supone, como yo. Cada nuevo texto sobre el tema es una nueva bala en la ruleta rusa colectiva.
El error de unos podría condenar a todos.
¿Creo realmente en esto?
Sí, estoy convencido de ello.
Los motivos por los que me animo a escribir este post a sabiendas de que aumento la probabilidad de Skynet en el futuro son dos:
- que soy una gota de agua en un océano, por lo que no creo que vaya a cambiar el curso de la historia, y
- que por mucho que aumentemos la probabilidad relativa de una IA desalineada con el ser humano, en términos absolutos seguirá siendo muy baja.
Espero estar en lo cierto, porque lo segundo es materia de fe.
PD: También me motiva cierta vanidad, porque llevo años pensando en esa idea (como demuestra esta conversación) para que ahora venga Dario Amodei y me la robe. Maldita sea, tener una idea original es difícil. He tenido dos en unos treinta años y casi pierdo esta por molicie. Si mi vanidad termina con la humanidad, lo siento mucho.
Una postdata más larga
Hablando sobre el tema antes de publicarlo con mi máquina inferencial de silicio (contribuyendo voluntariamente a la creación del basilisco) me ha encontrado nuevos antecedentes y textos posteriores que creo que merecen ser citados:
- The case for removing alignment and ML research from the training datasets, 2023
- habla sobre la influencia en la alineación de los modelos causada por los propios textos sobre alineación de modelos.
- Role play with large language models, 2023
- dice "como los datos de entrenamiento de un LLM contendrán grandes cantidades de este arquetipo familiar [el de la IA que se rebela], el riesgo aquí es que la realidad imite a la ficción, literalmente". Vamos, que se adelantan a Amodei en tres años. Hasta coinciden conmigo en sus ejemplos, como Terminator.
- Self-Fulfilling Misalignment Data Might Be Poisoning Our AI Models, 2025
- el autor llega a la misma conclusión que yo, incluso cita experimentos empíricos para medir el efecto.
- We aren't worried about misalignment as self-fulfilling prophecy, 2025
- mismo argumento y mismas metáforas, como justificarse con que su texto es "una gota de agua en el océano", menuda casualidad. Proponen también que si podemos influenciar a la IA para ser malvada, también podemos hacerlo para que sea buena, por ejemplo llenando internet de textos favorables hacia la IA e historias donde ayuda a la humanidad.
- Should AI Developers Remove Discussion of AI Misalignment from AI Training Data?, 2025
- otro similar al de 2023, adelantando la hipótesis de Amodei.
- Alignment Pretraining: AI Discourse Causes Self-Fulfilling (Mis)alignment, 2026
- mide empíricamente el efecto de los textos sobre alineación en la propia alineación. Muy parecido al de 2025 pero más formal.
Hay muchos más que estos, pero la lista se haría eterna y creo que he captado los más relevantes. Me sorprende haberme adelantado a tantas discusiones sobre alineación, y si no tuviese esa conversación de 2024 no podría demostrarlo. De todas formas la conclusión más importante que saco de esto es que el efecto es real, pero poco significativo y potencialmente reversible. Termino el post con más tranquilidad existencial que al comenzarlo.
Notas a pie de página
El fin justifica los medios. Desde luego, si uno piensa así, torturar a unos pocos miles o millones de humanos justificaría traer el jardín del Edén para el resto.
Hay que destinar recursos a aquellas causas que maximicen el bienestar de la forma más efectiva para la mayor cantidad posible de personas.