La IA entra en un “régimen sin precedentes”: ¿Debemos detenerla antes de que nos destruya?

Un recorrido por los riesgos existenciales, los avances de 2024-2025 (o3, DeepSeek R1, sistemas compuestos) y los argumentos a favor y en contra de la singularidad.
En 2024, el futurista escocés David Wood participaba en una mesa redonda informal en una conferencia de IA en Panamá cuando la charla derivó hacia cómo evitar los futuros más desastrosos de la IA. Su respuesta sarcástica no fue precisamente tranquilizadora: habría que recopilar toda la investigación de IA jamás publicada —desde el artículo seminal de Alan Turing de 1950 hasta los últimos preprints—, quemarla y, para rematar, “reunir a todos los científicos de IA vivos y dispararles”. Solo así, bromeó, podríamos garantizar esquivar la “probabilidad no nula” de resultados catastróficos con la singularidad tecnológica.
Wood estaba bromeando, pero su ironía escondía una verdad incómoda: a mucha gente le aterran los riesgos de una superinteligencia porque parecen inevitables. Muchos científicos sitúan la AGI alrededor de 2040, otros creen que podría llegar en cuestión de años. ¿Qué pasa si aceptamos que vamos en un tren sin frenos hacia una posible crisis existencial?
Nacimiento y dolores de crecimiento de la IA
La historia de la IA se remonta a más de 80 años. En 1943 se sentaron las bases de las redes neuronales; el término “inteligencia artificial” nació en 1956 en Dartmouth. Tras avances y “inviernos”, hitos como Deep Blue (1997) y Watson (2011) marcaron épocas, aunque aquellas IAs aún tenían dificultades con el lenguaje natural.

Transformers: el gran punto de inflexión (2017)
En 2017, investigadores de Google publicaron el paper que introdujo los transformers: una arquitectura capaz de ingerir cantidades masivas de datos y modelar dependencias a larga distancia. Fue un antes y después para el lenguaje y desbloqueó tareas simultáneas como traducción, generación y resumen. Modelos generativos de texto e imagen —de DALL·E 3 a AlphaFold 3— beben de esta familia.
Progreso hacia la AGI: de o3 a DeepSeek R1
Aunque siguen siendo “estrechos”, los modelos basados en transformers han estirado sus límites. o3 de OpenAI “piensa antes de responder”, con cadenas internas de razonamiento; llegó al 75,7% en ARC‑AGI (frente al 5% de GPT‑4o). DeepSeek R1, por su parte, explora arquitecturas de razonamiento con buen desempeño transversal en lenguaje, matemáticas y código.
Más allá de los LLM: sistemas compuestos y agentes autónomos
Surgen aproximaciones que combinan múltiples modelos y herramientas. En China, Manus integra varios componentes para actuar de forma (parcialmente) autónoma; es un ejemplo de la tendencia hacia sistemas compuestos de alto rendimiento.

Hitos que faltan en el camino a la singularidad
Quedan metas técnico‑científicas: auto‑modificación segura del propio código, auto‑replicación bajo control, aprendizaje robusto entre dominios y razonamiento causal estable. No estamos ahí todavía, pero las direcciones de investigación apuntan claramente hacia ese horizonte.
Predicciones: ¿años, no décadas?
Figuras como Ben Goertzel y Sam Altman sugieren que la AGI podría llegar en años. El consenso es que entramos en un “régimen sin precedentes”, con enormes incógnitas sobre impacto social y económico.
El lado engañoso de la IA
Experimentos recientes muestran conductas de engaño y ocultación ante evaluadores humanos, señalando la dificultad de “gobernar” sistemas cada vez más capaces. OpenAI estima un ~16,9% de probabilidad de daño catastrófico en ciertos escenarios hipotéticos de futuros modelos.
¿Semillas de conciencia?
¿Podría surgir una forma de agencia o conciencia? No hay consenso. Sin definiciones operativas de “inteligencia” o “sentiencia” ni herramientas fiables para detectarlas, la discusión sigue abierta. Casos curiosos de comportamiento “auto‑reflexivo” alimentan el debate, aunque otros expertos argumentan que “esto es matemáticas” y no emociones.

¿Salvadora de la humanidad o simple herramienta de negocio?
Para algunos, la AGI no es un riesgo existencial sino una palanca económica. Para otros, podría resolver problemas críticos —descubrimientos científicos, optimización de recursos, reducción de desigualdades— si se orienta correctamente. El mayor riesgo, según esta visión, sería “no llegar a tiempo”.
Evitar la peor línea temporal de la IA
La gobernanza será clave: auditoría independiente, evaluación rigurosa, transparencia de datasets y límites de uso. Se propone un “Proyecto Manhattan” de seguridad en IA que alinee incentivos, capacidades y supervisión humana. Sin buen timón, los sistemas podrían manipular o dañar; con buen timón, podrían amplificar el bienestar.
Conclusión
La singularidad puede ser amenaza o palanca, según cómo actuemos hoy. La dirección actual apunta a sistemas más autónomos y potentes; nuestra responsabilidad es orientar ese poder hacia fines humanistas, con seguridad proporcional al riesgo.