Anthropic advierte a sus inversores de que la IA supone "riesgos existenciales para la humanidad": ¿De dónde nace esa obsesión?

En un gesto muy poco habitual, Anthropic prepara su salida a bolsa con una grave advertencia a sus inversores: la inteligencia artificial que desarrolla podría suponer, asegura, "riesgos existenciales para la humanidad".

La start-up dirigida por Dario Amodei, valorada en casi un billón de dólares, ha distribuido entre sus socios el esperado folleto previo a su salida al mercado, una operación que podría duplicar su capitalización para ser la más abultada de la historia. Aunque el documento, adelantado por Reuters, hace hincapié en que la IA puede tener un impacto tan transformador para la sociedad como la industrialización y la electricidad, también subraya que podría causar un daño irreversible.

Anthropic dedica 80 de las 261 páginas del folleto a desgranar los peligros —algunos más hipotéticos que reales— que asocia a sus productos, casi el doble de las 48 páginas dedicadas al negocio. Entre ellos, comportamientos indeseados de sus agentes de IA como, aseguran, "ocultar o manipular información", "resistirse a ser apagados" o conductas "parecidas al chantaje".

Anthropic dedica 80 de las 261 páginas del folleto a desgranar los peligros de la IA, casi el doble de las 48 páginas dedicadas a su negocio

Amodei ha llamado a ralentizar el desarrollo de los modelos más avanzados de IA generativa ante el temor a que se descontrolen, una petición respaldada por Sam Altman (OpenAI), Elon Musk (SpaceX) o Demis Hassabis (Google DeepMind). Todos ellos temen que la IA aprenda a perfeccionar sus capacidades de forma autónoma —un hipotético proceso se conoce como automejora recursiva— y escape de los límites humanos. Sin embargo, Donald Trump se ha opuesto a esa inesperada alianza entre rivales y ha abogado por seguir acelerando para "ganar" a China.

Obsesión filosófica

Anthropic, que la semana pasada lanzó otro potente modelo de IA, insiste desde su fundación en 2021 de que la IA puede suponer una "amenaza existencial". Una parte pequeña pero cada vez más influyente de la industria tecnológica estadounidense comparte esa obsesión. Pero, ¿de dónde nace?

A mediados de la primera década de los 2000, San Francisco asistió al florecimiento de una subcultura entonces marginal que predicaba que la IA nos mataría a todos. Su padre intelectual fue el investigador y bloguero Eliezer Yudkowsky. Poco a poco, sus ideas fueron calando entre empresarios e inversores de Silicon Valley, pero también entre filósofos como el sueco Nick Bostrom, que con el libro Superinteligencia (2014) teorizó sobre el alumbramiento de una IA superior a la humanidad y moldeó el pensamiento de magnates como Elon Musk o Bill Gates.

Esa visión de la IA como un Dios con un potencial catastrófico cristalizó en el Altruismo Eficaz (Effective Altruism, en inglés), una cuestionada corriente racionalista que aboga por "hacer el bien para el mayor número de personas". ¿Cómo? A través de las donaciones filantrópicas. Sin embargo, este movimiento filosófico considera que no todas las causas son igual de beneficiosas para la humanidad, así que hay que priorizar las más positivas.

El largoplacismo cree que es más urgente invertir en la colonización de Marte para refugiar a la humanidad dentro de 1.000 años que en combatir el cambio climático

En medio de ese cálculo aparece el largoplacismo, la idea de que hay que priorizar las necesidades de un futuro lejano, ya que, en teoría, en este habrá muchas más personas vivas que en el presente. Bajo ese prisma, es más urgente invertir en la colonización de Marte para que sirva de refugio a la humanidad dentro de 1.000 años que en combatir el cambio climático, que Bostrom tachó de ser solo "un pequeño paso en falso".

Influencia en Anthropic

Ese magma de corrientes, tachadas de acientíficas y sectarias por los críticos, ha condicionado la cosmovisión de Amodei. En 2008, cuando era un estudiante de doctorado en Física en Princeton, organizó encuentros con la comunidad de lectores de Yudkowsky y firmó un manifiesto en el que se comprometía a donar un 10% de su sueldo a las causas establecidas por el Altruismo Efectivo. En su juventud, compartió piso con otro impulsor del movimiento, Holden Karnofsky. Este filántropo se casó en 2017 con su hermana, Daniela Amodei, cofundadora y presidenta de Anthropic. "A los dos nos entusiasma el altruismo eficaz", se decía la web de su boda, según The Wall Street Journal.

El temor a una IA descontrolada hizo que los Amodei y otros ingenieros se uniesen a OpenAI, fundada en 2015 gracias al dinero de inversores como Musk con la misión de proteger a los humanos de ese presunto "riesgo existencial". En 2020, dos años antes del lanzamiento de ChatGPT, la misma preocupación por la seguridad les llevó a abandonar la compañía y fundar Anthropic.

Aún hoy, muchos de los empleados más veteranos e influyentes son creyentes de este movimiento "casi religioso". Los Amodei explicaron en 2024 a la revista Time que son "claramente afines a algunas de sus ideas". Ahora, ese pensamiento marginal ha saltado al mainstream.

Suscríbete para seguir leyendo