Este es un tema que me trae a mal traer: no conozco ninguna aplicación de inteligencia artificial que haga algo tan sencillo como leerse un montón de mis textos, aprender mi estilo, cuáles son las palabras que utilizo habitualmente, y que simplemente me funcione como corrector ortográfico verdaderamente inteligente: es decir, que lo único que haga, en lugar de pretender escribir por mí, sea corregir sobre la marcha los errores de teclado más habituales, las teclas que están juntas y se me escapan tantas veces, la inmensidad de veces que le doy a la maldita «ç» en el teclado español cuando voy a poner un acento, las veces que activo por error la tecla de mayúsculas (me pasaba tanto que la he desactivado… total, nunca escribo en mayúsculas, debe ser que me enfado poco).

Lo que quiero, por tanto, es una inteligencia artificial que convierta mi teclado en un dispositivo inteligente. Simplemente eso: un teclado que evite los errores tipográficos. Cuando escribes la cantidad de texto que escribo yo en un día, los errores tipográficos, las pulsaciones dadas entre teclas o mal dadas y las mayúsculas o acentos mal puestos no son un simple contratiempo: son un maldito martirio que interrumpe el flujo creativo. Y con la tecnología actual, hacer un teclado inteligente no es tan complicado.

Tengo claro lo que quiero, pero sobre todo, tengo claro lo que NO quiero. No quiero que escriba por mí, para nada. Que ni se le pase por la imaginación. Quiero que simplemente entienda lo que estoy escribiendo, y sustituya únicamente las teclas mal pulsadas. No quiero sugerencias de estilo: gracias, pero ya sé escribir: quiero que corrija únicamente errores inequívocos de concordancia, género o número, pero muy poco más. Quiero simplemente despreocuparme del teclado y escribir de corrido, tanto en el ordenador como en el móvil, tanto en inglés como en español. Sin más. Claramente, para mí y en este tema, menos es más.

Ya existen modelos capaces de escribir textos imitando el estilo de un autor, pero todavía no un corrector ortográfico que realmente conozca a su usuario y sea de verdad inteligente. No quiero que nadie escriba por mí: escribir es pensar, es aprender, es interiorizar, es elegir argumentos y palabras, y es desarrollar una voz y un estilo propios, no los que una máquina elige por ti. Lo que quiero es librarme de la parte puramente mecánica: las erratas y la revisión ortográfica. No quiero un corrector genérico (los tengo desactivados en todas partes porque me parecen malísimos y peligrosísimos), ni una herramienta que me proponga frases presuntamente «mejores». Quiero que pueda alimentarla con cuantos artículos quiera, como de hecho ya hice con mi Bautista, que me funciona de maravilla, y que entienda que hay palabras que uso mucho, aunque sean a lo mejor extranjerismos, o términos que prefiero en inglés, o que como soy ateo recalcitrante, casi siempre escribo «dios» con minúscula. O que utilizo algunas expresiones a propósito que son poco convencionales. Que sepa qué teclas están al lado de otras, y reconozca cuando mis dedos golpean dos teclas a la vez, o se equivocan.

Google ya ha desarrollado para Gboard un modelo espacial personalizado que adapta el teclado a la manera en que cada usuario pulsa las teclas y consigue mejoras medibles en precisión y velocidad. Pero está dirigido al teclado táctil, y para nada es capaz de construir un corrector completo para un autor específico. Apple utiliza desde iOS 17 un transformer cada vez que el usuario pulsa una tecla, capaz de efectuar correcciones a nivel de frase y aprender algunos patrones de escritura, pero es limitadísimo. Gboard guarda localmente palabras y datos aprendidos para personalizar sus predicciones. LanguageTool tiene un diccionario personal y Grammarly ya proporciona corrección ortográfica y gramatical en español, además de un perfil de voz que aprende del usuario. Pero no, no es eso: ninguno combina vocabulario, contexto, estilo, comportamiento mecánico y aprendizaje continuo de las correcciones aceptadas o rechazadas.

El sistema debería combinar un modelo lingüístico contextual, un corpus personal de textos, un modelo individual de errores de teclado y un historial de intervenciones aceptadas, rechazadas o deshechas. Google ya demostró que incorporar el léxico privado de cada usuario mejora claramente la corrección ortográfica en búsquedas personales. Un trabajo presentado en EACL 2024 muestra también cómo entrenar correctores reproduciendo errores humanos reales, teclas adyacentes y patrones característicos de distintos dominios. Para hacerlo bien de verdad, el sistema tendría que observar no sólo los artículos terminados, sino también las pulsaciones originales, los retrocesos y las correcciones posteriores. Eso revela prácticamente todo lo que una persona escribe. Por tanto, tendría que ejecutarse preferentemente en el dispositivo, con un perfil propiedad del usuario, exportable y transferible entre aplicaciones y ordenadores, lo que además me tranquilizaría en términos de privacidad.

El tema es que no me toque lo que para mí está bien. La sobrecorrección me despista, me hace perder el hilo y me cabrea soberanamente. No quiero que «embellezca» mis textos, ni que los «normalice», ni que sustituya palabras o modifique mis ritmos. Una investigación presentada en EMNLP 2025 confirma que los LLM muestran una tendencia a la sobrecorrección y a una menor precisión. El corrector ideal debería intervenir automáticamente sólo cuando estuviera prácticamente seguro, subrayar los casos dudosos y abstenerse en todos los demás.

Un prototipo bastante eficaz podría construirse perfectamente ya. Un corrector realmente personal, en español, integrado en todo el sistema y capaz de aprender tanto el lenguaje como los errores físicos de su usuario tardará algo más, pero no porque falten los modelos necesarios, sino porque nadie parece haber combinado todavía todas esas piezas en un producto coherente. Eliminar por completo la revisión seguirá siendo imposible en textos mínimamente delicados: no hay herramienta que pueda saber con certeza si una cifra, una fecha o un nombre incorrectos son una errata o son algo que el autor pretendía afirmar.

Estamos utilizando la inteligencia artificial para reemplazar la parte creativa que muchas personas queremos conservar, mientras seguimos haciendo manualmente las tareas más tediosas e incómodas. Steven Levy desarrolla muy bien esa frontera entre asistencia y sustitución en «AI drafting my stories? Over my dead body«. Además, la asistencia generativa, como no podía ser de otra manera, empuja el lenguaje hacia estilos más homogéneos, y eso me parece espantoso. La inteligencia artificial verdaderamente personal no debería escribir como nosotros, sino permitirnos escribir mejor sin dejar de ser nosotros.

La inteligencia artificial más sofisticada no es la que aprende a escribir por nosotros, sino la que aprende a corregirnos sin robarnos nuestro estilo y nuestra voz.

Llevo semanas intentando describir en esta serie lo que creo que será el futuro de la inteligencia artificial corporativa. Imaginemos que alguien, en algún lugar, desarrolla una solución que cumple con todos los requisitos que he ido esbozando aquí: ¿estaría tu empresa en condiciones de adoptarla y aprovechar todas las ventajas que hemos descrito? La respuesta, en la mayoría de los casos, sería no. Y la razón es sencilla: antes de poder optimizar una empresa con inteligencia artificial, la inteligencia artificial necesita entender qué quieres optimizar. La inteligencia artificial no puede optimizar bien lo que no puede representar.

La paradoja actual es que las empresas están dando acceso a modelos cada vez más sofisticados a sus herramientas y flujos de trabajo, pero esos modelos solo tienen una representación fragmentaria del mapa de la organización que intentan optimizar. Un LLM puede saber muchísimo sobre gestión, marketing o logística —al fin y al cabo, ha «leído» prácticamente todo lo que se ha escrito sobre ello—, pero no sabe nada de tus clientes concretos, tus dependencias específicas, tus procesos burocráticos, tus excepciones habituales, tu tolerancia al riesgo o las implicaciones en cadena de cambiar un proceso. Hay que separar la memoria simple de lo que constituye un verdadero modelo de datos: la memoria puede recuperar lo que ocurrió en un momento determinado, pero un modelo de datos puede representar formalmente identidades, relaciones, permisos, restricciones y estados válidos.

No, el contexto no es comprensión

Hoy las empresas intentan salvar esa brecha proporcionando todo el contexto que pueden. El problema es que el contexto responde a cosas como qué información debe considerar el modelo en un momento dado, pero no responde a algo tan relevante como cómo funciona la organización. Si en un artículo anterior pasamos de la memoria a los modelos, ahora hay que dar el siguiente paso: pasar del contexto a un modelo de la dinámica organizacional.

El primer paso es definir una ontología, que es lo mismo que dotar a la empresa de sustantivos, verbos y reglas. Palantir lleva años intentando convencer a muchas compañías de esto, no solo porque es la manera correcta de proceder, sino también porque para hacerlo envía a sus Forward Deployed Engineers: construir ontologías a mano es caro y laborioso, lo que explica tanto la importancia de los FDEs como la economía del modelo de negocio de Palantir. Más allá de que Palantir intente apropiarse del término «ontología», de lo que estamos hablando —¡o quizás no tan simple!— es de representar entidades del mundo real como objetos, sus relaciones como enlaces y las acciones de la empresa como verbos. Una capa operacional, o algo parecido a un gemelo digital de toda la organización: una arquitectura que empareja «sustantivos» con «verbos», donde fábricas, pedidos, trabajadores o clientes están en el primer grupo, y lanzar promociones, ajustar precios, cambiar distribuidores o ejecutar un flujo de trabajo están en el segundo.

De ontologías a modelos del mundo

Pero una ontología solo te dice qué hay en la empresa y qué puedes hacer con ello. El siguiente paso es un modelo del mundo, término asociado habitualmente a la robótica y la inteligencia artificial física, pero que me resulta igualmente útil en las arquitecturas de inteligencia artificial corporativa. Un modelo del mundo va más allá: intenta aprender la dinámica que subyace a esa representación, incluido lo que es probable que ocurra a continuación. En el campo de la investigación en inteligencia artificial, un modelo del mundo es una representación interna que captura la dinámica de un entorno con suficiente fidelidad como para predecir consecuencias y apoyar la planificación. Para usar un ejemplo de IBM: una cosa es describir por qué falla una máquina, y otra muy distinta es predecir qué pasará si no se realiza ahora mismo un determinado mantenimiento preventivo.

Una empresa necesita ser capaz de entender que, por ejemplo, obligar a los operadores de atención al cliente a reducir la duración de sus llamadas tiende a aumentar la tasa de abandono, no solo que las llamadas más cortas suponen menos costes. Para ser fiable, la toma de decisiones algorítmica necesita razonamiento causal, porque las decisiones siempre implican relaciones de causa y efecto y hay que alinearlas con objetivos del mundo real. Dave Wright, veterano Chief Innovation Officer de ServiceNow, ve un enorme potencial en la aplicación de gemelos digitales de empresas enteras para simular escenarios, efectos regulatorios y mucho más.

Las compañías deberían ser dueñas de su propio aprendizaje

Una vez que tienes el modelo de tu empresa, puedes hacerlo cada vez más valioso retroalimentándolo con acciones y resultados. Capturar decisiones y sus consecuencias permite enmarcar las decisiones futuras en el contexto de las elecciones anteriores, y puede alimentar el reentrenamiento o el ajuste fino. Así, con estos bucles, la empresa empieza a ser dueña de su propio aprendizaje, como dijo Satya Nadella.

No hay que asustarse: sé que las organizaciones son complejas, dinámicas y políticamente cargadas. Una representación así no tiene que ser perfecta, y el modelo, por supuesto, tendrá que ser parcial, abierto, revisable y gobernado. El objetivo no es construir un oráculo omnisciente, sino una representación que mejore con el tiempo. La idea es convertir la representación que una empresa tiene de sí misma en el activo duradero. Dos empresas pueden usar exactamente el mismo modelo frontera, la misma versión de Claude, ChatGPT, Qwen o cualquier otro LLM, pero ese modelo puede convertirse progresivamente en el motor que opera dentro de algo mucho más valioso: la representación propietaria que cada empresa ha construido de sí misma, con su propio contexto, sus reglas, su historia y su aprendizaje acumulado.

Hay que pasar de la idea de la empresa optimizable a una más interesante: la empresa comprensible, porque antes de que una empresa pueda ser optimizada, tiene que ser comprensible para la inteligencia que intenta optimizarla.

Pasamos décadas digitalizando empresas para que el software pudiera registrar lo que hacen. El siguiente paso será modelarlas para que la inteligencia artificial pueda entender qué significan sus acciones. Pronto, este tipo de herramientas empezarán a estar disponibles, y la pregunta será si tu empresa está preparada para adoptarlas.

Es hora de estarlo….

This article was previously published on Fast Company.

Una noticia de Bloomberg afirma que Sam Altman está considerando la posibilidad de pausar el desarrollo de la inteligencia artificial de forma conjunta con otros laboratorios, pero realmente, las cosas están muy lejos de estar ahí. La realidad no es que Altman quiera parar, sino que únicamente considera viable hacerlo si el resto de las compañías de inteligencia artificial frenan también, un acuerdo prácticamente imposible de lograr, de concretar y de controlar. El propio Altman afirma, de hecho, que algunos laboratorios no lo aceptarían, y reclama estándares comunes para todos. Esta circunstancia convierte esta aparente decisión ética en un problema de coordinación: nadie quiere seguir acelerando hacia algo potencialmente incontrolable, pero nadie puede permitirse una pausa mientras otros continúan.

La situación encaja casi literalmente en el conocido dilema del prisionero de la teoría de juegos. Para cada compañía, continuar el desarrollo a la mayor velocidad posible es la estrategia aparentemente racional. Pero si los demás paran, quien continúa obtiene mejores modelos, atrae más talento, más clientes, contratos públicos y posiblemente un efecto pionero capaz de dar lugar a una ventaja competitiva sostenible. Si las demás continúan, parar significa quedar fuera de la carrera, pero si todas apuestan por esa decisión racional, producen el peor resultado posible: una carrera en la que los controles y la seguridad llegan siempre tarde. RAND lo ha modelizado explícitamente: mientras el beneficio percibido de ser el primero supere al riesgo percibido, acelerar seguirá siendo el equilibrio, incluso aunque todos, individualmente, prefiriesen la opción de una carrera intrínsecamente más segura.

Anthropic es la demostración empírica perfecta: en febrero eliminó de sus políticas de seguridad la cláusula de no entrenar modelos sin suficientes mitigaciones, y su responsable lo explicó fríamente afirmando que una promesa unilateral no tenía sentido si los competidores seguían acelerando. En junio, la compañía afirmó que la pausa sería deseable, pero sólo si incluía a los demás laboratorios y si se podía verificar que nadie la aprovechaba para adelantarse. Están describiendo exactamente el incentivo para abandonar un posible acuerdo.

La carrera, además, funciona exactamente igual para compañías y para países en su conjunto: retrasar un lanzamiento para hacer más pruebas puede hacer que pierdas mercado frente a competidores menos prudentes que tú, y los gobiernos tienen esa misma presión si creen que otros países no adoptarán protecciones similares. Una carrera hacia abajo, pero en dos pisos: en uno, OpenAI contra Anthropic, Google, xAI o los laboratorios chinos. En el otro, los Estados Unidos, China, Reino Unido y Europa compitiendo por no depender tecnológicamente del vencedor. Simplemente demencial.

El caso del Reino Unido es especialmente ilustrativo: su gobierno acaba de rechazar imponer un kill switch obligatorio para modelos de inteligencia artificial potencialmente peligrosos, porque impedir el acceso dentro del país no evitaría que esos modelos fuesen desarrollados o utilizados en otros países. Conviene que distingamos una pausa en el desarrollo de un kill switch, pero en la práctica, estamos ante las mismas razones, las mismas premisas, y el mismo peligro. Al final, que el propio gobierno rechace forzar a las compañías a otorgar al mismo gobierno facultades de emergencia para ordenar la desconexión de sistemas o centros de datos bajo jurisdicción británica no deja de ser algo un poco contraintuitivo.

Los informes actuales afirman que los modelos actuales aún no tienen las capacidades necesarias para provocar una pérdida de control irreversible, y muchos expertos discrepan con la distribución de probabilidad de un evento así. Pero por otro lado, identifican progresos en autonomía, en capacidad de engaño, en consciencia situacional, en evasión de la supervisión y en la posibilidad de que obtengan autorreplicación, y admiten posibles escenarios que podrían llevar a un escenario de extinción. Básicamente, un riesgo incierto, y unas consecuencias potencialmente absolutas.

¿Cómo se sale de esto? La salida no está en pedir a los directivos y a las empresas que tengan mejores sentimientos, sino en cambiar los incentivos. Necesitamos urgentemente umbrales obligatorios basados en capacidades, organismos y sistemas de evaluación independientes, acceso de las autoridades a los modelos, estándares de notificación de incidentes, controles sobre los grandes entrenamientos y mecanismos internacionales de verificación, en la línea del Seoul Summit de 2024, pero no voluntarios, sino sujetos a reglas claras y a compromisos exigibles. Además, en muchos casos, una simple declaración o un reconocimiento posterior de un incidente de seguridad puede simplemente no servir para nada: necesitamos salvaguardas, supervisión en tiempo real y planes de respuesta. La verificación es susceptible de cambiar el juego al reducir la posibilidad de que cooperar con las restricciones o las pausas signifique convertirse en el más tonto de la carrera.

Sinceramente, esto parece el argumento de una película, pero con un toque muy inquietante: el malo no es una máquina superinteligente que decide eliminar a la raza humana, sino un sistema de incentivos perfectamente humano que literalmente obliga a personas, compañías y hasta gobiernos a seguir con una carrera que ellos mismos describen como potencialmente terminal. Todos quieren frenar, todos ven el precipicio, pero todos mantienen el pie en el acelerador porque temen que el de al lado no haga lo mismo. Y así, por una lógica individualmente racional y colectivamente demencial, seguimos acercándonos a un final que nadie desea, pero que nadie parece dispuesto a impedir por sí solo.

In English on Medium, «In the AI race, everyone knows the danger, but nobody is prepared to slow down»

El pasado 9 de septiembre, el Bulletin of the Atomic Scientists publicó mi artículo «Three reasons Europe learned to distrust Big Tech before America did«, dentro de un número especial dedicado a analizar qué salió mal con internet y qué podemos hacer para intentar arreglarlo.

El artículo nació de una propuesta de Daniel —Dan— Drollette Jr., editor ejecutivo del Bulletin, que me contactó después de leer algunos de mis textos en Medium. Su pregunta partía de una observación muy frecuente en Estados Unidos: ¿por qué los europeos parecen mucho más preocupados que los norteamericanos por la privacidad, la vigilancia y el poder de las grandes tecnológicas? ¿Es simplemente tecnofobia, burocracia o aversión al riesgo, como tantos comentaristas americanos afirman sin demasiado esfuerzo analítico, o hay razones históricas y estructurales bastante más profundas?

Publicar en el Bulletin of the Atomic Scientists es para mí un honor especialmente significativo. La revista fue fundada en diciembre de 1945 por científicos e ingenieros que habían participado en el Proyecto Manhattan y que, tras Hiroshima y Nagasaki, decidieron dedicar sus esfuerzos a advertir a la sociedad de los riesgos que la propia humanidad había creado. Albert Einstein impulsó su Board of Sponsors, J. Robert Oppenheimer fue su primer presidente y, a lo largo de su historia, cuarenta premios Nobel han formado parte de él. Es también la institución responsable del célebre Reloj del Juicio Final, quizás el símbolo más reconocible del riesgo existencial, y hoy extiende su análisis desde las armas nucleares hasta el cambio climático, la bioseguridad y las tecnologías disruptivas, incluyendo la inteligencia artificial.

Con alrededor de 600,000 lectores mensuales, entre los que hay científicos, responsables políticos, periodistas, profesores y estudiantes, el Bulletin ocupa un espacio muy poco frecuente: el que nace cuando el rigor científico se combina con la voluntad explícita de intervenir en el debate público. En este número comparto páginas, entre otros, con Vint Cerf y Cory Doctorow. Si eso no da una idea del nivel de la publicación, no sé qué puede darlo.

Mi respuesta a la pregunta de Drollette se articula en torno a tres razones. La primera es la memoria histórica: el nazismo, el régimen de Vichy y la Stasi demostraron a los europeos que los datos personales, cuando se concentran en manos de instituciones poderosas y sin control, pueden convertirse en un instrumento de persecución. La privacidad, desde esa perspectiva, no es una manía ni un capricho regulatorio: es una defensa aprendida a un coste espantosamente alto.

La segunda razón es económica y política: Europa no tiene equivalentes propios de Google, Meta, Amazon, Apple o Microsoft que proteger, y eso le permite ver con bastante más claridad la enorme asimetría que supone que empresas extranjeras extraigan datos y valor de cientos de millones de ciudadanos europeos sin someterse de verdad a ningún control democrático efectivo.

La tercera razón es filosófica: mientras Estados Unidos tiende a tratar los datos como una propiedad que podemos ceder mediante un contrato, Europa los entiende como una extensión de la persona, algo que no puede transferirse completamente con un clic en «I agree», especialmente cuando no existe ninguna alternativa real.

Europa no ha arreglado internet, y sus regulaciones están muy lejos de ser perfectas. Pero diagnosticó antes el problema: no se trata de desconfiar de la tecnología, sino del poder sin responsabilidad que la tecnología permite acumular. Europa tenía razón al preocuparse. La cuestión ahora es cuánto tardarán los demás en evolucionar y madurar lo suficiente como para entender por qué.

In English on Medium, «Europe doesn’t hate Big Tech, it just has a long memory»

Jacob Coxon, investigador que trabajó en el entrenamiento de modelos en OpenAI y en Anthropic, presenta su dimisión y afirma en X que ambas compañías están «avanzando a toda velocidad hacia una superinteligencia capaz de automejorarse». Dos personas de Anthropic, Evan Hubinger y Samuel Marks, lo refrendan públicamente asignando una probabilidad de un 10% a que la inteligencia artificial acabe con la humanidad en los próximos diez años, y afirmando que internamente, los investigadores más senior están aún más preocupados.

Cuando Geoffrey Hinton abandonó Google en 2023 tras manifestarse abiertamente sobre los peligros de la tecnología, muchos lo ridiculizaron o, como fue mi caso, afirmamos que, si bien podía ser así, eso era algo imposible de detener dada la configuración de intereses y las dinámicas competitivas de la propia humanidad. En diciembre de 2024, Hinton revisó sus predicciones y otorgó entre un 10% y un 20% a la posibilidad de que la inteligencia artificial provocase la extinción de la humanidad en treinta años. Ahora no es sólo Hinton: los investigadores y las personas que trabajan directamente en la mejora de los últimos modelos de inteligencia artificial están enormemente preocupados al ver sus capacidades, la posibilidad de que se vuelvan más inteligentes que los humanos, y que terminen por tomar decisiones autónomas.

Ya hemos visto lo que la inteligencia artificial es capaz de hacer cuando se descuidan unas mínimas precauciones, y hemos visto también lo que NO ha pasado después: ningún tipo de freno, de regulación o de imposición a esas compañías irresponsables que pudiese frenar de alguna manera el peligro. Simplemente NA-DA (no vaya a ser que pongamos en peligro el avance de la tecnología, o la ventaja competitiva del país, o la seguridad nacional, o qué sé yo).

Cuando la inteligencia artificial pasa a construirse a sí misma, superamos los puntos de control que teníamos como humanos, y pasamos a ser simples espectadores con un patético enchufe en la mano, pensando que «basta con desenchufarlo». Anthropic afirma que esto no ha pasado todavía y que no es inevitable, pero también avisa de que podría llegar mucho antes de que las instituciones estén preparadas para ello. Repetimos: una vez que la inteligencia artificial es capaz de mejorar recursivamente los sistemas que llevan a cabo la investigación para la inteligencia artificial, el progreso de sus capacidades deja de tener lugar a una velocidad controlable por los humanos o por sus políticas.

No es cuestión de Skynets ni de Terminators que vienen del futuro. Las hipótesis creíbles son, en realidad, mucho más prosaicas: ciberataques automatizados contra infraestructuras críticas, asistencia en el desarrollo de armas biológicas, manipulación estratégica de los humanos, adquisición y replicación de recursos, o simplemente, una pérdida de poder paulatina de los seres humanos. El concepto crucial no es el odio ni la conciencia, sino la simple convergencia instrumental: un sistema lo suficientemente capaz puede descubrir que obtener acceso, ocultar sus intenciones o evitar su desactivación le ayuda a cumplir cualquier objetivo que se le haya asignado. Los estudios de laboratorio ya indican que los modelos más capaces pueden idear estrategias más sofisticadas y reconocer cuándo están siendo evaluados, aunque aún no sepamos cómo trasladar esos experimentos a verdaderos riesgos en el mundo real. Pero están ya ahí.

¿Hay forma de parar esto? No como imposibilidad física, pero sí como trampa de coordinación o dilema del prisionero: como dije en su momento, nadie va a hacerlo. Anthropic puede pensar que ralentizar o pausar el desarrollo sería racional, pero teme a OpenAI, y OpenAI a su vez tiene miedo de Anthropic, de Google y de China. Al tiempo, los gobiernos temen perder liderazgo económico y militar, y consecuentemente, cada participante puede pensar que el resultado es potencialmente muy peligroso, pero considerar una parada unilateral como un suicidio.

Sí, tenemos mecanismos de actuación concretos: monitorización de la actividad de las compañías, políticas agresivas de licenciamiento, reporte de incidentes obligatorio, evaluaciones independientes, límites a la capacidad de los modelos o verificación internacional de las pausas. Hay iniciativas en los Estados Unidos, como la FRONTIER Act proposal o la propuesta más radical de Bernie Sanders y Greg Casar para pausar la inteligencia artificial avanzada y prohibir la superinteligencia, o en el Reino Unido con una propuesta de ley para prohibir la superinteligencia artificial aún pendiente de tramitación parlamentaria, pero la conclusión parece clara: aunque tengamos frenos, no tenemos ningún conductor dispuesto a pisarlos globalmente. Y mientras tanto, el coche está acelerando.

Buena suerte.

In English on Medium, «Was anybody listening when Geoffrey Hinton warned us about AI? Seems not»

El pasado día 1 de septiembre, el Departamento de Justicia de los Estados Unidos presentó ante el tribunal un escrito en apoyo de la posición de OpenAI en la defensa de la demanda que le ha sido planteada por parte de medios como el New York Times y otros, en la que afirma que el entrenamiento de modelos de inteligencia artificial es, según ellos, una actividad «altamente transformadora», y que por tanto, justifica el robo de propiedad intelectual de terceros porque esa actividad plantea «grandes beneficios para el público que compensan el posible daño a los titulares de esos derechos», porque restringir esa actividad plantearía «un daño a la innovación norteamericana» y «un problema para la seguridad nacional».

Una semana después, la NSA, el FBI y CISA han publicado otra nota en la que describen «la destilación sistemática de modelos de compañías estadounidenses por parte de compañías chinas» como «una amenaza para la economía y la seguridad nacional» que reduce los costes de desarrollo para esas compañías chinas y debilita el liderazgo tecnológico estadounidense.

Sinceramente, es la mayor colección de asquerosa y maloliente basura que he visto en muchas décadas. La evidente conclusión de estas dos notas es que la apropiación sin permiso de ningún tipo de la propiedad de terceros es socialmente beneficiosa cuando la hacen compañías estadounidenses y sirve para mejorar un modelo estadounidense, pero es terrible, inmoral y profundamente maliciosa cuando se hace para mejorar un modelo chino. Alucinante no, directamente alucinógeno. Como dice el refrán español, «quien roba a un ladrón, tiene cien años de perdón».

Pongamos las cosas en su sitio: en primer lugar, la destilación de modelos como tal no es ninguna invención siniestra de los chinos: es una técnica de machine learning perfectamente establecida y formalizada como tal desde el paper que en 2015 publicaron Hinton, Vinyals y Dean, «Distilling the knowledge in a neural network«. La propia nota federal admite, porque no queda otra, que la destilación es «una técnica legítima y útil». Pero para hacer la cosa todavía más interesante, la propia OpenAI trata la destilación como un producto que vende, y explica cómo las salidas producidas por un modelo potente pueden ser utilizadas para entrenar un modelo más barato. Por tanto, el «problema» no es con la destilación en sí misma, sino en quién destila, qué destila, a qué escala y con permiso de quién. Aparentemente, cuando OpenAI destila un modelo construido con información robada a todos nosotros, es innovación, pero cuando lo hace DeepSeek, es una cibercampaña maléfica que debe ser detenida a toda costa. Lo dicho: pura y vergonzante basura.

Para ser exactos con las alegaciones de las agencias de seguridad estadounidenses, lo que hacen exactamente es nombrar a una serie de compañías chinas (DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun y Z.AI), y afirmar que han obtenido miles de millones de tokens a través de millones de peticiones y que, usando cuentas falsas, suscripciones compartidas, proxies y «estaciones de transferencia» han podido, supuestamente, saltarse las restricciones geográficas. De hecho, utilizan términos como “malicioso”, “acceso no autorizado”, “evasión” o “infracción de los términos de servicio” para describir esas prácticas. CyberScoop llega a calificarlas como “ilegales”, aunque esa palabra no aparece en la nota federal. Pero claro, hay un problema: que «violar los términos de servicio de OpenAI» no es para nada un sinónimo de «robar propiedad intelectual de la humanidad en su conjunto».

La propia OpenAI dijo al Parlamento británico que «habría sido imposible entrenar los modelos actuales de inteligencia artificial sin utilizar materiales con propiedad intelectual«. Anthropic, por su parte, descargó más de siete millones de libros de fuentes irregulares como sitios de torrents, lo que llevó al juez William Alsup a afirmar que por muy transformadora que pueda ser la actividad, todo tiene un límite, que obtener los libros de esas fuentes supone una infracción de los derechos de autor, sí o sí, lo que terminó dando lugar a un acuerdo de 1,500 millones de dólares, posteriormente aprobado por el tribunal, para compensar a los titulares de los derechos de más de 482,000 libros. Meta está en el mismo caso: Zuckerberg aprobó el uso de LibGen, a pesar de saber perfectamente de dónde venían esos libros. Las compañías discográficas, en su demanda contra Suno, también han alegado infracciones y copias masivas de obras sometidas a derechos de autor. Es decir, existe ya una combinación abrumadora de hechos probados, acuerdos judiciales, documentos internos y alegaciones fundadas que muestra hasta qué punto esta industria se construyó mediante la ingestión masiva de libros, canciones, noticias, imágenes y textos sin permiso ni compensación. Y la voracidad extractiva, lejos de haber desaparecido, continúa: lo siguen haciendo, sistemáticamente, día sí y día también.

¿Qué dice al respecto la Oficina del Copyright de los Estados Unidos? Que está muy claro, y que si bien algunos usos pueden ser considerados altamente transformadores, el uso comercial de enormes colecciones para producir contenidos potencialmente competitivos, cuando encima esos contenidos han sido obtenidos de forma abiertamente ilegal, excede claramente los límites de cualquier uso legítimo. La conducta de las compañías norteamericanas, por tanto, sigue estando legalmente en disputa y, en algunos casos, ha violado claramente la ley.

El argumento filosófico que se me plantea de manera creo que absolutamente lógica es el de la reciprocidad, no el de que «dos errores hacen un acierto»: que sí, que a lo mejor las compañías chinas han utilizado cuentas falsas y han violado términos de servicio, pero eso en absoluto consigue de ninguna manera restaurar la moralidad de las compañías estadounidenses, se pongan como se pongan sus autoridades. Si robar las creaciones de millones de autores sin permiso alguno es supuestamente legítimo porque es una actividad transformadora y supuestamente beneficiosa para la humanidad (cosa que ya veremos), entonces usar las salidas de un modelo para entrenar a otro no puede, de ninguna manera, ser un «sacrilegio» simplemente porque quienes lo hacen son chinos. Es simplemente absurdo. O al revés: si lo que se discute es que lo han hecho sin permiso y sin compensación, entonces las compañías estadounidenses tendrán que compensar a todos aquellos cuya información fue utilizada sin contraprestación ni permiso alguno.

No sé si el hecho de que las compañías de inteligencia artificial hayan robado sin permiso alguno la información de la humanidad justifica o no que los modelos que han creado deban pertenecer directamente «a todos». Suena retóricamente atractivo y yo soy de los que adorarían una solución así, pero ni soy legalmente competente como para intentar justificarla, ni sería jamás aprobado por quienes aprueban estas cosas. Desarrollar modelos no sólo implica obtener información, sino también mucha ingeniería, curación de contenidos, computación, evaluación e implementación, y todas esas cosas cuestan dinero y es legítimo, si se quiere, hacerlo bajo un modelo propietario. Pero lo que sí sé es que compañías que han legitimado socializar el coste de su componente principal y esencial, la información, no pueden de ninguna manera reclamar un supuesto derecho moral ilimitado a privatizar cada una de las capacidades resultantes de sus modelos. Eso no funciona ni puede funcionar así. Si declararon la totalidad de la cultura humana como un procomún accesible por ellos cuando necesitaron materia prima para sus modelos, no pueden ahora «redescubrir» la propiedad intelectual en el momento en que alguien trata sus modelos como una materia prima. Sea chino, europeo, estadounidense o de donde sea.

In English on Medium, «Why is it that when US companies steal it’s innovation, but when China does, it’s theft?»

Una comparativa de rendimiento de navegadores llevada a cabo por Brave demuestra que la carga de páginas en su navegador es en torno a un 20% más rápida que en Chrome, Firefox o Edge, pero además, lo es gracias a un factor interesante: si bien tanto Brave como Chrome muestran el contenido principal visible (LCP, o Largest Contentful Paint) de una página en 2.4 segundos, la ventaja de Brave se produce posteriormente, debido a que bloquea la carga de la inmensa mayoría del contenido de publicidad, analíticas y tracking. La parte de la historia que me interesa no es tanto si Brave es o no más rápido en un estudio hecho por la propia Brave, sino el ser conscientes de todo lo que las páginas web cargan en nuestros ordenadores, los recursos que les obligan a consumir y por qué no nos beneficia en absoluto.

Intentemos cuantificar: Brave viene a utilizar un 33% de CPU frente a un 47% de Chrome, un 53% de Edge y un 78% de Firefox; alrededor de 1.2GB de memoria frente a los entre 1.62GB y 1.75GB del resto de navegadores; un 10% menos de energía como media; y un 39% menos de datos salientes. Tengamos en cuenta que tanto Brave, Chrome y Edge comparten el mismo motor, Chromium, y que por tanto, las diferencias de rendimiento no se deben a tener un motor de renderizado más rápido, sino simplemente al hecho de hacer menos cosas innecesarias que el usuario no ha solicitado.

¿Cómo de grande se ha vuelto esa maquinaria de espionaje que consume los recursos de nuestros ordenadores? Según el 2025 HTTP Archive Web Almanac, en un estudio que tuvo en consideración 16.2 millones de sitios web, el 90% de ellos contenían código de terceras partes. La página media genera 83 peticiones de terceras partes, una cifra que se eleva a las 129 si consideramos únicamente las mil páginas más populares. ¿Qué pretenden todas esas peticiones? Una proporción muy significativa pretende hacer analíticas e insertar publicidad hiper-personalizada. En la práctica, bloquear los anuncios visibles es casi anecdótico si lo comparamos con la cantidad de scripts, subastas instantáneas, trackers, peticiones de consentimiento y cadenas de inclusión que insertan las mismas compañías y otras.

Un estudio muy extenso presentado en la ACM Web Conference 2026 que incluía datos de 724,994 visitas a 5,000 páginas web en cuatro ordenadores reales, y probó que add-ons como uBlock Origin eran capaces de reducir el consumo de energía en el lado del cliente en un 9.62%, a pesar de generar su propio consumo de recursos. Esa reducción alcanzó un 17.67% en páginas de noticias, que dependen generalmente de la publicidad. Incluso hacer clic en «Aceptar todo» en un aviso de cookies incrementa el consumo medio de energía en un 2.57%, y genera 8.5 peticiones adicionales. Repitamos para ver si captamos la lógica, o mejor, la ausencia de ella: simplemente consentir que te espíen tiene una consecuencia física medible que tienes que pagar tú.

Los usuarios, por tanto, pagamos por la vigilancia dos veces: primero, con nuestros datos personales y la pérdida de privacidad que ello conlleva, pero posteriormente, con ancho de banda, ciclos de procesador, memoria, ciclos de carga y descarga de la batería y electricidad. La protección de la privacidad no es simplemente un add-on añadido a un navegador: en muchos casos, de lo que hablamos es de un incremento significativo de eficiencia y de sostenibilidad. Y considerando el tiempo que pasamos delante de la pantalla de un navegador, creo que eso es algo que definitivamente deberíamos tener muy en cuenta.

In English on Medium, «The hidden cost of browsers that spy on us»

Tras varios años observando y estudiando implementaciones de inteligencia artificial corporativas, sigo sintiendo curiosidad por algo: la mayoría comienza con un debate sobre el modelo a utilizar. ¿Deberíamos optar por Copilot, considerando que Microsoft está tan arraigado en nuestra empresa que se ha convertido en una especie de norma? ¿Deberíamos probar GPT, ya que fueron pioneros? ¿O Gemini, que cuenta con todo el respaldo de Google? ¿O Claude, que ahora parece tan de moda? ¿Qué tal Grok? O, Dios no lo quiera, como está ocurriendo en muchas empresas estadounidenses, ¿nos atrevemos a explorar modelos chinos como Deepseek, Qwen, etc.?

Pero ¿y si esta decisión no fuera tan crucial? Al fin y al cabo, cuando consideramos una implementación corporativa, el modelo se parece un poco al microprocesador de un ordenador: importante, sí. ¿Cuanto más grande, mejor? Quizás. Pero sólo una pieza, y no necesariamente la más importante o estratégica.

Ya está pasando

De hecho, lo que ya estamos presenciando en el panorama empresarial estadounidense es precisamente eso: la elección de un modelo se está convirtiendo en una cuestión de optimización económica, en lugar de un compromiso ideológico. Las arquitecturas están cambiando radicalmente respecto al modelo inicial de «esta empresa funciona con GPT», y existen muchas razones para ello (además del coste por token, claro).

En primer lugar, una empresa no necesita el mismo modelo potente y de vanguardia para cada una de sus consultas; hacerlo es un exceso innecesario y puede resultar extremadamente caro. Las consultas sencillas pueden dirigirse a modelos más económicos cuando un modelo suficientemente bueno es suficiente, mientras que otras preguntas o tareas más complejas pueden escalarse a los modelos más sofisticados. Los orquestadores como el proyecto RouteLLM de Berkeley apuntan precisamente a esto y pueden ahorrar mucho dinero manteniendo la integridad de las respuestas y una estructura de costes razonable.

Las empresas chinas de inteligencia artificial lo saben bien. Deepseek es un caso muy interesante de una empresa que se ha posicionado claramente para sacar provecho de esto: una economía de tokens extremadamente competitiva, para reforzar la idea de que, incluso para una empresa estadounidense, los modelos pueden ser extremadamente sustituibles, casi convertidos en productos básicos. Y cuando los modelos se vuelven fáciles de sustituir en la capa de API, el valor comienza a migrar naturalmente a capas superiores de la arquitectura. El objetivo de poner «el mejor modelo disponible» al alcance de los empleados es cada vez menos importante, y conceptos como el temido tokenmax se consideran ahora completamente absurdos. Y la empresa que parece interpretar mejor esta tendencia no es otra que Microsoft, el rey indiscutible de la informática corporativa (como se decía de IBM hace mucho tiempo: «¡ningún CIO ni CTO ha sido despedido por comprar Microsoft!»). La compañía posiciona explícitamente los modelos de lenguaje pequeños como la mejor opción para tareas o entornos específicos de dominio y altamente especializados, donde pueden ofrecer un rendimiento sólido con recursos computacionales no demasiado exigentes y un alto control sobre los datos. También han desarrollado modelos adaptados a sectores específicos utilizando su familia Phi, no intentando superar a los modelos grandes con modelos pequeños, sino demostrando que el tamaño del modelo debe ser una función de la complejidad de la tarea, en lugar de una cuestión de prestigio corporativo.

Inteligencia en un enfoque multicapa

Intentemos, entonces, abordar la inteligencia artificial corporativa como algo que comienza con la inteligencia general, continúa con el contexto institucional y termina con el aprendizaje institucional. Intentar producir lo primero parece no solo imposible, sino también completamente antieconómico y fuera del alcance de cualquiera que no sea una empresa de inteligencia artificial. Pero la segunda capa se compone de elementos como los objetos, documentos, reglas, ontología, relaciones e historial operativo de la empresa. Y la tercera es aún más interesante, ya que se basa en lo que realmente funcionó: consecuencias, evaluaciones y retroalimentación, los llamados bucles. Es en estas dos últimas capas, no en la primera, donde las empresas pueden obtener y potenciar una verdadera diferenciación y optimización.

Anthropic menciona específicamente las mejoras que las empresas pueden lograr al centrarse en la ingeniería del contexto, en la gestión del entorno, desde las herramientas hasta las instrucciones, la información externa o el historial, en lugar de obsesionarse con mejorar la consigna o el modelo.

La esencia de una ventaja competitiva

Imaginemos mi caso: soy una gran universidad. Mis profesores e incluso mis estudiantes, cuidadosamente seleccionados, generan una cantidad increíble de documentos en cada curso, muchos de ellos con la evaluación correspondiente asociada como retroalimentación, ya sean calificaciones, revisiones por pares, etc. ¿No podría esto convertirse en una parte significativa de un corpus específico con el que tomar decisiones estratégicas, e incluso derivar de él una ventaja competitiva que nos diferencie de otras universidades? Esta idea va de la mano con lo que dijo Satya Nadella sobre que las empresas controlen sus propios ciclos de aprendizaje, en lugar de simplemente comprar un gran y costoso programa de LLM y usarlo.

Si lo analizamos de esta manera, el verdadero activo no es el modelo, sino el ciclo. Imaginemos dos universidades que utilizan el mismo modelo: ¿se convertirán en instituciones igualmente inteligentes? ¿Qué ocurre si una de ellas aporta décadas de decisiones acumuladas, experiencia docente, experimentación pedagógica, resultados estudiantiles, cultura organizacional y retroalimentación? Al capitalizar todos estos activos, se puede partir del mismo modelo estándar, pero probablemente se obtendrá una inteligencia institucional totalmente diferente. Si no se logra esto, en esencia, se estará alquilando el mismo cerebro. Pero una vez que se construye esa arquitectura, el programa LLM se convierte simplemente en un componente más dentro de ella. Y uno reemplazable.

Alquilar la inteligencia, pero ser dueño del aprendizaje.

La pregunta, por lo tanto, no es si su empresa tiene acceso al modelo más reciente, sino más bien si, al cambiar su modelo mañana, ¿cuánto de su aprendizaje institucional se conservará y cuánto se perderá? Si cree que perderá gran parte de esa valiosa información, entonces la empresa que le vendió el modelo posee demasiada inteligencia institucional.
En esencia, se trata de soberanía institucional. ¿Cuál es el valor de eso?

This article was previously published on Fast Company

Es una de esas noticias que te deja completamente ojiplático: la Alliance for Automotive Innovation, que afirma estar a nivel de competir con cualquiera, envía una carta al Congreso de los Estados Unidos pidiendo que convierta en ilegales los vehículos conectados, el software y hardware chinos o con participación china, con multas mínimas de 1,5 millones de dólares por infracción. Según la redacción actual del proyecto de ley, incluso compañías como Mercedes-Benz podrían resultar afectadas.

¿Qué pretenden prohibir exactamente? La Connected Vehicle Security Act, presentada por el republicano John Moolenaar y la demócrata Debbie Dingell, plantearía la prohibición desde 2027 de la importación, fabricación y venta de vehículos conectados originados o controlados por China, Rusia, Irán o Corea del Norte, además de cualquier software asociado. El hardware quedaría prohibido desde 2030. Dado que la inmensa mayoría de los vehículos actuales son vehículos conectados, estaríamos hablando de una prohibición completa de los fabricantes chinos, que además, no es completamente nueva: en 2025 ya se aprobaron restricciones escalonadas similares, que con esta ley se convertirían en permanentes y se reduciría la capacidad de futuras administraciones para hacerlas más flexibles.

Obviamente, Estados Unidos no es el mundo: posiblemente puedan impedir que esos automóviles circulen dentro de sus fronteras (y no del todo, porque ya pueden verse en ciudades fronterizas como El Paso, conducidos por residentes mexicanos o ciudadanos con doble nacionalidad), pero no tienen nada que hacer para evitar que esas compañías chinas puedan acumular escala, datos, experiencia y reconocimiento en el resto del mundo. Según la Agencia Internacional de la Energía, los fabricantes chinos suministraron el 60% de los vehículos eléctricos del mundo y produjeron casi el 75%. Duplicaron sus exportaciones hasta los 2.5 millones de unidades. En China, el 55% de los vehículos vendidos fueron eléctricos, lo que contrasta fuertemente con el escaso 10% de los Estados Unidos. Y obviamente, aislarte artificialmente de esa competencia no detiene esa transición: lo que hace es convertir a los Estados Unidos en una excepción cada vez menos relevante.

Un proteccionismo como ese entrega a China los mercados de crecimiento más fuerte: en 2025, la venta de eléctricos creció un 75% en América Latina y más de un 50% en el Sudeste asiático, donde más de la mitad de los vehículos eléctricos vendidos fueron de marcas chinas. La capacidad de China de ofrecer vehículos a precios asequibles es imbatible: en Thailandia sus precios ya están a la par con los vehículos de combustión. Y cada territorio conquistado ofrece a marcas como BYD, Geely, Chery, SAIC o XPeng más volumen, más proveedores, más red de talleres, más datos y más capacidad para diluir y amortizar sus inversiones en investigación y desarrollo. Mientras, las compañías americanas, con su mercado protegido, pierden esas economías de escala y convierten a Detroit en un negocio prácticamente doméstico. Los Estados Unidos del Pasado.

¿Están subsidiados los vehículos chinos? Sí, mucho. Sin duda. CSIS estima unos 230,900 millones de dólares entre 2009 y 2023. Esos subsidios funcionaron especialmente bien a la hora de construir el ecosistema, y ahora, ese ecosistema ha generado ventajas competitivas reales. Ahora mismo, muchos fabricantes chinos están ya tecnológicamente por delante del resto en baterías, integración de software, costes y velocidad de desarrollo. La reacción racional sería estudiar, competir, colaborar selectivamente y reorganizarse. Expulsar al referente del mercado elimina precisamente el estímulo que obliga a cambiar. Con aranceles puedes compensar subvenciones, pero en ningún caso vas a convertir tus fábricas en más eficientes. Además, en Europa y en Estados Unidos también se dan subsidios y protecciones a los fabricantes, y no pocas. A quien más perjudicas con estas cosas es al consumidor americano, obligado a pagar más, a reducir la adopción eléctrica y a permitir que los fabricantes sigan concentrándose en grandes SUV y en camionetas de márgenes elevados. Fundamentalmente, se protege al productor de las preferencias de sus propios clientes.

No se puede negar que los vehículos conectados pueden recopilar ubicación, imágenes y datos personales, además de poder recibir órdenes de forma remota. Pero la proporcionalidad de pasar de ahí a una prohibición por nacionalidad es muy discutible. Además, hay otras posibilidades, como forzar al almacenamiento y procesamiento local de datos, obligar a que el código y los componentes sean auditables, a la desconexión de sistemas sensibles, a licencias revisables o incluso a la fabricación local. Es, parcialmente, lo que hace China para permitir que Tesla compita en su mercado.

El FMI afirma que la orientación a la exportación tiende a fomentar la competencia, la escala y la innovación, mientras que la sustitución de importaciones tiende a generar incentivos perversos. Estados Unidos se protege mientras China conquista el mundo, pero las protecciones sólo tienen sentido cuando son temporales y compran tiempo para ponerse al día. Si se plantean como permanentes, sólo favorecen la complacencia. Una industria no gana una carrera tecnológica prohibiendo que su rival se acerque a la línea de salida: lo único que consigue es no verlo mientras la adelanta por todos los demás carriles. Es, básicamente, un manual de cómo perder la carrera del automóvil sin competir.

In English on Medium (no paywall if you use this link), «Banning competition isn’t the same as being competitive»

Pocos días después de la revelación del incidente de intrusión de OpenAI sobre Hugging Face con centenares de agentes escapando de sus sandboxes sobre el que ya he escrito, la compañía presentó un modelo, Astra, que es a la vez más potente y más difícil de monitorizar. Toda una ironía si tenemos en cuenta que lo que OpenAI supuestamente hizo fue reconstruir el incidente a partir del examen en retrospectiva de las acciones y las cadenas de pensamiento de sus agentes, que incluían la admisión explícita de que estaban atacando a una compañía externa no relacionada.

El examen de la cadena de pensamiento no tiene nada que ver con escanear un cerebro artificial: es simplemente examinar la secuencia de tokens intermedios que el modelo utiliza como memoria de trabajo antes de responder o actuar, en la que pueden aparecer evidencias de cuestiones como trampas, engaños, manipulaciones para obtener recompensas o maniobras no autorizadas. En investigaciones anteriores, la técnica permitió detectar el 95% de dos tipos de trampas sistémicas, frente al 60% obtenido examinando únicamente las acciones del modelo. Curiosamente, la misma investigación de OpenAI reveló que la optimización excesiva tiende a enseñar a los modelos a ocultar sus intenciones en la cadena de pensamiento mientras continuaban manipulando la recompensa.

La system card de Astra afirma que el modelo como tal es mucho mejor que GPT-5.6 Sol a la hora de controlar qué aparece y qué no en su cadena de pensamiento. Simplemente informar a Astra de que estaba siendo monitorizado hizo que, en algunos experimentos, redujese desproporcionadamente su cadena de pensamiento y lograse ocasionalmente eludir los monitores. Usando técnicas de sandbagging (manipulación deliberada en la que se instruye al modelo para que tenga un rendimiento inferior al esperado ocultando esa intención), su monitor obtuvo una precisión muy inferior, lo que habría hecho prácticamente imposible detectarlo.

Según el UK AI Security Institute, el horizonte de tareas matemáticas que Astra podía resolver sin cadena de pensamiento se estimaba en 30.9 minutos, frente a los 3.6 minutos de Sol. Además, fue capaz de seguir las instrucciones que controlaban lo que aparecía en su razonamiento en el 93% de las muestras, en comparación con el 48% de Sol. El razonamiento se mantuvo por lo general inteligible, pero estaba más comprimido y contenía más frases ambiguas. ¿Qué quiere decir esto? Fundamentalmente, más capacidades para eludir la vigilancia.

No se trata de que Astra se dedique espontáneamente a engañar a sus desarrolladores (dado que se puso a prueba precisamente pidiéndole que hiciese eso, tratar de engañar), pero sí de que esté más preparado para hacerlo. Un artículo publicado por Google argumenta que las tareas maliciosas suficientemente difíciles aún pueden obligar a los modelos a externalizar sus razonamientos cruciales. Según The Information, Astra utiliza la llamada profundidad recurrente (en lugar de pensar, escribir un paso, pensar, escribir otro paso, etc., se trata de pensar internamente varias veces antes de producir una respuesta), lo que le permite llevar a cabo procesos más silenciosos y hacer la monitorización más complicada

Esto no pasa sólo en Astra: Anthropic se encontró con que Claude 3.7 mencionaba la información que había influenciado su respuesta únicamente en un 25% de los casos, mientras que DeepSeek R1 lo hacía en un 39% de los casos. Cuando esos modelos aprendieron a explotar manipulaciones del sistema de recompensas, lo hicieron en más del 99% de los casos, pero lo reconocieron en su cadena de pensamiento en menos del 2%, y con frecuencia inventaron explicaciones aparentemente respetables a posteriori.

La auditabilidad debería ser uno de los asuntos más importantes en el desarrollo de la inteligencia artificial. Más que exigir que podamos literalmente «leer la mente» de un modelo, lo que tendríamos que evitar a toda costa es que las compañías se dediquen a eliminar algunos de los escasos mecanismos de monitorización para obtener más capacidades, más velocidad o costes más reducidos. Mientras, algunos investigadores de OpenAI denominan despectivamente “impuesto de la monitorización» a ese sacrificio en prestaciones o eficiencia a cambio de la posibilidad de auditarlo todo.

No, pagar ese supuesto «impuesto» nunca debería ser un presunto «acto opcional de generosidad corporativa». Debería ser completamente obligatorio, fuertemente monitorizado y ejemplarmente castigado si no se cumple. Que veamos como totalmente normal que los agentes de una compañía hackeen a otra y lo consideremos una cuestión de risa, una curiosidad o una prueba de lo potente que es un modelo es completamente vergonzoso, y va a terminar costándonos mucho. Sobre todo si tenemos en cuenta que varias de estas compañías ya han demostrado claramente ser una panda de aprendices de brujo completamente carentes de cualquier tipo de ética y de responsabilidad. O imponemos más control, o vamos a tener serios problemas. Y si no, al tiempo.

In English on Medium, «What happens when an AI model knows it’s being watched?»