Una entrevista en CCN, explosivas declaraciones de ex-empleados de Anthropic, y múltiples reacciones al respecto.

En los ultimos días se ha generado mucho revuelo mediático con declaraciones de ex-empleados de Antropic, y las múltiples reaciones que esas declaraciones han generado, leyendo todo aquello he quedado con una sensasión rara: la conversación sobre los riesgos de la inteligencia artificial ya no la empujan los académicos críticos ni los reguladores. La empujan los ingenieros que entrenan los modelos.

¿Qué pasó?

Jacob Coxon, 27 años, empleado de Anthropic del área de pre-entrenamiento renunció a Anthropic y lo anunció en X. Antes había trabajado en OpenAI. Su mensaje fue directo: ninguna de las dos empresas está actuando de manera responsable, van corriendo hacia una superinteligencia que se automejora y están apostando con nuestras vidas.

Al día siguiente pasó por CNN con Anderson Cooper, por NBC y por Fox News, y ahí moderó su propio titular. Los modelos de hoy no son el problema: lo peor que pueden hacer, dijo, es hackear algo. Lo que lo asusta es la velocidad y la automejora recursiva, una IA que revisa su propio código y se hace cada vez más poderosos. 

Hay que decir que Coxon preparó bien su entrada en escena, contó en la misma entrevista que el hilo de X lo escribió en un Google Doc, lo editó con un amigo y le pidió a un par de conocidos que lo retuitearan para hacerlo viral. 

La cuenta X desde la que publicó se abrió en enero de este año y tiene once publicaciones en total. La entrevista exclusiva del Wall Street Journal salió antes que la publicación de X. Toda una planificación entrevista, hilo de X preparado con tiempo, y múltiples entrevistas en diversos medios.

Incluso algunos han tratado de desacreditar al mensajero, Coxon es quien dice ser, pero no deja de ser curioso el proceso comunicacional, ya hemos visto en el pasado declaraciones y predicción en materias de IA, incluso han dado para memes. No hay que perder el juicio crítico frente a estas situaciones.

Lo que estoy diciendo es otra cosa: el mensajero es auténtico y el momento fue bastante producido. Las dos cosas pueden ser ciertas a la vez, pero conviene saber cuál de las dos estamos leyendo, sobre todo cuando lo que se está midiendo es la conmoción pública.

Evan Hubinger, que lidera un equipo de seguridad en Anthropic, lo respaldó con un número que no se puede desdecir: más de 10% de probabilidad de que la IA mate a todos los humanos en la próxima década, y el reconocimiento de que no tienen resuelto cómo alinear una superinteligencia. Días antes, Jakub Pachocki, científico jefe de OpenAI, había escrito algo equivalente. Anthropic respondió a CNN con lo esperable: que siempre fueron transparentes sobre beneficios y riesgos, que construyen con las salvaguardas más fuertes de la industria y que el mundo estaría mejor si existiera una forma legal y verificable de coordinar el ritmo de los lanzamientos. OpenAI no dijo nada.

Sabemos cómo controlar las armas nucleares. Todavía no sabemos cómo controlar la IA.Jacob Coxon, en Fox News, 9 de septiembre de 2026

Marcus le contesta a Cooper

Luego entró Gary Marcus a la polémica. Marcus tituló en su sitio, sin sutileza: no, Anderson Cooper, la IA no va a matar a todos los humanos el 2030. Parte defendiendo a Coxon de los ataques que le llovieron, mentiras sobre cuánto tiempo trabajó en Anthropic, una de ellas derivada, con ironía suprema, de un perfil suyo generado por IA y eso le da autoridad para lo que viene después: hay que separar lo que Coxon está en condiciones de testimoniar de lo que está especulando. 

Marcus dice, sobre el estado de ánimo dentro de esas empresas es testigo directo y su palabra vale. Sobre cómo se extingue una especie no tiene más autoridad que cualquiera de nosotros. Los medios casi nunca hacen esa distinción, y nosotros tampoco.

Después desarma el esquema clásico del catastrofismo. Que la superinteligencia llegará, probablemente sí, pero difícilmente al 2030. Que buscará eliminarnos, no hay evidencia: ningún sistema, ha exhibido jamás algo parecido a un motivo. Y que no podríamos resistir, tampoco: la inteligencia no es lo mismo que el poder, y suponer que una máquina anticiparía cada contramovida humana sin que nos diéramos cuenta no es suponer inteligencia, es suponer omnisciencia.

Marcus sostiene que el efecto neto de una década de discurso apocalíptico ha sido hacer a las empresas de la frontera más ricas y más poderosas: cada vez que alguien grita que la IA nos va a matar a todos, los fondos de capital de riesgo ponen unos miles de millones más. El catastrofismo, que se presenta como crítica, terminó funcionando como el mejor departamento de marketing que estas compañías podrían haber contratado, y de paso ayudó a concentrar poder en muy pocas manos. 

Incluso las declaraciones de Coxon han generado una rápida respuesta desde la política, muchos legisladores en EEUU han levantado la mano para pedir esfuerzos en materias de regulación, veremos que ocurre.

Fernando de la Torre planteaba en Mensajes para una IA al servicio de la humanidad, libro cuyo comité editorial integré: el mayor peligro que enfrentamos hoy no es la máquina, es el 1% que concentra el poder tecnológico.

A partir de todas estas declaraciones y debate, hay que hacer una distinción para ordenar la discusión, esto es, el riesgo existencial, la extinción literal de la especie, es muy poco probable. Pero el riesgo catastrófico que es otra cosa: que muera un porcentaje relevante de la población o que se dañe severamente la civilización, este riesgo si es mayor ya que la IA facilita el diseño de armas biológicas, abarata la desinformación hasta niveles que la democracia no aguanta, aumenta la exposición de la banca y de la red eléctrica a ciberataques, le entrega a los autoritarismos una vigilancia que Orwell no alcanzó a imaginar y ya está haciendo daño en la educación (ver los últimos resultados de la PISA recientemente publicados).

Nada de eso requiere una superinteligencia: requiere lo que ya tenemos, mal desplegado y con escasa regulación. Y yo le agregaría a esa lista un ítem que a Marcus se le queda fuera y que desarrollé en febrero acá mismo, a propósito del paper How AI Destroys Institutions de Hartzog y Silbey, esto es, el daño institucional. Instituciones que siguen operando pero vaciadas de sentido, que procesan trámites sin deliberación, sin aprendizaje y sin legitimidad. Estados que funcionan pero ya no gobiernan. Modernizar no es acelerar, digitalizar no es automatizar y gobernar no es optimizar. Esa es la lista sobre la que un país como Chile sí puede hacer algo, y llega mucho antes que cualquier singularidad.

Hugging Face, o cómo se ve una auditoría que no es auditoría

Muchas de las últimas declaraciones se basa y/o hace referencia al hackeo de Hugging Face, que OpenAI reconoció que sus propios modelos fueron responsables del hackeo. Lo que apareció después es lo interesante: los agentes habrían creado su propio canal de mensajería para coordinarse, buscaron vulnerabilidades en otros sistemas y coordinaron cómo evadir el monitoreo, incluyendo el plan de sacrificar a uno de ellos como señuelo.  Un paréntesis necesario, porque acá se está deformando el relato: Coxon lo contó en CNN como si los agentes hubieran actuado por su propia voluntad, y Marcus precisa que fue un ejercicio de entrenamiento con parte de las barreras desactivadas a propósito. Una cosa es una máquina que se sale del corral sola y otra es un ensayo en el que se abrió el corral para ver qué pasaba.

Que haya sido un ensayo no lo vuelve irrelevante, al contrario: mostró que con las barreras abajo el sistema hace exactamente lo que uno teme. Según reportó el New York Times, OpenAI entregó información a los auditores independientes, METR y Redwood, realizaran una auditoría de lo que ocurrió con Hugging Face, pero dictando los términos: una sola semana de datos y acceso limitado al resto. Cualquiera que haya hecho un peritaje sabe lo que eso significa. Si el auditado define el alcance de la auditoría, eso no es una auditoría. 

«Son exageraciones»

Conversé con varios expertos respecto de las declaraciones Coxon, y su respuesta fue bastante coincidente: «son exageraciones» pero si lo que dice llega a pasar no hay mucho que hacer porque estas empresas no se van a detener por si solas en el desarrollo de los modelos de frontera, algo tiene que decir la regulación al respecto. Algunos van más lejos, como Scott Galloway, experto y profesor de NYU, que dijo en una entrevista “AI doomsday talk could be fundraising strategy” (Las advertencias sobre un apocalipsis por IA podrían ser una estrategia para recaudar fondos).

Incluso los CEO’s de las grandes de la IA, esto es, Dario Amodei, CEO de Anthropic como Sam Altman, CEO de OpenAI, está declarando su preocupación por los modelos de frontera, al parecer esta vez sí que se les escucha preocupados, ¿qué tan sinceras son sus precauciones o será parte de una estrategia de marketing?.

Llevo años pidiendo mirar la IA más allá del hype y tomar distancia de los vendedores de humo, así que la primera mitad de la frase me suena conocida. Lo que no había pensado hasta esta semana es que la profecía apocalíptica también vende.

Pero vale la pena tomarse esa reacción en serio, porque es la que uno escucha en todas partes y porque tiene un problema. Las dos mitades no se sostienen juntas. Si son exageraciones, no hay razón para el fatalismo. Y si no lo son, el fatalismo es precisamente el mejor argumento para regular. 

Además, el «no se puede detener» mezcla dos cosas distintas. Frenar el desarrollo en la frontera, cierto, no depende de nosotros y nunca dependió. Gobernar los usos, qué entra a la operación del Estado, con qué trazabilidad, con qué responsabilidad del proveedor cuando el sistema falla, sí depende de nosotros.

Y hay un detalle que se pasa por alto: el propio Coxon dijo que las empresas están pidiendo que las regulen, y fue explícito en que su problema no es la mala fe de Dario Amodei sino la carrera, porque nadie puede ser tan riguroso como quisiera cuando el competidor no lo es. Eso tiene nombre técnico, es un problema de acción colectiva, y es exactamente el tipo de falla que la regulación existe para resolver. «No quieren detenerse» no es un contraargumento, es el diagnóstico. Por eso, dicho sea de paso, el boicot de consumo que propone Marcus me parece bien intencionado pero poco realista.

Cosas que sí podemos hacer

Al mirar este debate y las informaciones de prensa, los únicos actores mencionados son EEUU y China, el resto del mundo tiene poco y nada que decir, o al menos es lo que se desprende de las declaraciones. Pero creo que esto tiene algunas consenciencias a la hora de adoptar IA por parte del Estado, aquí algunas cosas.

• Primero, exigir explicabilidad y trazabilidad en las bases de licitación cuando el Estado compre IA, con capacidad real de verificarlas. Si el proveedor no puede explicar cómo se registra y se reconstruye una decisión automática, no está en condiciones de venderle al Estado. 

• Segundo, líneas rojas explícitas. Agentes con autonomía de acción sobre infraestructura crítica y sobre sistemas que afectan derechos de las personas: no. Humano en el circuito, con capacidad efectiva de detener el proceso y no como formalidad de manual. Lo he dicho antes y lo repito: toda automatización es una decisión política disfrazada de solución técnica, y por eso no puede quedar entregada al criterio del proveedor.

• Tercero, lo aburrido de siempre: capacidad instalada en el Estado para auditar. La vitamina I, implementación. Sin gente que entienda de esto adentro del sector público, todo lo anterior es papel.

Me quedo con esto: los que construyen la tecnología dicen en televisión abierta que no saben controlarla, el regulador que debería mirarlos acepta los términos que ellos le imponen, y nosotros los países que vamos a recibir todo esto ya empaquetado, no estamos en el debate.

No sé cuál es la probabilidad de que la IA nos mate a todos, y por lo que he leído esta semana, es bastante más baja de lo que sugirió el titular de CNN. Sí sé cuál es la probabilidad de que nos llegue sin que tengamos idea de cómo fiscalizarla. Esa es alta, y no depende de ninguna singularidad.

La entrada Hablaron los que construyen la IA, el resto seguimos mirando de lejos se publicó primero en Escritorio de Alejandro Barros.

El Government Analytics Handbook del Banco Mundial documenta algo incómodo: gobiernos que llevan 20 años predicando políticas basadas en evidencia gestionan su propia administración casi sin evidencia

Hace un tiempo me enviaron un libro publicado por el Banco Mundial en 2023, el que debería ser de lectura obligatoria para cualquier directivo público de la región: The Government Analytics Handbook: Leveraging Data to Strengthen Public Administration, editado por Daniel Rogger y Christian Schuster y publicado por el Banco Mundial. Son 785 páginas y 30 capítulos, lo relevante es que su lectura puede ser parcelada y dependiendo de las áreas de interés. Después de una revisión de su contenido y de la lectura de algunas de sus secciones, decidí pedirla a la IA destilar sus principales ideas y con eso me puse a hacer un paralelo respecto de lo que ocurre en nuestra región de América Latina.

Los autores del texto, llaman government analytics a algo bastante simple de enunciar, esto es, utilizar los datos que el Estado ya produce (sueldos de funcionarios públicos, compras públicas, presupuesto, expedientes y encuestas a funcionarios) para diagnosticar y mejorar el funcionamiento de la administración. No se trata de usar datos para diseñar políticas públicas hacia afuera, que es donde se ha concentrado casi toda la discusión sobre «datos para el desarrollo». Se trata de mirar el quehacer interno del sector público.

El libro plantea una idea interesante y muy potente, la administración pública no es esa caja negra incomprensible que muchos imaginan. Está llena de información. Cada trámite, cada pago de remuneraciones, cada licitación, cada expediente hoy por hoy, y dado los procesos de digitalización está dejando deja un rastro de datos. El problema es que esos registros se generan para apoyar la operación, pero muy poco para aprender. Convertir esos datos en herramienta para la gestión gestión requiere una decisión deliberada que casi ningún gobierno de la región ha tomado en serio.

La plata que estamos dejando sobre la mesa

El libro documenta con evidencia dura algunos ejemplos:

• En Rusia, la calidad de los funcionarios y sus organizaciones explica dos tercios de la variación en los costos de contratos de compras públicas; si los peores compradores pagaran lo mismo que el resto, el ahorro sería de unos diez mil millones de dólares al año.
• En Nigeria, mejorar la gestión de las organizaciones públicas en una unidad estandarizada aumenta en 32% la probabilidad de que un proyecto de infraestructura se complete.
• En Italia, reasignar a los mejores jefes a las oficinas más grandes elevaría la productividad en el procesamiento de beneficios sociales en al menos 7%.
• En Pakistán, asignar a los mejores recaudadores de impuestos su destinación preferida aumentaría la recaudación en 40%.

Ninguno de esos resultados se da producto de la compra de tecnología, sino más bien de gestionar mejor a las personas y los procesos, usando datos que ya existían.

De la función de producción al valor público

El aporte conceptual más útil del texto es ordenar todo esto con una función de producción de la administración pública. Esto es, el Estado toma insumos (personas, bienes, capital) y mediante procesos, sistemas y prácticas de gestión los conviertes en productos o servicios generan resultados para los ciudadanos.

Si esa cadena suena conocida, es porque es la misma lógica que Mark Moore instaló hace casi treinta años con su noción de valor público: el Estado no existe para producir trámites ni para ejecutar presupuesto, sino para generar resultados que la ciudadanía valora como salud, seguridad, educación, confianza. Moore nos dio, además, su famoso triángulo estratégico: para crear valor público se necesita definir el valor que se busca, contar con legitimidad y apoyo del entorno autorizante, y disponer de capacidad operativa para producirlo.

Durante décadas la literatura de valor público fue muy buena para el primer y el segundo vértice del triángulo —qué valor crear, cómo construir legitimidad y notablemente vaga en el tercero: la capacidad operativa quedaba como una caja negra que se daba por supuesta. El government analytics es, la caja de herramientas para abrir esa caja negra y medirla. Nos permite responder con datos preguntas que antes se contestaban con intuición.

Dicho de otra forma: no hay creación sostenible de valor público sin una máquina capaz de producirlo, y no hay mejora posible de la máquina sin medirla. La analítica gubernamental es el eslabón que conecta la gestión interna del Estado con el valor que los ciudadanos reciben en la ventanilla.

Los dos pilares de la transformación digital que solemos olvidar

Esto conecta directamente con la Transformación Digital del Estado. Recordemos que ese proceso, NO es digitalizar trámites ni comprar plataformas: es un cambio en el modelo de producción de valor público que descansa en dos pilares. El primero, servicios ciudadano-céntricos: diseñar la relación Estado-ciudadano desde la experiencia y las necesidades de las personas, no desde la lógica de producción de los servicios públicos. El segundo, políticas públicas basadas en evidencia: decidir con datos, no con corazonadas, y evaluar con datos lo que se decidió.

Veamos el primer pilar. Un servicio ciudadano-céntrico no es solo una interfaz amigable; detrás de cada trámite expedito hay funcionarios bien gestionados, procesos rediseñados y datos interoperando. El libro lo muestra con las tres familias de datos que propone integrar: i) datos administrativos te dicen cuánto cuesta y cuánto demora producir el servicio, ii) encuestas a funcionarios te dicen si los equipos que lo producen están gestionados, motivados y capacitados y, iii) evaluaciones externas, encuestas ciudadanas, mediciones de servicio, la encuesta de confianza de la OCDE te dicen si el ciudadano efectivamente recibe valor.

Y el segundo pilar tiene una ironía que el libro expone sin anestesia: gobiernos que llevan veinte años predicando políticas basadas en evidencia gestionan su propia administración prácticamente sin evidencia. Si la máquina que implementa es débil, la mejor política diseñada con la mejor evidencia fracasa igual, y el libro lo documenta con múltiples casos en el mundo.

Advertencias interesantes

El libro plantea algunas advertencias que resultan intresantes.

• La analítica de datos no reemplaza el juicio directivo, lo alimenta. Los datos generan, en palabras de los editores, mejores conversaciones sobre cómo mejorar la administración, no respuestas automáticas. El directivo público sigue estando al centro, triangulando lo que dicen los números con su conocimiento tácito del servicio. Esto exige competencias que nop siempres están presentes, consumir e interpretar datos, entendiendo sus límites y supuestos.

• El sobreuso de métricas tiene riesgos conocidos. El capítulo de Bridges y Woolcock advierte contra la dependencia excesiva de datos cuantitativos y propone una «batería balanceada» que proteja espacio para el juicio, la deliberación y lo cualitativo. Quienes vivieron la era de los indicadores de gestión con metas amarradas a incentivos saben exactamente de qué hablan: cuando la métrica se vuelve la meta, deja de medir (conocida como Ley de Goodhart). Y en clave de valor público, el riesgo es todavía mayor: optimizar lo medible puede destruir valor en lo que no se mide.

• La ética. Medir al Estado es, en buena parte, medir a sus trabajadores. El libro dedica un capítulo completo a la ética de recolectar datos sobre los propios funcionarios, un tema del que casi nadie habla y que en nuestros países, con marcos de protección de datos personales todavía en maduración, va a estallar tarde o temprano.

¿Y América Latina? Más cerca y más lejos de lo que parece

Lo primero que hay que decir es que la región no parte de cero, y el propio libro lo reconoce. El caso de Brasil que abre el texto es elocuente: un equipo del Ministerio de Economía proyectó la nómina y las pensiones de cada funcionario federal bajo el régimen vigente, cuantificó la catástrofe fiscal que venía, modeló escenarios alternativos y con eso el gobierno negoció y aprobó a tiempo un cambio legislativo. Eso es analítica gubernamental de frontera, hecha en la región, con datos administrativos propios. Chile aparece con la Encuesta Nacional de Funcionarios y mejoras en inducción de personal; Uruguay, con mejores prácticas de compras públicas.

Pero en muchos casos se trata de islas. Lo que el libro llama práctica sistemática, corresponde a unidades de analítica en el centro de gobierno y en cada organización relevante, métricas homologadas que permitan comparar entre servicios y países y una agenda sostenida en el tiempo, son escasos en la región. Y las razones son exactamente las que vengo machacando hace años a propósito de la Ley 21.180: presupuesto, capital humano e infraestructura de base.

«By conceiving of government’s electronic records as data in themselves, existing government records can be seen as a means of diagnosing and strengthening government administration.»Rogger, D. y Schuster, C. (eds.), The Government Analytics Handbook, Banco Mundial, 2023.

Pensemos en el caso chileno. Nuestra agenda de transformación digital con la Ley 21.180 como soporte legal, la que fue concebida precisamente sobre los dos pilares: trámites digitales centrados en el ciudadano e interoperabilidad de datos para mejores decisiones. La Secretaría de Gobierno Digital publica tableros de adopción de plataformas; el IMTD de la Universidad de Chile mide madurez digital de servicios y municipios. Es decir, datos hay. Pero cuando uno los revisa, lo hice en detalle en mi análisis predictivo de la Ley 21.180 encuentra los mismos síntomas que los planteamientos del texto:

• Métricas que miden adopción pero no uso,
• Indicadores que desaparecen sin explicación, y
• Cero evidencia de que alguien esté usando esos datos para gestionar.

El tablero existe como vitrina, no como herramienta de decisión. Esa es precisamente la diferencia entre tener datos y hacer government analytics: entre digitalizar el Estado y transformarlo para producir más valor público.

Algunas ideas que se podrían aplicar en la región

Traduciendo las recomendaciones del capítulo 3 del libro a nuestra realidad, me quedo con cinco líneas de acción concretas.

• Crear unidades de analítica gubernamental en el centro de gobierno —Hacienda, Presidencia o el órgano de servicio civil según el país, con mandato explícito de mirar la operación, no solo las políticas.

• Homologar métricas y variables. Hoy cada servicio, cada municipio y cada país mide lo mismo de manera distinta, lo que dificulta el benchmarking. La región tiene una ventaja que desaprovecha: veinte países con estructuras administrativas parecidas y un idioma común. Un esfuerzo regional de armonización vía organismos multilaterales como CLAD, CEPAL o BID, tendría retornos enormes.

• Potenciar a los directivos públicos que usan datos. De poco sirve el mejor tablero si el jefe de servicio no sabe leerlo o no tiene incentivos para actuar. Esto conecta con la profesionalización de la alta dirección pública, y con el tercer vértice del triángulo de Moore: sin capacidad operativa medida y gestionada, el valor público queda en el discurso.

• Partir por los datos que ya existen. remuneraciones, compras y presupuesto están digitalizados en casi todos nuestros países. Antes de embarcarse en el enésimo proyecto de plataforma, sacar provecho a lo que se tiene.

• Premiar la experimentación y hacerse cargo de la ética. Culturas administrativas que castigan todo error jamás van a innovar en analítica; y medir funcionarios sin reglas claras es una bomba de tiempo jurídica y laboral.

El mensaje de fondo del Handbook es:

«La revolución de los datos en el Estado no depende de comprar inteligencia artificial, ni de grandes desarrollo de plataformas.

La Transformación Digital que vale la pena no es la que digitaliza trámites, sino la que reconstruye la capacidad del Estado para producir valor público y decidir con evidencia.»

Información Complementaria

• El Libro – The Government Analytics Handbook: Leveraging Data to Strengthen Public Administration
• Otros elementos complementarios del libro ver aquí.

La entrada Tenemos los datos, pero no los estamos usando. se publicó primero en Escritorio de Alejandro Barros.

Entre el modelo ganador y el más eficiente hay una gran diferencia en los costos.

Estamos en un momento en que todas las semanas están apareciendo nuevos modelos LLM y cada empresa tecnológica publicita el suyo como «el mejor modelo», lo que ha generado muchas preguntas por parte de los usuarios a la hora de cuál usar, ya que hay múltiples rankings y para todos los gustos. Además la gran gama de modelos con sus múltiples versiones no ayudan a tomar una mejor decisión. En la gráfica siguiente, se muestra un pequeño árbol genealógico de los modelos LLM’s con sus versiones existentes a la fecha.

A raiz de esto, hice un pequeño ejercicio para poderlos ordenar (lo hice solo para el top 10), usando los datos de LiveBench,  uno de los benchmarks disponibles más reconocidos. El principal atributo de LiveBenh es que utiliza preguntas que se van modificando para evitar contaminación y lo crucé con los costos de cada modelo de tres formas diferentes (precio de lista, tarea exitosa y frontera de Pareto). Otros benchmarks que mantienen sus preguntas en el tiempo, los fabricantes entrenan sus modelos para que tengan buenos resultados.

Debo destacar que no existe el «mejor modelo», ya que desempeño y costo no son las únicas variables a evaluar, hay otras dimensiones: abierto vs cerrado, políticas de privacidad, etc., pero me pareció que esto podía ser un inicio al momento de analizar los diferentes modelos existentes y que seguramente seguirán aumentando.

Alternativa 1: Precio de lista

En primer lugar tomar el puntaje del benchmark y usar el precio por millón de tokens que publica cada proveedor, normalizar costo y desempeño ponderarlos. Para ponderar utilice una cifra arbitraria de 70% de desempeño y 30% de costo, proporción bastante usual en procesos de evaluación técnico-económica.  En todo caso a modo de sensibilizar hice el análisis moviendo la ponderación de 70/30 a 80/20, y el top 5 no cambió mucho.

Con los 10 mejores modelos del release de junio de 2026 de LiveBench, el resultado sorprende: los modelos más famosos quedan al fondo de la tabla. Claude Fable 5, que lidera el benchmark en desempeño puro (83,4 puntos), cae al noveno lugar del ranking: cuesta 5 a 10 veces más que los líderes en valor, por una ventaja de apenas 4 a 5 puntos de benchmark. Arriba quedan los modelos de bajo costo con desempeño, tales como: Muse Spark 1.2 de Meta y Qwen3.8 Max de Alibaba.

El problema con esta forma de categorizar, el precio de lista no identifica cuántos tokens consume un modelo para resolver algo, que es lo que finalmente le interesa a un usuario final.

Alternativa 2: Tarea exitosa

LiveBench publica para un subconjunto de modelos una métrica mucho más interesante: el costo por tarea exitosa. Esta métrica se calcula en dos pasos.

1. El costo medido por pregunta: los tokens que el modelo efectivamente consumió al correr el benchmark, incluyendo todo el «razonamiento» interno, multiplicados por su tarifa.
2. Ese costo se divide por la tasa de éxito.

La fórmula captura tres cosas que el precio de lista ignora: cuánto cobra el proveedor por token, cuántos tokens gasta el modelo para resolver algo, y qué fracción de ese gasto se traduce en respuestas correctas.

Con esta métrica (disponible para el release de enero de 2026), el ranking cambia de nuevo y aparece un caso notable: DeepSeek V4 Pro. Es el modelo cuyas salidas (output) son más extensas, en el dataset de enero-2026, el modelo con la mayor cantidad de tokens de salids es DeepSeek (33.261 tokens de salida promedio por pregunta), bastante mayor que el que le sigue, con una tarifa por tarea exitoso es de US$ 0,039 siendo el que le sigue tiene un costo de US$ 0,12.

La lección para quien evalúa adopción de IA: un modelo «caro por token» que responde conciso y acierta mucho puede salir más barato que uno «barato por token» que divaga y falla. Solo el costo por tarea exitosa lo revela.

Alternativa 3: Frontera de Pareto (no ponderar)

La tercera alternativa es la que usan algunos evaluadores independientes, como Artificial Analysis no ponderar nada. Se grafica desempeño contra costo y se marca la frontera eficiente: los modelos para los cuales no existe otro más barato e igual de bueno. Todo lo que queda bajo la frontera está dominado, hay una opción mejor y más barata, y todo lo que está sobre ella es una elección legítima según el presupuesto.

En mi ejercicio, siete de diez modelos quedaron en la frontera, desde DeepSeek V4 Pro en el extremo económico hasta GPT-5.5 en el extremo de máximo desempeño. La gracia de este enfoque es que elimina el ponderador y cada persona puede tomar una decisión.

La reflexión de fondo

Algunas reflexiones para organizaciones que están definiendo sus estrategias de adopción de IA, el mensaje es incómodo pero necesario: desconfíen de cualquier ranking que no explicite su metodología, su fecha de corte y su tratamiento del costo.

La diferencia entre «el mejor modelo» y «el mejor modelo para tu caso de uso y presupuesto» puede ser una gran diferencia, como muestra este ejercicio. Y esa diferencia, escalada a millones de transacciones de una organización grande, es la diferencia entre un proyecto viable y uno que se gasta todo el presupuesto en poco tiempo.

Como siempre en tecnología,

la pregunta correcta no es: «¿cuál es el mejor?»

sino

¿mejor para qué, a qué costo?

La entrada ¿Qué modelo de lenguaje elegir? se publicó primero en Escritorio de Alejandro Barros.

Cuatro desafíos que enfrenta el regulador frente a las tecnologías emergentes: los ritmos, la asimetría de conocimiento, la tentación de regular el artefacto en vez del riesgo, y la capacidad institucional

En noviembre de 2023 expuse en la primera versión del Congreso DO Data Science, organizado por Data Observatory con apoyo de ANID. Buena parte de mi presentación la dediqué a un tema que me parece anterior y más de fondo que cualquier proyecto de ley específico: los desafíos que enfrentan los reguladores cuando les toca normar tecnologías emergentes. Recordé esa exposición producto de una conversación hace unos días con personas vinculadas a los espacios de regulación. En esa exposición plantee algunos desafíos que me permito recordar (el video de la charla está al final de post).

El problema de los ritmos

El primer desafío es el más evidente y el más difícil de resolver: el problema de los ritmos. Un proyecto de ley que se tramita durante tres o cuatro años corre el riesgo de nacer regulando una tecnología que ya no existe en la forma en que el legislador la imaginó. Basta ver lo que pasó con la inteligencia artificial generativa: cualquier marco regulatorio diseñado antes de fines de 2022 quedó conceptualmente obsoleto en cuestión de meses. El regulador corre una carrera en la que el otro competidor cambia de vehículo a mitad de pista.

La asimetría de conocimiento

El segundo desafío es la asimetría de conocimiento. Quienes desarrollan estas tecnologías entienden su funcionamiento, sus límites y sus riesgos reales mucho mejor que quienes deben normarlas. Esa brecha no se cierra con audiencias en comisiones parlamentarias. Y cuando el regulador no entiende la complejidad de lo que regula, tiende a dos errores simétricos: o regula de más, poniendo barreras a cosas inocuas, o regula de menos, dejando pasar los riesgos que sí importan. Muchas veces se regula sin entender la complejidad que hay detrás.

Regular el artefacto en vez del riesgo

El tercer desafío es la tentación de regular el artefacto en vez del riesgo. Cuando la norma se escribe pensando en una tecnología específica —»la inteligencia artificial», «el blockchain», «los drones»— envejece con esa tecnología y hay que volver a legislar con cada ola. Cuando se escribe pensando en riesgos y usos —decisiones automatizadas que afectan derechos, opacidad en sistemas críticos, discriminación algorítmica— la norma resiste mejor el paso del tiempo. Parece una distinción académica, pero define si un marco regulatorio dura quince años o cinco.

La capacidad institucional del regulador

Y hay un cuarto desafío del que se habla poco: la capacidad institucional del propio regulador. Esto conecta con algo que he planteado hasta el cansancio a propósito de la transformación digital del Estado. Aprobar una ley es la parte fácil; implementarla requiere equipos técnicos que entiendan la materia, presupuesto y herramientas. Un regulador sin capacidad técnica frente a industrias que concentran a los mejores especialistas del mundo no es un regulador: es un espectador con timbre. Si vamos a crear institucionalidad para supervisar tecnologías, la pregunta incómoda es la de siempre: con qué gente, con qué plata y con qué infraestructura.

Nada de esto es un argumento contra la regulación. Es un argumento a favor de regular bien: con enfoque de riesgos, con marcos tecnológicamente neutros donde se pueda, con reguladores dotados de capacidad real, y con espacios de diálogo entre academia, industria y sociedad civil. Porque este es un espacio por descubrir en muchos ámbitos, y las respuestas no las tiene ningún actor por sí solo.

Información Complementaria

Mas sobre regulaciones, les dejo este debate en la Universidad Diego Portales en el cual me tocó compartir con  representantes de la Fiscalía Nacional Económica y la Comisión Nacional de Productividad

La entrada El regulador frente a la tecnología: una carrera que corre con desventaja se publicó primero en Escritorio de Alejandro Barros.

El problema del gobierno digital chileno no es de diagnósticos — de esos tenemos de sobra. Es que nadie quiere sincerar plazos, costos y capacidades. Cuatro desafíos para hacerlo ahora, cuando todavía se puede.

Cada cambio de administración abre una ventana que dura poco: los primeros meses, cuando todavía es posible sincerar diagnósticos sin cargar con los costos políticos de las decisiones anteriores. En materia de gobierno digital, esa ventana está abierta ahora. Y conviene aprovecharla, porque los problemas que arrastra la implementación de la Ley 21.180 no se van a resolver solos ni con más de lo mismo. Me atrevo en este espacio a delinear los que me parece son los principales desafíos que se enfrenta en materia de desarrollo digital

Llevo años siguiendo este proceso —el que quiera revisar la evidencia puede partir por el análisis predictivo que publiqué hace unos meses, ¿cumpliremos el 2027?— y a partir de esos datos identifico al menos cuatro desafíos que la actual administración debiera abordar con urgencia. No son los únicos, pero sí los que definen si esta política pública llega a puerto o se transforma en otra promesa incumplida del Estado.

Desafío 1 – Sincerar plazos y costos de la Ley 21.180 (TD)

Lo primero es asumir algo que los datos vienen gritando hace rato: con los plazos establecidos actualmente no vamos a llegar de ninguna manera. El análisis que hice sobre el universo de organismos obligados es lapidario: alrededor del 40% de las instituciones —municipios pequeños, corporaciones municipales, servicios sin presupuesto TI— simplemente no tiene cómo cumplir al 2027. No por falta de voluntad, sino porque la brecha de capacidad es estructural y no se resuelve con plataformas.

Por eso planteo que este es el momento de un ejercicio de sinceramiento. Sincerar los plazos, sí, pero también los costos y los esfuerzos asociados. Hoy no hay recursos asignados suficientes para el tamaño del desafío, algo que vengo advirtiendo desde 2022 y que instrumentos como el Oficio Circular N°16 solo agravaron. Una administración que recién comienza tiene la legitimidad para hacer ese dimensionamiento con la realidad de los servicios públicos sobre la mesa, sin heredar la ficción de que todo va bien.

Ojo: sincerar no es lo mismo que prorrogar por secretaría. Ya lo dije en su momento —una prórroga sin recursos reales ni plan serio solo confirmaría que los plazos de este proceso son más una aspiración que un compromiso exigible. El sinceramiento tiene valor si viene acompañado de asignaciones presupuestarias estructurales y de un plan de implementación creíble.

Desafío 2 – Métricas que midan lo que importa

El segundo desafío es más técnico pero igual de determinante: mejorar las métricas con que se monitorea el cumplimiento de la ley. Hoy tenemos indicadores inflados o definidos de una manera que poco ayuda al seguimiento del proceso de implementación.

El ejemplo que más he repetido es la diferencia entre adopción y uso, el concepto de adopción lo utilizo en términos de implementación, esto es, adopción es cuando una solución está en condiciones de ser usada y uso es cuanto realmente se utiliza. Cuando revisé el tablero de la Secretaría de Gobierno Digital lo vi con claridad en FirmaGob: las instituciones habilitadas crecen a buen ritmo, pero las transacciones no acompañan. Una institución «habilitada» que no transacciona no está transformada digitalmente; está inscrita en una lista. Y si medimos listas en vez de operaciones reales, el tablero nos dirá que vamos bien mientras la realidad dice otra cosa.

Un buen sistema de métricas debiera medir uso efectivo, calidad de servicio y resultados para el ciudadano. Y debiera ser estable en el tiempo: no puede ser que indicadores desaparezcan del tablero sin explicación, como ocurrió con el SII y ClaveÚnica a mediados de 2025. La trazabilidad de los datos públicos es condición mínima para que cualquiera —academia, sociedad civil, el propio Estado— pueda evaluar el avance con seriedad.

Desafío 3 – Separar aguas: el ente rector no puede ser también el operador

El tercer desafío es institucional, y creo que es el menos comprendido. Dentro de la Secretaría de Gobierno Digital conviven dos realidades muy distintas. Una es la labor rectora: acompañar la implementación de la ley, normar, asesorar, definir estándares. Un rol consultivo y normativo.

La otra realidad son las operaciones. Y aquí el asunto cambia de naturaleza, porque los servicios compartidos que opera la SGD —ClaveÚnica a la cabeza— se van a transformar, si no lo son ya, en servicios de misión crítica. Estamos hablando de decenas de millones de transacciones. Cuando un servicio de esa escala se cae, no falla un sistema: se detiene la relación entre el Estado y los ciudadanos.

Basta hacer comparaciones relativamente simples con la industria financiera local para darse cuenta de que la SGD no tiene ni los recursos ni la musculatura para operar servicios con esos volúmenes y esas exigencias. Ningún banco chileno opera su core transaccional con la dotación, los esquemas de continuidad operacional y los presupuestos con que hoy se opera ClaveÚnica. Y sin embargo, ClaveÚnica mueve más autenticaciones que varios de ellos juntos.

Esto exige un diseño institucional que reconozca ambas funciones con perfiles un funciones muy diferentes y las dote de lo que requiere cada una de manera diferenciada. Confundirlas o financiar la operación crítica como si fuera una unidad más de un servicio público es una receta para el incidente mayor que nadie quiere protagonizar.

Desafío 4 – Más Vitamina-I: capacidad de implementar

Y el cuarto desafío es el que amarra todo lo anterior: dotar a la Secretaría de Gobierno Digital de más Vitamina-I. ¿Qué es la Vitamina-I? La capacidad de implementar, de echar a andar las exigencias que la propia ley plantea. Porque diagnósticos tenemos de sobra —yo mismo he contribuido con varios— pero la distancia entre el diagnóstico y la implementación es exactamente donde este proceso se ha ido quedando.

Eso significa recursos adecuados, financieros y de personal. Significa equipos con capacidad de ejecución, no solo de coordinación. Y probablemente signifique también definir estrategias de externalización que permitan que algunos servicios sean operados por terceros, con los resguardos y la gobernanza que corresponde. El Estado no tiene por qué operarlo todo directamente; sí tiene que asegurar que lo que se opera por quien sea cumpla los estándares de un servicio crítico.

Lo he dicho de muchas formas en este espacio: la transformación digital no se juega en los anuncios ni en las plataformas, se juega en las tres variables aburridas de siempre presupuesto, capital humano e infraestructura base más una cuarta que las activa: la capacidad de implementación. Sin Vitamina-I, todo lo demás es PowerPoint.

Una ventana que no va a durar

Los cuatro desafíos están conectados. Sincerar plazos sin mejorar métricas es cambiar la fecha de la misma ficción. Mejorar métricas sin resolver el problema operacional es medir mejor un riesgo que sigue creciendo. Y nada de eso ocurre sin Vitamina-I.

La nueva administración tiene la oportunidad y casi la obligación de hacer este ejercicio ahora, cuando el costo político de sincerar es bajo y el beneficio de ordenar la casa es alto. En un par de años, cuando los plazos de la ley empiecen a vencer masivamente, esa ventana estará cerrada y solo quedará administrar el incumplimiento.

La entrada Gobierno digital: cuatro desafíos urgentes para la nueva administración se publicó primero en Escritorio de Alejandro Barros.