En eso exactamente se basa «La psicología de la desinformación: Cómo los sesgos cognitivos y los algoritmos impulsan la manipulación digital», el proyecto que nos ha premiado la Journalism Science Alliance, el European Journalism Centre (EJC) y la Universidade Nova de Lisboa junto a los de otros 14 países. Junto a científicos del de la Universidad de Granada investigaremos durante 8 meses los bulos difundidos en España durante crisis sociopolíticas, para descubir los mecanismos psicológicos explotados para amplificar desinformaciones.

En este proyecto también hay algo que me gusta mucho, y es la colaboración con científicos. Periodistas y académicos siempre tenemos mucho que aprender unos de otros.

Aunque llevábamos meses trabajando en la propuesta, esta semana se ha anunciado y ya hemos empezado a trabajar oficialmente en ello. Estaremos publicando los resultados en unos meses.

Foto de David Matos en Unsplash

La entrada Sesgos cognitivos y algoritmos se publicó primero en marilink.

Mi investigación sobre SERMAS GPT ha revelado cómo la inteligencia artificial puede infiltrarse en servicios públicos sin controles adecuados. Examinar su creación, sus sesgos y sus contratos se convierte en un ejercicio urgente para el periodismo de investigación: una hoja de ruta para exigir transparencia y responsabilidad en la era de la IA. Aquí cuento un poco mejor cómo fue ese proceso.

Cuando el servicio público de Salud de Madrid instaló una herramienta de inteligencia artificial llamada SERMAS GPT en los ordenadores de todos los médicos de atención primaria de la región, hubo comunicado de prensa, pero no aprobación de un comité médico, ni formación a los profesionales que tenían que usarla, ni mucho menos el código abierto que se decía tener. Y ahí estaba, operativa en un botón de la interfaz que utilizan todos los médicos de primaria de Madrid, lista para recoger los datos de la historia clínica de los pacientes, procesar información sensible y ofrecer consejo médico. 

En 2023 me propuse investigar cómo podía haberse desplegado un sistema así con tan poco escrutinio público. Durante semanas hablé con médicos, eticistas, investigadores en IA y expertos en contratación pública; revisé expedientes oficiales y presenté solicitudes de información al gobierno regional.

Lo que emergió fue la historia de una IA introducida sin supervisión, y uno de los casos en los que el sector privado cuela su AI en administraciones públicas. SERMAS GPT se había desarrollado sin la participación de un solo profesional de la salud y nunca había sido validada por un comité médico. 

Los expertos que entrevisté identificaron sesgos racistas y sexistas en sus resultados y explicaron los riesgos que estos sesgos planteaban en un entorno clínico. Aunque las autoridades afirmaban que el sistema era de código abierto, nunca facilitaron acceso a su repositorio. La investigación confirmó que SERMAS GPT no era una aplicación como se hacía entender, sino un conjunto de llamadas a la API del modelo GPT-4 de OpenAI, alojado en los servidores Azure de Microsoft. No era distinto que hablar con ChatGPT. 

Cuando me puse a buscar la documentación, encontré que tampoco había contrato como tal. El sistema había sido implementado por Fundación29, una organización poco conocida que, junto con Microsoft, firmó un simple acuerdo con el gobierno regional —un acuerdo que no describía tareas, ni imponía obligaciones formales ni mecanismos de rendición de cuentas a las empresas implicadas. Juristas consultados lo describieron como “un experimento tipo sandbox”, aunque ninguno pudo justificar que se implementara en un servicio público de salud sin un expediente administrativo. La junta directiva de Fundación29 incluía ejecutivos de Microsoft y empleados a tiempo completo de empresas biotecnológicas y farmacéuticas, lo que planteaba dudas adicionales sobre posibles conflictos de interés.

El aspecto de la protección de datos en SERMAS GPT tampoco estaba en orden. Nuestra investigación reveló importantes fallos en las medidas destinadas a salvaguardar la información médica y personal —fallos que podrían exponer los datos más sensibles de los pacientes.

Los hallazgos se publicaron en tres reportajes de investigación en Newtral [1, 2 y 3] y llegaron finalmente a la Asamblea de Madrid, donde diputados de la oposición pidieron explicaciones al gobierno. 

El caso de SERMAS GPT demuestra que la fiscalización de la IA no es opcional: es una condición para proteger los derechos de los ciudadanos y garantizar que la innovación no erosione la confianza en lo público. La metodología de esta investigación —analizar el origen técnico, legal y ético de estas herramientas— demostró el valor de un escrutinio sistemático y puede convertirse en un estándar de accountability periodístico para auditar la inteligencia artificial allí donde se aplique.

Archivo:
Sermas GPT, la IA de la Comunidad de Madrid para enfermedades raras, aún no ha pasado la validación de un comité médico
Cómo es el acuerdo de Madrid con Microsoft y Fundación 29 para que sus médicos usen su IA
Qué pasa con la protección de datos en Sermas GPT, la IA generativa de Madrid para enfermedades raras

La entrada Cómo investigué a SERMAS GPT, la IA que se coló en los hospitales de Madrid se publicó primero en marilink.

Para leer más sobre el tema, el número 138 de la Revista CIDOB d’Afers Internacionals «Desigualdad algorítmica. Gobernanza, representación y derechos en la IA» que acaba de publicarse y está disponible online.

La entrada Gobernanza, representación y derechos en la IA se publicó primero en marilink.

Como periodistas tenemos que escuchar más a los ingenieros y sobre todo, preguntarles más, entender lo que está pasando con la IA para tomarla como una herramienta útil al periodismo, sobre todo para tenerla de nuestro lado en estos tiempos de desinformación, y que sirva a los intereses del público y no a los de unas pocas plataformas. La jornada organizada por Fundae fue un espacio excelente para tratar este y otros temas. Nuestra mesa «Nuevas oportunidades en el periodismo: IA, perfiles y formación» nos reunió a esta investigadora, a Marcelo Ortega y a mí para conversar sobre los perfiles periodísticos del futuro que ya podemos intuir. O eso intentamos.

La entrada Jornada FUNDAE: Nuevos perfiles en el periodismo se publicó primero en marilink.

Aunque siempre se suele publicitar mucho el uso de IA en los anuncios del gobierno, cuesta encontrar más información sobre cómo se hacen esas implementaciones, qué pasa con los datos, quién está detrás y cuáles son sus intereses.

Todo lo que averigüé sobre la app Sermas GPT fue publicado en tres reportajes justo antes de mi baja maternal: uno en el que contaba cómo funciona, y que fue el premiado; otro en el que analizábamos el tipo de acuerdo entre gobierno y las empresas que lo implementaron y uno en el que constamos la falta de garantías sobre los datos personales de los pacientes. Aunque no creas mucho en ellos, siempre es un gusto recibir un premio, y más aún cuando sirve para visibilizar contratos y algoritmos usados en la esfera pública y pagados con nuestros impuestos que no se explican con transparencia.

La entrada El reportaje finalista del premio ESET 2024 se publicó primero en marilink.

Inteligencia artificial y desinformación son los temas del momento, desde que Donald Trump ha asumido la presidencia acompañado de Elon Musk, ni les cuento. Unos meses antes de esto, la Asociación de la Prensa de Madrid me invitó a escribir en el último número de sus Cuadernos de Periodismo sobre cómo puede impactar la IA en la desinformación. El artículo sobre el periodismo en la era de los deepfakes ya está disponible en PDF [Archivo].

La entrada Cómo puede impactar la IA en la desinformación se publicó primero en marilink.

Concretamente, sobre el tipo de acuerdo o contrato que habían firmado la Comunidad de Madrid (CAM), la Fundación 29 y Microsoft para implementarlo. La CAM respondió con un documento a la petición de información que había hecho el entonces diputado de Mas Madrid en la Asamblea de Madrid: un protocolo de declaración de intenciones.

¿Qué significa un protocolo? ¿Tiene la misma fuerza que un convenio o un contrato con la administración pública? Hablé con expertos en contratación pública que lo analizaron y nos explicaron que esta declaración de intenciones no compromete a las partes a nada ni fija obligaciones ni derechos. También nos preguntamos por la Fundación 29: cofundada por un directivo de Microsoft, y dirigida por otro más, en su junta hay representantes de farmacéuticas y empresas de biotecnología. Su financiación proviene de farmacéuticas. Toda la información la publicamos en este segundo reportaje sobre Sermas GPT.

[Archivo]

La entrada Sermas GPT, la IA de los médicos en Madrid, y el protocolo que no responsabiliza a nadie se publicó primero en marilink.

Empecé a preguntar hace meses sobre Sermas GPT, y encontré varias cosas:

Esta herramienta se integró en el sistema informático de salud casi inmediatamente pero hoy aún hoy 6 meses despúes no ha pasado la validación de un comité médico. Los expertos han encontrado fallos: arroja resultados sexistas y racistas. Los médicos sólo han recibido un instructivo para saber cómo meter los datos.

Tampoco es realmente una app, sino un conjunto de APIs conectadas a GPT-4 en los servidores Azure de Microsoft. Es decir, es como hablar con ChatGPT para preguntarle por el diagnóstico de enfermedades raras tras darle unos síntomas. Microsoft mismo ha asegurado en un estudio que ChatGPT no ha pasado por un entrenamiento médico específico, la información que tiene es la que ha recopilado de internet.

No hay un código abierto, a pesar que desde la administración nos han dicho que así es, y faltan respuestas a muchas preguntas. Hablé con la administración, con la empresa responsable del software y con los médicos para pedirlas. Este es el primer artículo que escribí sobre Sermas GPT: Sermas GPT, la IA de la Comunidad de Madrid para enfermedades raras, aún no ha pasado la validación de un comité médico.

[Archivo]

La entrada Sermas GPT: Un ChatGPT para detectar enfermedades raras en Madrid se publicó primero en marilink.

Se verá como una app en el móvil y es mucho más que una firma digital: podrá incluir nuestro historial clínico, CV, vacunas, historial financiero y patrimonial y certificados de estudios. Algunos piensan que será una verdadera distopía digital, y otros, más optimistas, creen que servirá para terminar con la burocracia europea.

Los expertos coinciden en que aunque se diga voluntario, será obligatorio de facto, como lo es hoy saber utilizar un móvil o un ordenador, y que aún hay algunos vacíos de seguridad. Hablé con ellos y lo cuento para Newtral en «Qué es la Identidad digital europea: mucho más que una firma electrónica que será «obligatoria de facto» para 440 millones de europeos».

[Archivo]

La entrada Identidad digital europea: un wallet voluntario pero obligatorio se publicó primero en marilink.

He mirado varios de los estudios sobre IA y futuro del empleo y lo he escrito en «El impacto de la IA en el empleo, según expertos e investigadores: quiénes ganan y pierden con esta nueva “revolución industrial” para Newtral.

[Archivo]

La entrada La IA y el futuro del empleo: una nueva revolución industrial se publicó primero en marilink.

Yo pensé en lo que me gustaría primero: que desde los medios la tecnología se cubra como otros temas, pensando en las personas y haciendo las preguntas incómodas y sin tragarnos las narrativas exultantes que vienen de Silicon Valley. Lo que creo que sucederá tanto en formatos como en contenido es que creo que habrá una búsqueda de espacios y temas más centrados en las comunidades de cada medio.

La AI apareció en muchas de las opiniones y deseos. Me gustó el de Delia Rodríguez: «Que los trabajadores del sector se unieran para revisar sus términos laborales de forma colectiva, como los guionistas de Hollywood, y defender sus empleos, sus condiciones de trabajo y su propiedad intelectual». También dijo que es un año en el que periodistas y abogados vamos a pasar mucho tiempo juntos.

Fabebk, CC BY-SA 4.0, via Wikimedia Commons

La entrada Periodismo 2024 se publicó primero en marilink.

El juguete nuevo de Meta tiene intenciones de integrarse al Fediverso. Threads está implementando ActivityPub, el mismo protocolo de Mastodon, y eso significa que ya hay cuentas que se pueden seguir desde la otra red. Una de ellas es la del jefe de Threads, @mosseri@threads.net, que lo ha contado en un anuncio que ha pasado un poco desapercibido, por lo menos en la prensa en español. El impulso que puede dar Meta a las redes descentralizadas puede ser interesante, con muchas otras plataformas están trabajando con protocolos abiertos, como Bluesky, Nostr, Farcaster. Lo cuento en «Hacia redes sociales: qué es el protocolo ActivityPub y por qué es la gran promesa de Threads» para Newtral.

[Archivo]

Foto de Alina Grubnyak

La entrada ActivityPub para integrar a Threads al Fediverso se publicó primero en marilink.

El desafío también estaba en «legislar para adelante», escribir una ley que no se quede obsoleta ante el avance de la tecnología. Lo hicieron mediante una clasificación de riesgos, por la que no se prohíben determinadas tecnologías sino que se regulan sus usos. Las negociaciones entre gobiernos y Parlamento han sido especialmente duras, y se llevan otro récord, el de las 38 horas que duraron. He seguido de cerca durante este año los avances del proceso legislativo, y he escrito sobre las claves de la ley, la hemos analizado con expertos, hemos escuchado las inquietudes de las organizaciones de los consumidores europeos, y hemos contado las presiones en torno a la presidencia española de la UE, bajo la que se ha aprobado finalmente la ley de IA de la UE.

Sin que aún tengamos el texto definitivo, que se espera para fines de enero, escribí sobre los puntos más calientes de esta ley de la IA que se ha aprobado en la UE.

El gran equipo de redes de Newtral me hizo contarlo en un reel de Instagram.

[Archivo]

La entrada Primera ley de IA en el mundo: la Unión Europea hace historia se publicó primero en marilink.

El CEO de Stability AI, Emad Mostaque, habla de «democratizar la IA». Y todos los que repiten ese discurso no dejan nunca en claro si hablan de democratizar el uso de la IA, el desarrollo de la IA, los beneficios económicos de la IA o la gobernanza de la IA. Lo han estudiado en Oxford.

La semana pasada publiqué un tema que llevaba siguiendo hacía varias semanas: cuál es el rol del código abierto en el boom de la IA. Muchos piensan que estamos ante una tecnología demasiado importante para dejarla en manos de un pequeño grupo de empresas.

[Archive]

Foto de Jan Kroon

La entrada Necesitamos más código abierto en la carrera por la IA se publicó primero en marilink.

Capitan Swing ha publicado «Pescar el salmón», un libro de Yago Álvarez Barba en la que analiza las narrativas falsas en la actual prensa salmón (como se le llama a la prensa económica en España por el color con el que antes iban tintadas sus páginas en papel), explicando varias técnicas de manipulación y desinformación tremendamente vigentes. He hablado con el autor y he publicado «Narrativas falsas en la prensa económica: bulos, mentiras y estadísticas».

[Archivo]

La entrada Narrativas falsas en la prensa económica se publicó primero en marilink.

No hablamos de cualquier empresa: Palantir es una gran tecnológica muy opaca y trabaja con las agencias de seguridad nacional de EEUU desde sus inicios. Ha sido acusada de violaciones a los derechos humanos

Esta semana hemos publicado varias piezas sobre un tema que ha llevado meses de pedir información utilizando el derecho al acceso a la información y la ley de Transparencia. Contamos cómo ha sido la entrada de Palantir en España, en un momento en el que su estrategia es conseguir entrar en las infraestructuras de los estados europeos, como la NHS en Reino Unido o los servicios policiales en Alemania.

Más:

El Ministerio de Defensa adjudica a Palantir un contrato por 16,5 millones de inteligencia militar [Archivo]
Qué es Palantir y quiénes son Peter Thiel y Alex Karp [Archivo]
Cómo es la excepción en la adjudicación que usó Defensa en España para dar el contrato a Palantir: el procedimiento negociado sin publicidad [Archivo]
Varias leyes y mucho secreto, los argumentos de Defensa sobre el contrato con Palantir y la ley de secretos oficiales [Archivo]

La entrada El primer contrato de Palantir en España se publicó primero en marilink.

Douglas Rushkoff contó esta anécdota en su último libro, publicado en español por Capitán Swing, y se remonta a los primeros tiempos de internet para explicar cómo la relación de la tecnología con el capital cambió a partir del desplome de las puntocom, hasta llegar a una búsqueda ciega del crecimiento. El resultado es que la innovación tecnológica ya no se entiende tanto como una forma de ofrecer productos y experiencias mejores y más satisfactorias a la gente, sino más bien como otro medio de redoblar la dominación y la extracción. 

Escribí sobre Rushkoff y su libro en «Douglas Rushkoff: el autor que escribe sobre el plan B de los multimillonarios para el apocalipsis y al que mencionó Yolanda Díaz» para Newtral.

[Archivo]

La entrada Fantasías escapistas de los multimillonarios ante el apocalipsis se publicó primero en marilink.

La mayoría de medios en un primer momento enfocaron la noticia desde lo tecnológico, algún tuitero wanna-OSINT decía cuál era la herramienta, y otros daban detalles que para mí no son lo fundamental del caso. Muchos se preguntaban por el Código Penal, y pedían leyes específicas «para la IA», confundiendo varias cosas. Hablé con Borja Adsuara, un abogado que sostiene que esto no es necesario, así como no hace falta una ley que tipifique la ciberestafa para castigar una estafa.

Y recordé el estudio más amplio y más citado sobre los deepfakes, que fue llevado a cabo en 2019 por Deeptrace, a pedido de Sensity AI. Desveló que el 96% de los vídeos deepfakes eran pornográficos y no consentidos. “La pornografía con IA daña exclusivamente a mujeres” dice ese informe. Lo que es necesario es que nos demos cuenta de que la IA es una arma masiva de última generación al servicio de la violencia machista. Después de avisar a las chicas que no tienen que avergonzarse, y a los padres que deben denunciar, el mensaje más importante según Al Adib, debe ir hacia los chicos: «No me vale que estés en un Whatsapp grupal y te quedes callado. Todo eso también daña a las víctimas». Lo mismo piensa Adsuara, que me explicó los tipos legales que corresponden. Todo, enlaces, estudios y lo que me contaron, en este reportaje para Newtral.

Foto: Kallerna | Wikimedia CC BY-SA 4.0

[Archivo]

La entrada El deepfake como arma masiva contra las mujeres se publicó primero en marilink.

Otra de las cuestiones es que tendemos a tratar la IA como una sola tecnología, cuando son muchas herramientas, procesos, materiales, industrias, servidores, localizaciones. Los estudios publicados por las tecnológicas se dejan fuera las primeras partes del proceso (extracción de materiales y datos, entrenamientos), y los últimos datos de investigadores independientes que tenemos son de antes de la pandemia.

Una de las promesas de la IA es que viene a solucionarnos los grandes problemas del futuro, entre ellos el cambio climático. Pero ¿cuánto consume hoy? ¿y si cuando llegamos a la AGI ya no nos queda planeta? La IA promete ayudar contra el cambio climático en un futuro, pero su desarrollo actual puede estar haciendo un daño al planeta que su remedio no pueda arreglar.

En este reportaje en Newtral (El impacto climático de la IA y su huella ecológica) hablo con expertos y ponemos cifras a este tema, que llevo siguiendo hace mucho tiempo.

[Archivo]

Foto: Marek Piwnicki

La entrada IA y cambio climático: la dificultad de las cifras se publicó primero en marilink.

Durante estos años, el equipo de periodistas de Rappler ha investigado las ejecuciones extrajudiciales contra sospechosos de traficar o consumir drogas, y ha documentado la difusión de desinformación gubernamental en Facebook, informando sobre la corrupción y las malas prácticas de los principales asesores del gobierno de Duterte. La historia de una premio Nobel de la Paz que dirige Rappler, un medio que hace fact-checking, es la de una persecución judicial (en Newtral he contado en qué se basan y por qué piden el cierre de Rappler) que intenta cerrar un medio crítico con el gobierno con una serie de demandas, que poco a poco la Justicia filipina va desestimando.

Ressa es una persona que ha sostenido siempre la esperanza en el trabajo periodístico bien hecho. Cada vez que tenemos noticias de una victoria suya o de su equipo, da gusto buscar la foto de su sonrisa para la pieza. Esta ha sido la de esta semana.

Foto: Lev Radin

[Archivo]

La entrada La sonrisa de Maria Ressa se publicó primero en marilink.