A veces nos olvidamos de una cuestión básica: las plataformas digitales también son software, y su utilización se encuentra sometida al cumplimiento de determinados términos y condiciones, plasmados en una licencia. Los titulares de estos servicios pueden delimitar cómo interactuamos con ellos y qué usos consideran admisibles; y pueden hacerlo tanto a nivel contractual como mediante la implementación de medidas técnicas orientadas a impedir usos no autorizados.

Como es natural, la gran mayoría de estas plataformas digitales fueron diseñadas para dar servicio a usuarios de carne y hueso. Usuarios que consumen publicidad, generan datos analíticos y pueden ser influidos a través del propio diseño de la interfaz. La proliferación de agentes automatizados altera por completo esa lógica; y probablemente por eso estamos viendo cómo cada vez más servicios introducen restricciones orientadas a limitar determinadas formas de automatización.

Pongámonos prosaicos. Imaginen que quieren comprar unas zapatillas de edición limitada que suelen agotarse en segundos, o monitorizar el stock de un determinado producto para ejecutar la compra en cuanto baje de un precio determinado. Técnicamente, resulta relativamente sencillo desplegar un agente IA capaz de automatizar esa operativa. El problema es que tendemos a asumir que, si el agente utiliza nuestras propias credenciales, su actividad constituye poco menos que una extensión natural de la nuestra. “Si yo tengo acceso legítimo a la plataforma, ¿qué diferencia hay?”. Pero las cosas no siempre son tan simples. Para muchos servicios digitales, un sistema automatizado capaz de interactuar persistentemente con su infraestructura no equivale a un usuario ordinario: se acerca más a un parásito que consume recursos sin ver un solo anuncio, y que rompe las reglas del juego para el resto de clientes.

Naturalmente, no toda automatización plantea los mismos problemas. Limitarnos a una interacción puntual presenta un escenario muy distinto a diseñar un sistema concebido para operar de forma persistente, masiva o coordinada sobre plataformas ajenas. Tampoco tiene la misma relevancia utilizar funcionalidades abiertamente disponibles, que desplegar mecanismos destinados a sortear bloqueos, captchas y otras limitaciones técnicas.

Desde el punto de vista jurídico, estas herramientas pueden generar conflictos relacionados con el incumplimiento de condiciones de uso, la afectación a bases de datos ajenas o la propia interferencia en la operativa de terceros. En determinados supuestos especialmente intensos, el problema puede desplazarse incluso hacia terrenos más delicados, como la vulneración de medidas técnicas de protección o la obstaculización grave del funcionamiento de un sistema informático. Palabras mayores; recogidas, incluso, en nuestro Código Penal.

A ello se añade un factor adicional: la escala. Una interacción individual puede resultar irrelevante; pero miles de agentes automatizados operando simultáneamente pueden generar una presión significativa sobre servicios ajenos, alterar su funcionamiento o incrementar notablemente sus costes operativos.

Evidentemente, estas tecnologías presentan utilidades perfectamente legítimas y un enorme potencial económico y organizativo; pero precisamente por ello conviene evitar aproximaciones ingenuas o excesivamente agresivas desde el inicio. A fin de cuentas, identificar ciertos riesgos antes del despliegue suele resultar bastante más sencillo que gestionar sus consecuencias después.

Antes de desplegar soluciones de IA agéntica, por tanto, merece la pena plantearse algunas preguntas básicas. ¿La plataforma donde queremos que corran permite realmente ese tipo de automatización? ¿Existen restricciones técnicas o contractuales? ¿Estamos automatizando una tarea razonable… o intentando forzar un entorno que claramente no desea ser automatizado?

La IA agéntica abre posibilidades enormemente interesantes, pero también introduce riesgos que muchas organizaciones y usuarios todavía no han terminado de dimensionar correctamente. Por eso conviene volver a la pregunta inicial: ¿por qué no hacerlo, si la máquina me deja? Pues porque, como recordaba el añorado Stefano Rodotà, “no todo lo que es técnicamente posible es también socialmente y políticamente aceptable, éticamente admisible y jurídicamente lícito”.

Automatizar la compra de esas estupendas zapatillas puede parecer una idea brillante… hasta que alguien decida recordarnos que las plataformas también tienen reglas, abogados y una forma muy particular de expresar su descontento.

Las posibilidades son muchas y muy tangibles que van desde gestionar el correo y la agenda, priorizar potenciales clientes, a responder mensajes o comentarios en redes sociales, hasta ejecutar tareas en herramientas internas, generar y enviar facturas o propuestas, producir contenido, o asistir en contextos más delicados como la gestión de alumnos o pacientes. Todo ello a una velocidad y escala que ningún equipo humano puede igualar (al menos en rapidez).

Precisamente ahí está la tentación, la miel en el panal: ahorrar tiempo en tareas de bajo valor a un coste marginal. Basta pasar cinco minutos en LinkedIn o YouTube para sentir que o automatizas todo o estás tirando tu tiempo a la trituradora de la felicidad y tranquilidad. Y ahí es donde creo que está el riesgo de todos estos mensajes, lo que no se cuenta (porque no se sabe). No porque la IA sea peligrosa en abstracto, sino por cómo se integra y se gobierna. Se habla mucho de beneficios, como si un agente fuese una capa más de software que simplemente hace cosas, pero rara vez se aborda como lo que es: un actor dentro de un proceso del que alguien responde. Trabaja con información (personal, empresarial, confidencial), infiere conclusiones y produce efectos en clientes, empleados, operaciones y, en más ocasiones de las que uno piensa, en derechos de terceros.

Con esa premisa, merece la pena mirar el despliegue con una visión más amplia que la del tutorial rápido. Porque los problemas no suelen venir del diseño del uso y de las expectativas puestas en él. Y se repiten con una regularidad casi incómoda.

1. Creer que todo se queda en casa
El primer error es asumir, casi por inercia, que los datos se procesan dentro del entorno de la empresa. En la práctica, muchas arquitecturas implican llamadas a servicios externos, procesamiento en infraestructuras del proveedor, subencargados y, en algunos casos, flujos que cruzan fronteras.

El problema es que el dato deja de estar donde se cree. Un ejemplo habitual es automatizar el correo para hacer seguimiento de propuestas o priorizar oportunidades, lo que implica tratar datos personales y, a menudo, información especialmente sensible (know-how, pricing, estrategia comercial o propiedad intelectual), en sistemas que dan acceso amplio a tercer al buzón, con procesamiento por otros terceros y, posiblemente, con transferencias internacionales de datos fuera de Europa (lo que ya sabemos que es un riesgo).

Cuando esa información sale de la esfera de control propio, ya no se está hablando solo de seguridad de la información y se abren riesgos mucho más grandes si hay datos personales. O dicho de otro modo, cuando el dato sale, el riesgo legal y operativo aumenta, porque el control se reduce.

2. Automatizar un sesgo y llamarlo eficiencia
El segundo error suele venir tapado dentro de la “optimización”, ya que el agente no inventa criterio, aprende patrones, que vienen de datos históricos, reglas implícitas y decisiones previas que, muchas veces, nadie se paró a cuestionar.

Pensemos en agentes para filtrar candidatos, priorizar leads, segmentar clientes o decidir a quién se le ofrece una condición u otra. En el dashboard todo es bonito y parece razonable: sube la conversión, baja el tiempo de respuesta, el proceso se ordena y se ahorra el tiempo prometido. Pero el problema es que automatizar no solo acelera, también fija el sesgo. Si el embudo ha premiado determinados perfiles, canales o zonas, el agente tenderá a replicarlo, y si el dato de partida está contaminado, el resultado no será neutral.

Además, hay un matiz adicional que suele olvidarse y es que a veces ni siquiera son sesgos propios. Son patrones heredados del modelo, del proveedor o de datos de terceros. Reglas que operan dentro del proceso sin que esté claro de dónde vienen ni por qué pesan en las decisiones.

Cuando el agente IA se usa en decisiones que afectan a personas, la consecuencia deja de ser estadística en el dashboard y pasa a ser jurídica y reputacional. La cuestión es que normalmente solo se detecta cuando alguien lo denuncia desde fuera o cuando el patrón ya es visible a escala. Y en ese punto el problema no es que el agente se equivoque un día con una persona, sino que ya se está equivocando en serie, en base a la autoridad que se le ha concedido. Lo delicado no es que exista sesgo. Es no saber cuál es, ni cuándo se activa.

3. Delegar decisiones sin poder explicarlas
El tercer error aparece cuando el agente empieza a decidir cosas relevantes y nadie dentro de la organización puede explicar por qué ha decidido lo que ha decidido. No porque el sistema falle o tenga un bug, sino porque funciona como una caja negra muy cómoda: entra información, sale una acción, y mientras todo parece ir bien y se ahorra el tiempo prometido a bajo coste, todo es correcto. Pues no.

Esto ocurre cuando se usan agentes para priorizar clientes, rechazar solicitudes, clasificar incidencias, decidir qué contenido se muestra a quién o activar alertas automáticas. Desde dentro, la excusa es muy previsible: «lo ha calculado el sistema», «es lo que recomienda el modelo», «sale del scoring». El problema es que, cuando alguien afectado pregunta por qué ha ocurrido algo, esa respuesta deja de ser suficiente.

Ahí es donde se produce el choque con la realidad jurídica y organizativa. Porque si no se puede explicar mínimamente la lógica de una decisión, tampoco se puede sostener, ni defender. Ni frente a un cliente, ni frente a un empleado, ni frente a al regulador. Hay que hacerse una pregunta incómoda, pero inevitable si no puedes explicar por qué el sistema decide como lo hace, ¿de verdad sigues siendo tú quien toma la decisión? Dependiendo de la respuesta, lo que era una ventaja operativa se convierte en una dependencia difícil de defender.

4. Delegar la decisión y olvidar la responsabilidad
Otro de los errores más comunes al desplegar agentes de IA es pensar que basta con añadir una mera validación humana al final del proceso para estar cubiertos, algo así como un checkbox, un botón que alguien debe pulsar para acreditar que se ha revisado el resultado por si acaso. Sobre el papel suena razonable, aunque muchas veces es solo una coartada.

Cuando un agente de IA realiza un scoring, una priorización o una recomendación y ese resultado se utiliza de forma determinante para tomar decisiones que afectan a personas, como conceder un servicio, descartar un perfil u ofrecer unas condiciones, el proceso funciona como una decisión automatizada, aunque formalmente exista un paso humano posterior. Esto es lo que ha dejado claro el TJUE en el asunto Schufa: si el resultado automático es decisivo, no estamos ante un mero apoyo, sino ante el núcleo de la decisión automatizada.

El RGPD no prohíbe la automatización, pero sí exige algo muy concreto: intervención humana real, explicabilidad y posibilidad de impugnación. Y en este contexto «real» significa significativo. O dicho de otro modo, que alguien pueda entender, cuestionar y corregir el resultado con criterio al final del proceso. No sirve darle siempre al botón sugerido por la IA. Esto tiene consecuencias jurídicas que conviene haber previsto antes, no cuando llegue la primera reclamación. Porque quien tendrá que explicarlo y sostenerlo no será el agente: será la empresa.

5. Desplegar sin gobernanza previa
El quinto error es el que suele estar detrás de todos los anteriores: desplegar IA como si fuera una funcionalidad más del stack, sin un marco de gobernanza previo. Se integra, se prueba, funciona, se pone en producción y se ha ahorrado tiempo y dinero. Pero si se deja fuera la gobernanza previa, entran dos variables que suelen llegar juntas: el riesgo reputacional y el sancionador.

Aquí aplican principalmente dos marcos regulatorios a la vez. Por un lado, el Reglamento de IA: si el agente se utiliza en empleo, educación, crédito, seguros, acceso a servicios esenciales o decisiones que afectan de forma relevante a personas, es fácil caer en supuestos de alto riesgo. Ahí se exigen obligaciones reforzadas de gestión del riesgo, documentación, calidad y gobernanza de datos, registros y trazabilidad, y supervisión humana efectiva. La Agencia Española de Supervisión de Inteligencia Artificial (AESIA) acaba de publicar unas guías interesantes relacionadas con estos temas y que trataré más adelante. Por otro lado, el Reglamento General de Protección de Datos: si hay datos personales, aplican base jurídica, minimización, transparencia, limitación de finalidad y seguridad. Y si el uso implica decisiones automatizadas con efectos jurídicos o similares, entran también las garantías de la supervisión humana en decisiones automatizadas y el derecho a entender y cuestionar el resultado. Lo importante es que estas obligaciones no compiten, sino que se acumulan, igual que las sanciones.

Sin gobernanza, se operar a ciegas, pues no se sabe qué agentes hay realmente desplegados, qué datos tratan, en qué proveedores se apoyan, qué decisiones influyen, qué trazabilidad existe, quién puede parar el sistema o cómo se sostiene una decisión cuando alguien la impugna. Y ahí llegan los sustos, a veces en forma de quejas, a veces en forma de brechas, a veces en forma de procedimiento sancionador.

Al final, los cinco errores anteriores responden al mismo patrón: se despliega rápido y se gobierna tarde.
La solución, por supuesto, no es sencilla ni rápida, ni se puede delegar en un agente de IA. Pasa por construir el modelo cuanto antes y empezando por los cimientos: primero hacer un inventario real de usos de IA (no me cansaré de decirlo); luego clasificar por riesgo y contexto de uso y terminar con las acciones de control antes de producción (revisar bases jurídicas y transparencia cuando hay datos personales, evaluaciones de impacto cuando proceda, contratos y supervisión de proveedores, seguridad y minimización, y supervisión humana capaz de intervenir con criterio, no solo de validar) son algunas de las cosas a tener en cuenta según el caso de uso.

La diferencia entre automatizar con cabeza y automatizar a ciegas no está en el modelo que se elija, sino en si se puede explicar, controlar y sostener lo que ese modelo hace, y hacerlo dentro del marco normativo europeo, cuando el negocio ya depende de ello. La regulación no viene a quitar la miel, sino a recordar que el panal tiene reglas, y que, sin control desde el diseño, los pinchazos suelen suelen venir si si se entra al panal con mano desnuda.

Cada año, cuando llega el Black Friday, no solo se aceleran las ventas: también lo hacen los errores. La escalada publicitaria por comunicar ofertas, actualizar precios y llegar antes que la competencia provoca que afloren fallos que, en cualquier otra semana, pasarían algo más desapercibidos. Este reclamo publicitario, cada vez más extendido (y en conjunto con el “Cyber Monday”), provoca que durante estos días afloren errores en los procesos de venta online que, en muchos casos, tienen su origen en las prisas, el copia-pega de condiciones mal adaptadas o la ausencia de una revisión jurídica adecuada y que pueden provocar incidencias importantes.

En un entorno donde la presión por lanzar promociones y llamar la atención con descuentos es máxima, los e-commerce suelen enfrentarse a un enemigo silencioso: el detalle normativo. No es algo nuevo, pero el Black Friday actúa como una lupa que amplifica cualquier descuido. Y basta un error menor como una descripción ambigua, un precio mal actualizado, una política de desistimiento incompleta, para desencadenar un conflicto que, en plena campaña, puede convertirse en un problema operativo y reputacional.

Y es que hay que ponerse en los zapatos del comprador. Lo que en tienda física se suple con la simple inspección del artículo, verlo, tocarlo, probarlo, en Internet depende exclusivamente de lo que la web comunica. Por eso la ley exige que la descripción sea completa, precisa y verificable. En estas fechas, cualquier ambigüedad sobre características esenciales, compatibilidades o limitaciones, suele resolverse a favor del consumidor.

Pero sin duda, el precio es el protagonista indiscutible del Black Friday y también es una fuente habitual de problemas. Las llamadas “falsas rebajas” (incrementos previos del precio para simular descuentos mayores) son vigiladas por las autoridades y las organizaciones de consumidores y usuarios. Y cada vez tienen más herramientas a su disposición para comprobarlo en segundos. Esto, además de ser una práctica éticamente cuestionable, ha sido objeto de sanciones por la Administración de Consumo y confirmadas judicialmente, como ha señalado el Tribunal Superior de Justicia de Madrid en distintas resoluciones que avalan el depósito de más de 100.000€ en multas a varias empresas por ese motivo.

Los plazos de entrega y devolución también concentran buena parte de las reclamaciones. El vendedor debe indicar un plazo realista, no dependiente de su voluntad ni de la de terceros. Y el derecho de desistimiento (14 días naturales, salvo excepciones en determinados productos o servicios digitales) debe estar explicado sin rodeos. En campañas de pico, una política mal redactada o un proceso de devolución confuso puede traducirse en una avalancha de incidencias.

El Black Friday no solo mide la capacidad logística o comercial de un e-commerce; también pone a prueba su madurez jurídica. Quien llega bien preparado reduce riesgos y transmite confianza. Quien improvisa descubre, casi siempre demasiado tarde, que acaba dedicando más tiempo a gestionar incidencias que a vender.

El expediente sancionador detalla que X no comprobó si Quantum AI, una de las entidades anunciadas en su plataforma, estaba autorizada para prestar servicios de inversión ni si figuraba en la lista de entidades no autorizadas por la propia CNMV, también conocida como Lista de Chiringuitos Financieros (una de esas listas en la que es mejor no estar). Y que no lo hizo, además, tras un requerimiento formal del supervisor. Por lo visto, la plataforma permitió campañas de un actor no autorizado, sujeto a múltiples advertencias, que empleaba incluso la imagen de personajes públicos para dotar de credibilidad a una supuesta aplicación de inversiones que prometían rentabilidades improbables. Nada nuevo en el universo de los chiringuitos financieros, salvo un matiz importante: esta vez, el foco del supervisor ya no está solo en quien se promociona, sino en quien le da altavoz.

Este movimiento encaja con lo que ya anticipaba en este mismo blog en 2020 y 2021: cada vez que un mercado se llena de prácticas opacas, el regulador acaba reaccionando, y el péndulo suele pasarse al otro lado de forma brusca. Entonces lo veíamos con la publicidad de wallets no autorizados, con ICOs improvisadas, con plataformas opacas o con la escalada de supuestas inversiones milagrosas que acababan en querellas, pérdidas y titulares. Hoy la reacción es más amplia, más directa y más orientada a proteger al pequeño inversor en un entorno donde la línea entre publicidad y captación fraudulenta se vuelve peligrosamente fina.

Las plataformas digitales han asumido durante años que no estaban sometidas al mismo nivel de escrutinio que los actores financieros tradicionales. No ofrecían servicios de inversión; simplemente mostraban publicidad ajena. Pero la CNMV ha dejado claro que ese planteamiento ya no basta. Cuando una plataforma amplifica promesas que rayan la estafa, facilita el acceso a operadores no autorizados y desoye requerimientos formales, no puede escudarse en la neutralidad técnica. No en un mercado donde los fraudes en línea baten récords, donde los usuarios confían en la reputación de la plataforma más que en la de los anunciantes, y donde las estafas se mimetizan con noticias reales mediante el uso de personajes públicos, logotipos de medios y técnicas cada vez más sofisticadas.

En esa lógica, la multa a X es coherente con la tendencia regulatoria europea: responsabilizar a quienes ostentan poder real sobre la difusión del mensaje. El Reglamento MiCA, la futura reforma de la Ley del Mercado de Valores, las normas sobre publicidad financiera o incluso el nuevo marco de diligencias reforzadas para proveedores de servicios digitales apuntan en la misma dirección: la supervisión ya no se limita al origen del criptoactivo o del servicio financiero, sino también al canal que lo promueve. Y es difícil discutir la necesidad de este enfoque cuando las cifras de fraude financiero online crecen a doble dígito y buena parte de esos engaños se propaga precisamente a través de plataformas globales cuyo negocio depende de la publicidad.

Lo llamativo es que la situación se parece mucho a la que describía en aquellos artículos: un ecosistema que avanza más rápido que las normas, usuarios atraídos por la promesa de beneficios fáciles, operadores sin licencia actuando desde jurisdicciones exóticas, y una percepción de impunidad que se alimenta del anonimato tecnológico. La diferencia está en que ahora las autoridades tienen más herramientas para intervenir y menos paciencia ante la inacción de intermediarios clave. Y si antes el mensaje era que “nadie regala duros a cuatro pesetas”, hoy habría que añadir que tampoco debería regalarlos una plataforma que monetiza cada clic sin verificar quién está detrás.

Cierro con una idea que enlaza bien con aquella reflexión de 2021: los mercados solo funcionan cuando hay confianza. Cuando esta se erosiona, la respuesta suele ser más regulación, más sanciones y más controles. Esta multa es un recordatorio de que la transparencia y la diligencia no son un deseo del regulador, sino un requisito para sostener un entorno donde la innovación financiera pueda convivir con la protección del inversor en criptomonedas o en productos financieros convencioanles. Y también, por qué no decirlo, de que los chiringuitos financieros siguen ahí fuera… y de que el verdadero progreso será cuando no necesitemos recordarlo cada cierto tiempo.

En los últimos años, el marco normativo ha empezado a responder. En España, el artículo 64.4.d) del Estatuto de los Trabajadores —tras su modificación en 2021— reconoce el derecho de los representantes de las personas trabajadoras a ser informados “de los parámetros, reglas e instrucciones en los que se basan los algoritmos o sistemas de inteligencia artificial que afectan a la toma de decisiones que puedan incidir en las condiciones de trabajo, el acceso y mantenimiento del empleo, incluida la elaboración de perfiles”. En aplicación de este precepto, la vicepresidenta segunda y ministra de Trabajo, Yolanda Díaz, ha anunciado una campaña de inspección dirigida a las grandes plataformas tecnológicas para comprobar cómo emplean los algoritmos en la gestión laboral.

En paralelo, el Reglamento General de Protección de Datos (RGPD) impone principios de minimización, transparencia, proporcionalidad y supervisión humana en las decisiones automatizadas que tengan efectos jurídicos o significativos sobre las personas.

Y el nuevo Reglamento Europeo de Inteligencia Artificial (IA Act) refuerza esta línea al calificar como sistemas de alto riesgo aquellos que intervienen en procesos de contratación, evaluación o despido, imponiendo obligaciones reforzadas de documentación, explicabilidad y control humano.

La conclusión es nítida: la normativa no prohíbe la IA en recursos humanos, pero sí exige gobernarla con rigor y trazabilidad.

La cuestión no es local. La AEPD, en su Memoria de 2023, ya advirtió del riesgo de opacidad en la toma de decisiones automatizadas en el ámbito laboral y de la necesidad de reforzar la información a los trabajadores sobre el uso de algoritmos. También en su Guía sobre tratamientos de datos en relaciones laborales subraya que las herramientas basadas en IA deben respetar los principios del artículo 22 del RGPD y garantizar siempre la posibilidad de intervención humana. En la misma línea, la CNIL francesa ha publicado recomendaciones específicas sobre la transparencia en algoritmos de evaluación y selección, alertando sobre su potencial discriminatorio; y el Comité Europeo de Protección de Datos (CEPD) ha recordado que las evaluaciones automatizadas en el empleo requieren garantías reforzadas de información, revisión y supervisión efectiva. En conjunto, el mensaje de las autoridades es claro: la automatización sin control no es compatible con los derechos fundamentales.

Dos planos de cumplimiento: quienes desarrollan y quienes utilizan IA

Las obligaciones varían según el rol que tenga cada uno. Los desarrolladores o comercializadores de sistemas de IA destinados a la gestión de personas deben demostrar el cumplimiento de los requisitos de transparencia, explicabilidad y respeto al RGPD y al IA Act. Esto implica documentar la lógica de los algoritmos, realizar evaluaciones de riesgo, mitigar sesgos y garantizar la posibilidad real de intervención humana. En definitiva, incorporar el cumplimiento desde el diseño.

Las empresas que adquieren o utilizan soluciones IA no pueden limitarse a confiar ciegamente en su proveedor. Deben conocer cómo funciona el sistema, qué datos utiliza y para qué decisiones se aplica. La diligencia mínima pasa por revisar los contratos, exigir evidencias de cumplimiento, incorporar cláusulas de responsabilidad y realizar auditorías periódicas. El principio de responsabilidad proactiva del RGPD obliga también aquí: usar IA de terceros no exime de responder por sus efectos.

Y si además cuentan con representación legal de los trabajadores, la obligación de transparencia será doble: frente a la autoridad y frente al comité de empresa, como ya empieza a verse en las primeras actuaciones inspectoras anunciadas por el Ministerio de Trabajo.

Riesgos y oportunidades para las empresas tecnológicas

El riesgo no radica en usar algoritmos, sino en no entender su alcance. Muchas compañías integran soluciones de IA sin analizar su impacto jurídico o ético, lo que puede traducirse en decisiones opacas, discriminatorias o desproporcionadas. También en conflictos con empleados, sanciones administrativas o daños reputacionales.

Un algoritmo de selección que descarte candidatos por edad o localización, o un sistema que mida la productividad según el tiempo frente a pantalla, puede vulnerar la igualdad, la intimidad o incluso el derecho a la desconexión… máxime si no hay un verdadero control por parte de un humano (uno inteligente, si se me permite el guiño).

Por el contrario, una gestión algorítmica bien diseñada puede convertirse en una ventaja competitiva real. Las empresas que establezcan políticas claras sobre el uso de la IA demostrarán transparencia, responsabilidad y capacidad de anticiparse a las exigencias regulatorias. En un mercado donde la confianza tecnológica es un valor escaso, la gobernanza de la inteligencia artificial y la protección de datos será un signo de madurez corporativa.

Claves para una gestión responsable

En mi opinión, el cumplimiento se construye sobre tres ejes esenciales.

Primero, inventario y auditoría: identificar qué sistemas algorítmicos se utilizan, qué datos tratan y con qué finalidad. Este mapa permite conocer los riesgos y aplicar medidas correctoras. Tanto desarrolladores como usuarios deben mantenerlo actualizado y revisarlo periódicamente.

Segundo, gobernanza: definir políticas internas sobre el uso de IA con criterios de transparencia, revisión y supervisión humana. La gobernanza empieza en el diseño, pero debe extenderse a la implantación y al uso, en coherencia con el RGPD y con otras normas sectoriales, como ya he dicho otras veces.

Y tercero, formación y cultura: coordinar a RRHH, tecnología y cumplimiento, pero también formar a quienes emplean la tecnología y a quienes están sujetos a ella. Sin conocimiento, la IA deja de ser una herramienta y se convierte en un riesgo.

Mirando hacia adelante

El reto no es solo técnico ni jurídico, sino cultural. La IA puede hacer el trabajo más justo y eficiente, pero solo si se usa con criterio y respeto a los derechos fundamentales. La supervisión algorítmica ha pasado de ser una recomendación a convertirse en una prioridad en la que la gobernanza de la IA nunca más será opcional.

Las empresas que lo entiendan antes serán las que mejor capitalicen la confianza. En un futuro donde los algoritmos decidirán cada vez más, lo verdaderamente diferencial será quién se atreva a explicar bien sus sistemas y demostrar que están limpios de polvo y paja.

La investigación a ChatGPT no es un hecho aislado, sino un reflejo de la creciente preocupación por cómo los sistemas de IA manejan la información personal. La razón principal de este escrutinio radica en la propia naturaleza de estos sistemas: la IA generativa aprende y evoluciona a partir de grandes volúmenes de datos, que pueden incluir datos personales. Y cuando un sistema trata datos personales —ya sea porque los utiliza en su entrenamiento, porque procesa entradas del usuario, o porque genera resultados que afectan a personas identificables— entran en juego todos los principios y obligaciones del Reglamento General de Protección de Datos. Y es que, precisamente, el RGPD establece desde 2018 un marco normativo sólido y exigente, aplicable a cualquiera que trate datos personales: desde la multinacional más innovadora hasta la pyme más modesta.

En este marco, ya sabemos que no basta con cumplir formalmente. El RGPD exige una actitud proactiva y preventiva por parte de quienes diseñan, desarrollan o ponen en marcha soluciones basadas en datos personales. La protección de datos desde el diseño y por defecto no es una etiqueta decorativa, sino una obligación legal que implica integrar medidas técnicas y organizativas desde las primeras fases del proyecto. Asimismo, la evaluación de impacto en protección de datos es un instrumento clave cuando se introducen tecnologías nuevas o tratamientos innovadores que pueden afectar significativamente a los derechos de las personas.

A este contexto se suma ahora el Reglamento de Inteligencia Artificial de inminente aplicación completa, que establece requisitos específicos para los sistemas de IA según el nivel de riesgo que impliquen y que complementa al RGPD, y en el caso de modelos que tratan datos personales —especialmente si son considerados de alto riesgo— obliga a una doble verificación: por un lado, el cumplimiento de obligaciones específicas como la evaluación de riesgos, la trazabilidad, la supervisión humana o la documentación técnica de los sistemas de IA; por otro, la compatibilidad con los principios de protección de datos; por otro,

Por tanto, cuando se trate de sistemas de inteligencia artificial que entren en el ámbito de aplicación del Reglamento de IA, especialmente aquellos clasificados como de alto riesgo, deberán cumplirse una serie de obligaciones específicas que van más allá del marco del RGPD. Entre ellas, destaca la obligación de realizar (por parte del desarrollador) y revisar (por parte del usuario del despliegue) una evaluación de impacto en los derechos fundamentales, que permita identificar y mitigar los posibles efectos adversos del sistema IA sobre las personas; garantizar elementos como la trazabilidad del sistema, la supervisión humana efectiva, la calidad del conjunto de datos utilizado y la disponibilidad de documentación técnica suficiente para acreditar el cumplimiento. Todo ello con un enfoque preventivo, orientado a reforzar la seguridad jurídica y la confianza en el despliegue de tecnologías cada vez más influyentes y al alcance de todos y hasta de forma gratuita.

Ahora bien, cuando estos sistemas IA utilizan datos personales —ya sea en su fase de entrenamiento, durante su funcionamiento o en los resultados que generan— entran también en juego las obligaciones generales del RGPD. En estos casos, será necesario asegurar que los datos son exactos, pertinentes y limitados a lo estrictamente necesario para la finalidad del tratamiento. Habrá que establecer medidas de seguridad técnicas y organizativas adecuadas, garantizar el ejercicio efectivo de los derechos de los interesados —como el acceso, la rectificación o la oposición— y aplicar los principios de protección de datos desde el diseño y por defecto. Asimismo, deberá existir una base jurídica válida para cada tratamiento concreto, y modelos de gobernanza que integren la dimensión jurídica del dato personal como un eje central del sistema.

El creciente interés de las autoridades de control por los sistemas de IA generativa —como demuestra el caso de ChatGPT— refleja una evolución natural del marco regulador hacia una mayor vigilancia del uso de estas tecnologías.

Cumplir con el RGPD y con el Reglamento de IA no debería entenderse como una carga para el sector tecnológico, sino como una condición imprescindible para su consolidación. Las empresas que integren estos requisitos desde el diseño, que documenten adecuadamente su cumplimiento y que asuman una responsabilidad activa, no solo minimizarán riesgos legales o reputacionales, sino que también se posicionarán como referentes de una innovación responsable, sostenible y plenamente alineada con los valores europeos. Esa apuesta por la legalidad y la confianza es, además, una ventaja competitiva en un mercado cada vez más exigente.

Ahora bien, el equilibrio es fundamental: una aplicación excesivamente rígida de las normas y un exceso de burocracia podría acabar asfixiando el desarrollo tecnológico en Europa, en un momento en que la competencia global no da tregua. La clave está en aplicar la regulación con inteligencia, reforzando los derechos fundamentales sin frenar la capacidad de innovar.

Lea el artículo completo [+]

Al no existir una autoridad central que controle la blockchain, surgen dudas o impedimentos sobre quién es responsable en caso de fallos o usos indebidos, o en cómo aplicar las normas de los estados cuando todo está tan distribuido, como por ejemplo, la protección de datos personales en las redes blockchain. Es un oxímoron, pues mientras que la blockchain garantiza la inmutabilidad de los datos, el Reglamento General de Protección de Datos establece derechos como la rectificación o la supresión.

La Agencia Española de Protección de Datos (AEPD) ha publicado recientemente una nota técnica titulada “Blockchain y protección de datos: hacia un tratamiento compatible con el RGPD”, en la que analiza cómo alinear el uso de la tecnología blockchain con los requisitos del RGPD así como proporcionar pautas para diseñar soluciones que cumplan con las normativas europeas en materia de privacidad y protección de datos. O por lo menos lo intenta.

Según la Agencia, las soluciones basadas en blockchain deberían implementar estrategias técnicas como el cifrado, el uso de hashes o referencias externas, para limitar el acceso a los datos personales de forma preventiva sin comprometer la integridad del sistema. Es decir, que la mejor solución es evitar que los datos personales se incluyan directamente en la blockchain; así, no habrá necesidad de suprimir ni modificar nada. O como diría mi abuela: muerto el perro, se acabó la rabia.

Sin embargo, en su análisis, la AEPD también admite que estas soluciones no resuelven completamente las tensiones entre la tecnología blockchain y el RGPD, precisamente por que estas medidas deberían aplicarse al más puro estilo del principio de la privacidad desde el diseño y por defecto. Para ello, la Agencia sugiere explorar esquemas de gobernanza que permitan asignar roles claros dentro de la red blockchain.

En mi opinión hay dos problemas claros de difícil solución. El primero es que la blockchain es descentralizada desde el diseño y por defecto y tratar de controlarla legalmente con las herramientas actuales no va a servir de nada sin una regulación especial al efecto. Por supuesto, no es algo fácil y hay que pensarlo bien, pues cuanta más regulación existe, más lejos de ella se montan estas redes, lo que supone un riesgo para los derechos y libertades de las personas, y también para su patrimonio. Actualmente, localizar a los titulares de algunas redes o sistemas que usan esta tecnología es tremendamente complicado cuando se quieren perseguir estafas o robos con criptomonedas, no digamos ya para rectificar un dato personal.

El segundo es el impacto de la Inteligencia artificial en la blockchain. De hecho, creo que la AEPD no ha considerado que la IA que puede complicar aún más las cosas. En los últimos años, la inteligencia artificial está permitiendo desarrollar aplicaciones cada vez más sofisticadas en el ámbito del blockchain, como el análisis de grandes volúmenes de datos generados por estas infraestructuras, facilitando la extracción y análisis de datos personales dentro de una red blockchain, aumentando los riesgos de reidentificación, incluso en datos que inicialmente han sido cifrados o anonimizados.

En mi opinión, la nota técnica de la AEPD representa un avance para abordar los retos que plantea la blockchain en el cumplimiento del RGPD pero pone de manifiesto que aún estamos ante un terreno complejo y abierto. Siempre he defendido que el equilibrio entre innovación y cumplimiento normativo es crucial para impulsar la competitividad y el desarrollo de los negocios, pero lo cierto es que la blockchain es mayoritariamente utilizada por personas que invierten o confían en sistemas y redes poco adecuadas, ubicadas en países como Singapur, Hong Kong, las Islas Cook o San Vicente y las Granadinas u otros chiringuitos financieros, entre otros motivos, por la falta de incentivos para desarrollarse en Europa y debido a su hiperregulación, habría que atajar esta situación y puede que solo a base de legislar y sancionar no sea el camino adecuado. El equilibrio es complicado, pero no imposible.

El Reglamento IA tiene como objetivo establecer un estándar legal común para asegurar un uso ético y seguro de los sistemas de inteligencia artificial (con especial énfasis en aquellos que presenten un riesgo para la salud, la seguridad o los derechos fundamentales) desde su desarrollo, comercialización y utilización. De hecho, el legislador busca un enfoque equilibrado que garantice que la tecnología se utilice de manera responsable sin eliminar su potencial beneficio, en una industria en auge donde Europa no puede permitirse quedar por detrás de otras potencias.

El RIA es una norma compleja, llena de excepciones y salvedades, por lo que abordarla con detalle en un post es imposible. De todas formas, a modo de resumen, (la norma tiene 180 considerandos, 113 artículos, 13 anexos y 419 páginas) quiero destacar varios aspectos clave a tener en cuenta:

En primer lugar, se trata de una norma de producto, es decir, sus obligaciones principales recaen en los «sistemas basados en máquinas» de IA, con el fin de preservar derechos de las personas, la democracia, el Estado de Derecho y la protección del medio ambiente, mediante obligaciones a fabricantes, distribuidores y usuarios. Para favorecer esta protección, se ha establecido un ámbito de aplicación tremendamente amplio, pues se aplicará también a sistemas IA creados o desplegados fuera de la UE cuando se introduzcan en nuestro mercado único europeo, o cuando cuando los resultados de salida generados por el sistema de IA se utilicen en Europa.

En segundo lugar, se prohíben directamente determinados sistemas de IA por considerarlos contrarios a los valores democráticos de la UE (aunque con algunas excepciones). Esto incluye el empleo de técnicas subliminales para alterar el comportamiento de una persona de manera perjudicial, el tratar de aprovechar vulnerabilidades de grupos específicos o el uso por autoridades públicas para evaluar o clasificar la fiabilidad de personas según su conducta social, con posibles consecuencias negativas. El uso de estos sistemas puede conllevar multas de hasta 30 millones de euros o, en el caso de empresas, de hasta el 6% de su volumen de negocio total anual mundial del ejercicio financiero anterior. ¡Y las multas del RGPD nos parecían altas!

Además, el Reglamento IA especifica una serie de sistemas de alto riesgo sobre los que recaen obligaciones específicas. Podríamos englobarlos en dos categorías: los sistemas consistentes en componentes de seguridad de productos, o que son productos en sí mismos, como los integrados en máquinas, juguetes, ascensores, equipos radioeléctricos, equipos de embarcaciones de recreo, productos sanitarios, automoción o aviación, entre otros; y los que se consideran de alto riesgo por su finalidad, como los que se utilizan para la identificación biométrica y la categorización de personas físicas, la determinación del acceso o la asignación de personas a centros de educación o formación, la evaluación de acceso, la gestión, evaluación, contratación o despido del personal, así como aquellos relacionados con infraestructuras críticas, la aplicación de leyes, la administración de justicia o el acceso a servicios públicos esenciales, entre otros. Para todos quienes están desarrollando o utilizando estos sistemas, la norma prevé una amplia batería de obligaciones.

También se establecen normas para el resto de los sistemas de IA, tanto comunes como aquellos que puedan implicar un riesgo sistémico, basadas en obligaciones de transparencia, evaluación de riesgos y protección de ciberseguridad, así como un continuo recordatorio del cumplimiento del Reglamento General de Protección de Datos cuando se emplee información personal en dichos modelos o sistemas, o tengan incidencia en su entrenamiento o uso posterior.

Destaca también que la norma establece mecanismos de control, vigilancia y supervisión del mercado, así como obligaciones de colaboración con las autoridades de control. Este punto va a resultar complejo en la práctica, pues en España habrá varios organismos con competencias en la materia, dependiendo del tipo de sistema IA que se use y su finalidad. De forma general, la supervisión corresponderá a la AESIA, con sede en A Coruña; pero en función del sistema IA, su composición, finalidad y uso, podrán entrar en juego otras agencias y reguladores, como la AEPD en lo concerniente a datos personales, la Agencia Española de Medicamentos y Productos Sanitarios o en la Agencia Estatal de Seguridad Aérea, por ejemplo.

A modo de conclusión, me gustaría destacar dos ideas. En primer lugar, el Reglamento IA exige un enfoque integral que permita evaluar el grado de implicación de la inteligencia artificial en las organizaciones. Para ello, será imprescindible establecer modelos de gobernanza de IA a nivel interno que integren aspectos técnicos, procesos y organización. Esto implica no solo inventariar todos los sistemas que se empleen (incluidos aquellos integrados en aplicaciones de terceros), sino también analizar su interacción con normativas clave como la de protección de datos, la propiedad intelectual o la reciente Directiva (UE) 2024/2853, sobre responsabilidad por daños causados por productos defectuosos. Solo mediante un modelo de gobernanza interna adecuado, las organizaciones podrán identificar, gestionar y mitigar los riesgos asociados a estos sistemas, sentando así una base sólida para un uso responsable y estratégico de la inteligencia artificial.

La segunda, y quizás la más importante, es aprender de la experiencia de la entrada en vigor del Reglamento General de Protección de Datos en 2016 y su plena aplicación en 2018 y es que este nuevo Reglamento IA será de plena aplicación a los dos años, el 2 de agosto de 2026. Y dos años pasan muy rápido.

En este sentido, resulta imprescindible participar en espacios donde se debate y analiza esta norma en profundidad, como a través de los foros y eventos de la Asociación Profesional de Profesionales de la Privacidad (APEP), o en actualizarse con programas formativos como el curso que estamos impartiendo junto a Aranzadi La Ley. Reforzar el entendimiento técnico y estratégico será esencial para que empresas y profesionales logren convertir esta regulación en un aliado para la innovación y la confianza. Y como sucedió con el RGPD, los próximos años marcarán el ritmo de la transformación digital en Europa. Permítanme cerrar este post como terminé uno escrito el 29 de junio de 2017, sobre la inminente aplicación del RGPD: tempus fugit!

Lea el artículo completo [+]