En España, los algoritmos ya deciden -o más bien se usan para decidir- quién recibe una ayuda de vivienda o una hipoteca, o el bono social; quién tiene prioridad para una prueba médica; qué víctima de violencia de género recibe protección; qué estudiante logra entrar al grado y la universidad deseadas, o quién comete fraude. (View Highlight)
Cada vez más aspectos de nuestra vida están mediados por sistemas automatizados, desde los más cotidianos hasta los más decisivos.
Contenido, entretenimiento, series, música, ficción, prensa… pero también empleo, créditos, seguros, redes sociales, salud, educación, ayudas públicas, policía predictiva o control migratorio. Son solo algunos de los ámbitos donde se usan algoritmos y modelos de IA para tomar decisiones que pueden condicionar, limitar o incluso impedir el acceso a oportunidades vitales. (View Highlight)
• La IA interviene en decisiones sobre el contenido que ves en redes o plataformas, la publicidad que recibes, los precios que se te muestran al comprar online, las rutas que sigues, las ofertas laborales que te llegan (o no); las decisiones que toman bancos, aseguradoras o administraciones sobre ti, y un largo etcét (View Highlight)
Frente a un entorno cada vez más automatizado, tú también tienes tres poderes: el poder de conocer lo que ocurre, de exigir explicaciones y de reclamar cuando algo no es justo. No necesitas ser especialista en tecnología para empezar. Solo necesitas informarte, aprender a hacer las preguntas correctas y no conformarte con la primera respuesta. (View Highlight)
Saber que la IA está en funcionamiento en un proceso: pedir que nos informen de forma transparente cuando estamos interactuando con un sistema algorítmico, ya sea de forma directa, como en una conversación con un chatbot, o indirecta, como en una decisión automatizada que te afecta. (View Highlight)
a. Cuál es el propósito del sistema automatizado (filtrar CVs, detectar fraude, predecir abandono escolar, segmentar usuarios…) b. Qué decisión o acción concreta se toma con esa información c. Quién lo está utilizando: si es una empresa, una administración pública, un tercero externo o un proveedor tecnológico. (View Highlight)
Saber qué datos tuyos se usan, dónde se han obtenido, con qué finalidad se recogieron, durante cuánto tiempo se conservan y si se han compartido o pueden compartir con terceros. Esto incluye también tu derecho a oponerte, corregir errores o solicitar que se dejen de usar en algunos casos: es tu derecho de oposición y limitación del tratamiento de datos. (View Highlight)
Saber qué persona o entidad tiene la responsabilidad final del uso del sistema y cómo contactar con ella. (View Highlight)
Conocer el posible impacto social, como la perpetuación de sesgos y marginación de colectivos vulnerables, las nuevas formas de discriminación, el refuerzo de estereotipos, la contaminación, el consumo energético e hídrico (View Highlight)
El impacto medioambiental de la IA suele quedarse fuera del radar, pero es cada vez más importante, sobre todo en relación a modelos de alto consumo energético e hídrico, como los que hacen posible la IA generativa. La información sobre este impacto es difícil de encontrar, y se basa sobre todo en estimaciones, en torno al uso tanto de agua y recursos hídricos, como de electricidad (por ejemplo, para el aire acondicionado que refrigera servidores en grandes centros de datos). (View Highlight)
, la explicabilidad y la interpretabilidad de la inteligencia artificial, que deben abordarse desde la ingeniería y desde el propio proceso de construcción de las soluciones.
• La explicabilidad es la cualidad de los modelos de IA para proporcionar una explicación clara y trazable de las razones por las que han llegado a un determinado resultado y qué factores han contribuido al mismo, especialmente en caso de ser adverso para la persona afectada. • La interpretabilidad es la capacidad de la IA de presentar sus procesos y resultados en términos comprensibles para las personas. Incluye también la verificación de que el sistema se comporta de forma esperada para evitar errores, discriminación y sesgos no intencionados. (View Highlight)
Preguntar para entender de manera teórica el funcionamiento del sistema, qué datos utiliza, cómo los procesa y qué lógica sigue para tomar decisiones o hacer recomendaciones, mediante explicaciones claras y adaptadas a diferentes nivel de comprensión. (View Highlight)
Incidir en los resultados individuales cuando una recomendación derivada de un sistema automatizado afecta sustancialmente a una persona (por ejemplo, en procesos de selección, concesión de ayudas o de créditos, diagnósticos médicos, etc.). Conocer cómo se ha llegado a ese resultado, qué factores han influido en él y si existen vías de revisión, corrección, reclamación, etc. (View Highlight)
Indagar en las limitaciones del sistema, sus riesgos y aquellos contextos en los que sus predicciones pueden no ser fiables. (View Highlight)
Examinar la garantía de supervisión humana, especialmente cuando el impacto puede tener consecuencias relevantes. (View Highlight)
Solicitar una trazabilidad en la construcción del modelo y el flujo de los datos para que especialistas independientes puedan auditarlos. (View Highlight)
Una vez que sabemos y entendemos, ya estamos preparados para actuar. Igual que vemos el derecho a saber como un prederecho en relación con el derecho a entender, el derecho a actuar sería un postderecho: una vez que una persona ha sido informada adecuadamente y ha comprendido cómo el sistema de IA ha llegado a un resultado determinado, debe estar en condiciones de responder, impugnar o influir en ese proceso. (View Highlight)
El derecho a actuar es la facultad para intervenir de manera efectiva cuando un sistema de IA te afecta de forma negativa, injusta o poco transparente, y asegura algo muy importante: que las personas no sean tratadas como meros sujetos pasivos. (View Highlight)
El sistema En 2018, el Ministerio del Interior presentó Veripol, un sistema de IA para detectar denuncias falsas de robos y hurtos mediante el análisis con IA del lenguaje utilizado en las declaraciones.
El conflicto Un informe de la Universidad de Valencia reveló deficiencias metodológicas graves, como la asunción directa de que más de la mitad de las denuncias eran falsas, una muestra de entrenamiento insuficiente, de apenas 1000 denuncias, o el hecho de que analizaba los textos redactados por los propios agentes y no las declaraciones textuales de los denunciantes.
La resolución Veripol estuvo operativo hasta 2024. Tras varios años de implantación opaca en comisarías de todo el país, de solicitudes de transparencia por parte de la academia y de la sociedad civil y de presión mediática, el Ministerio del Interior anunció su retirada alegando que carecía de validez legal en procedimientos judiciales. (View Highlight)
Tras años ofreciendo al Ministerio una auditoría gratuita y confidencial del sistema, la auditora Eticas buscó una forma de hacerla sin su colaboración, gracias al trabajo conjunto con la Fundación Ana Bella. La auditoría reveló problemas graves: principalmente, un 45% de las evaluaciones de riesgo etiquetadas como “no valoradas”, con consecuencias evidentes en las 71 mujeres asesinadas entre 2007 y 2021 que habían denunciado previamente y que no recibieron la protección adecuada. Se detectó también la tendencia del sistema a asignar puntuaciones de bajo riesgo; la imposibilidad de adaptar los cuestionarios a contextos individuales, y la ausencia de corrección de las decisiones algorítmicas por parte de la policía. (View Highlight)
Esta ley, pionera en Europa, obliga a las empresas a informar a los comités de empresa sobre los parámetros en los que se basan los algoritmos y sistemas de IA que pueden afectar a los trabajadores y a las condiciones de trabajo, y a ofrecer explicaciones por determinadas decisiones automatizadas. (View Highlight)
La Ley de IA establece que los sistemas de IA que interactúen con los usuarios deben ser identificados como tal.
• El contenido generado o modificado con ayuda de IA (imágenes, archivos de audio o vídeo) debe estar claramente etiquetado como “generado por IA”.
• Los proveedores de sistemas de alto riesgo deben proporcionar documentación técnica para demostrar requisitos de supervisión humana, precisión y robustez.
• Los creadores de modelos de IA generativa deben publicar resúmenes de los datos protegidos por derechos de autor que han utilizado para el entrenamiento.
• Cualquier uso protegido por derechos de autor requiere la autorización de su titular.
• Los proveedores de sistemas de IA deben registrarlos en una base de datos pública gestionada por la Comisión Europea.(*) (View Highlight)
La Ley de IA establece que las personas afectadas por una decisión de un sistema de IA de alto riesgo con impacto negativo en su salud, seguridad o derechos fundamentales, tendrán derecho a obtener explicaciones claras sobre la función del sistema de IA en el proceso de toma de decisiones y los principales elementos de la decisión adoptada. (View Highlight)
En paralelo, hay otros movimientos y actores tratando de impulsar y reforzar aspectos relacionados con los derechos a saber, a entender y actuar en el ámbito de la IA.
Un aliado clave para ello es el sector privado.
Las empresas que desarrollan, implementan o utilizan sistemas de IA tienen un papel fundamental en la construcción de un ecosistema tecnológico más justo, transparente y respetuoso con los derechos de las personas. Pueden -y deben- ir más allá del cumplimiento de la regulación, y adoptar compromisos relacionados con la ética algorítmica, la explicabilidad y la rendición de cuentas. Porque no es solo una cuestión de responsabilidad social o reputación: también es una cuestión de competitividad y de legitimidad. Las organizaciones que apuesten por una IA más transparente y responsable tendrán mejores productos y estarán mejor posicionadas en un mercado donde la confianza de los usuarios, clientes e inversores es imprescindible. (View Highlight)
Diseñando sistemas que sean éticos desde el diseño.
Con transparencia desde el inicio: incorporando explicabilidad, trazabilidad y supervisión humana en todas las fases de desarrollo e implementación.
Informando de forma clara y accesible sobre qué sistemas se usan, cómo funcionan y cómo los consumidores, clientes y/o personas afectadas pueden ejercer sus derechos.
Facilitando vías efectivas de reclamación y revisión humana más allá de simples formularios, con procesos accesibles y acompañamiento real. 5. Evaluando de forma continua los riesgos de los sistemas, los sesgos que pueden provocar y su comportamiento a partir de las interacciones de las personas.
Permitiendo auditorías externas independientes y publicando informes de impacto, tanto técnico como ético, sobre los sistemas desplegados.
Evaluando la evolución de los modelos algorítmicos en el tiempo.
Participando en la creación de un registro central y público de algoritmos, contribuyendo a la transparencia colectiva.
Colaborando con la sociedad civil, la academia y la administraciones públicas en iniciativas conjuntas de evaluación, codiseño, investigación y mejora continua de los sistemas. (View Highlight)
7 herramientas prácticas 1. Evaluaciones de impacto algorítmico: informes que evalúan los posibles efectos sociales, éticos y legales de un sistema de IA antes de su implementación, incluyendo análisis de riesgos para grupos vulnerables o impactos desproporcionados.
2. Model cards y system cards: documentos que resumen información clave sobre un modelo o sistema de IA, como su propósito, datos de entrenamiento, limitaciones, riesgos conocidos y resultados de pruebas.
3. Red teaming: ejercicios donde equipos internos o externos simulan usos indebidos del sistema, escenarios imprevistos o ataques, con el fin e identificar vulnerabilidades técnicas, éticas o sociales antes de su despliegue.
4. Auditorías: revisiones sistemáticas de los sistemas de IA, tanto antes como durante su despliegue.
Pueden enfocarse desde el punto de vista ético, técnico o legal.
5. Alineamiento: procesos para garantizar que los modelos se entrenen con objetivos compatibles con los valores humanos para minimizar comportamientos indebidos.
6. Plataformas automatizadas para monitorizar riesgos: haciendo un seguimiento en tiempo real del funcionamiento de los sistemas para identificar desviaciones, sesgos emergentes o efectos adversos.
7. Revisiones éticas: mediante comités multidisciplinares de especialistas. (View Highlight)
