Los sesgos algorítmicos surgen cuando los sistemas que operan con datos y reglas automatizadas terminan replicando o intensificando formas de discriminación ya presentes. Al aplicarse estos mecanismos en decisiones públicas —incluidas la justicia penal, la salud, el empleo, los servicios sociales o la vigilancia— sus efectos pueden incidir en derechos, acceso a recursos y en la confianza dentro de la democracia. A continuación se expone qué implican, de qué manera se originan, casos documentados, consecuencias específicas y estrategias para reducirlos.
En qué consisten los sesgos algorítmicos
Un sesgo algorítmico aparece cuando un sistema o modelo automatizado genera de manera constante resultados diferentes entre diversos colectivos sociales (como sexo, raza, nivel socioeconómico, edad o zona de residencia). Dichas disparidades pueden originarse por múltiples factores:
- Datos históricos sesgados: archivos administrativos que incorporan decisiones humanas previas con sesgos discriminatorios.
- Variables proxy: empleo de indicadores que, de forma involuntaria, funcionan como sustitutos de atributos protegidos (por ejemplo, la zona postal utilizada como indicio de raza).
- Falta de representatividad: conjuntos de entrenamiento que no contemplan suficientes ejemplos procedentes de grupos minoritarios.
- Objetivos mal definidos: búsqueda de optimizar un indicador concreto (costes, precisión global) sin evaluar la equidad entre distintos colectivos.
- Retroalimentación y bucles: implementación del sistema que modifica comportamientos y produce datos aún más sesgados, consolidando la desigualdad.
Muestras y situaciones registradas
- Sistemas de evaluación de riesgo penal: diversas investigaciones académicas y periodísticas han evidenciado que ciertas herramientas diseñadas para anticipar la reincidencia solían marcar con mayor frecuencia a personas negras como de alto riesgo y a personas blancas como de bajo riesgo, pese a que las tasas reales de reincidencia eran comparables, lo que terminaba generando medidas más restrictivas para algunos grupos.
- Herramientas de selección de personal: varias empresas tecnológicas han decidido abandonar algoritmos de selección después de constatar que perjudicaban currículos asociados a perfiles femeninos, por ejemplo, por la pertenencia a organizaciones de mujeres o por haberse graduado en instituciones con mayoría femenina.
- Reconocimiento facial y vigilancia: distintos estudios independientes identificaron errores más frecuentes al analizar rostros de mujeres y de personas con tonos de piel más oscuros. En varios países se documentaron detenciones equivocadas derivadas de coincidencias fallidas, lo cual impulsó la imposición de moratorias y vetos locales a su uso por parte de cuerpos de seguridad.
- Algoritmos sanitarios: algunos análisis revelaron que ciertos modelos utilizados para asignar prioridad en programas de atención intensiva infravaloraban las necesidades de pacientes pertenecientes a minorías cuando incorporaban el gasto sanitario histórico como indicador de necesidad, alejando recursos de quienes realmente los necesitaban.
Efectos y amenazas concretas en la toma de decisiones públicas
- Discriminación institucionalizada: decisiones automatizadas pueden normalizar trato desigual en acceso a justicia, salud o empleo.
- Pérdida de derechos y libertades: falsos positivos en vigilancia o riesgo penal pueden traducirse en detenciones, restricciones o estigmatización indebida.
- Desigualdad en asignación de recursos: sesgos en modelos que asignan servicios sociales o sanitarios pueden privar a comunidades vulnerables de apoyos esenciales.
- Erosión de la confianza pública: opacidad y errores sistemáticos minan la legitimidad de instituciones que delegan decisiones a algoritmos.
- Retroalimentación negativa: más vigilancia o sanciones en un barrio generan más datos de delitos, lo que refuerza el modelo y perpetúa la sobreexposición de esa comunidad.
- Costes económicos y legales: demandas, compensaciones y revisiones de políticas suponen gastos públicos y retrasos en servicios.
Cómo se detectan y miden los sesgos
La detección exige análisis desagregado por grupos relevantes y métricas de equidad además de medidas globales de rendimiento. Entre prácticas útiles:
- Desagregación de resultados: analizar y contrastar las tasas de falsos positivos, falsos negativos, así como la sensibilidad y la especificidad entre distintos grupos.
- Pruebas de impacto: generar simulaciones que permitan observar cómo se redistribuyen beneficios y posibles cargas antes y después de la implementación.
- Auditorías independientes: someter a evaluación externa el código, los datos y las decisiones para detectar posibles proxies discriminatorios y fallos metodológicos.
- Evaluaciones de robustez: aplicar pruebas mediante datos sintéticos y muestras provenientes de poblaciones con baja representación.
Acciones destinadas a reducir los riesgos
- Transparencia y documentación: publicar descripción de datos, objetivos, limitaciones y métricas de equidad; registrar decisiones de diseño.
- Evaluación de impacto algorítmico: exigir estudios formales antes del despliegue en ámbitos sensibles que midan riesgos y planes de mitigación.
- Participación y gobernanza: involucrar a comunidades afectadas, organismos de derechos humanos y expertos multidisciplinares en el diseño y supervisión.
- Datos representativos y limpieza: mejorar la calidad y diversidad de los datos, y eliminar proxies que reproduzcan discriminación.
- Supervisión humana significativa: mantener intervención humana en decisiones finales críticas y capacitar a los responsables para detectar errores.
- Auditorías periódicas: controles externos y continuos para detectar degradación del modelo y efectos no previstos.
- Límites de uso: prohibir o restringir algoritmos en decisiones irreversibles o de alto impacto sin garantías sólidas de equidad.
Recomendaciones para políticas públicas
- Marco regulatorio claro: definir con precisión obligaciones de transparencia, establecer derechos de explicación y fijar normas de responsabilidad para las entidades públicas que recurran al uso de algoritmos.
- Protocolos de prueba antes del despliegue: realizar pilotos supervisados junto con evaluaciones que valoren impactos sociales y de derechos humanos.
- Creación de unidades de auditoría pública: conformar equipos técnicos independientes encargados de examinar modelos, datos y decisiones, y de divulgar resultados comprensibles para la población.
- Acceso a recursos y reparación: habilitar mecanismos que permitan a las personas afectadas pedir una revisión humana y obtener medidas de reparación cuando exista un perjuicio.
- Capacitación y alfabetización digital: preparar a funcionarios y ciudadanía para reconocer las limitaciones y riesgos asociados a la inteligencia artificial y al aprendizaje automático.
Los sesgos algorítmicos presentes en decisiones públicas no se reducen a simples fallos técnicos, sino que también expresan y pueden intensificar desigualdades sociales existentes. Su riesgo proviene de la escala en la que operan y de la apariencia de neutralidad que da respaldo a decisiones que, en realidad, podrían reproducir prejuicios históricos o errores en los modelos. Para enfrentarlos de manera eficaz, se requiere una combinación de salvaguardas técnicas, como datos más sólidos, auditorías y métricas de equidad, junto con marcos éticos y legales que demanden transparencia, participación ciudadana y responsabilidad. Solo mediante este equilibrio la automatización puede actuar en favor del interés público sin vulnerar derechos ni ampliar brechas sociales, manteniendo a las personas y la rendición de cuentas como eje de la toma de decisiones.
