La Inteligencia Artificial (IA) está transformando la forma en que trabajamos, nos comunicamos y tomamos decisiones. Los algoritmos de reclutamiento y los chatbots de atención al cliente son solo algunos ejemplos de las mejoras y herramientas que hoy resultan más eficientes o fáciles de implementar en las organizaciones.
Estos sistemas suelen presentarse como objetivos y basados en datos, pero la realidad es más compleja: los sesgos inconscientes suelen estar incorporados en la IA sin que lo notemos.
¿Qué es un sesgo inconsciente?
Los sesgos inconscientes son las ideas preconcebidas o estereotipos automáticos e involuntarios que influyen en cómo pensamos, tomamos decisiones y actuamos.
Todos tenemos sesgos: son atajos mentales que ayudan a nuestro cerebro a organizar y procesar información con rapidez. Generalmente se construyen en base a experiencias previas, nuestra educación, entorno cultural, medios de comunicación y normas sociales.
Sin embargo, también pueden dar lugar a prejuicios o decisiones injustas sobre personas o grupos en función de su género, etnia, nacionalidad, edad, discapacidad, orientación sexual, apariencia u otras características.
Los sistemas de IA aprenden de los datos, pero si esos datos reflejan desigualdades históricas o estereotipos, la IA también aprenderá esos patrones. Dicho de otro modo: si los datos están sesgados, la IA también lo estará. La IA puede heredar, reflejar o incluso amplificar estos sesgos.
Comprender cómo se entrelazan los sesgos inconscientes con la IA es clave para garantizar que la tecnología beneficie a todos de manera justa y equitativa.
¿Dónde aparecen los sesgos inconscientes?
Los sesgos pueden aparecer en diversas etapas:
- Recolección de datos: si los datos no son diversos o representativos, el modelo se verá afectado.
- Etiquetado y capacitación: las personas etiquetan los datos -y como todos tenemos sesgos inconscientes-, esos sesgos terminan afectando en los datos, aunque no nos demos cuenta.
- Diseño de algoritmos: la manera en que se estructuran los modelos puede favorecer de manera involuntaria patrones específicos. Por ejemplo: si los currículums en IT de años anteriores eran en su mayoría de hombres, un algoritmo podría aprender erróneamente que los hombres están mejor calificados para esos roles. En salud, si los datos provienen principalmente de estudios sobre un solo género o grupo, la IA replicará esos patrones.
- Contexto de uso: la IA puede funcionar de manera diferente según regiones, culturas, géneros o identidades, si no se prueba correctamente.
Ejemplos con consecuencias reales
- Herramientas de reclutamiento: en 2018, Amazon suspendió una herramienta de contratación basada en IA tras descubrir que favorecía a candidatos hombres sobre mujeres. La IA había sido entrenada con 10 años de currículums, en su mayoría de hombres [1].
- Reconocimiento facial: estudios sobre desigualdades, incluido uno del MIT, revelaron que los sistemas de reconocimiento facial tenían tasas de error de hasta el 34% en mujeres de piel oscura, en comparación con menos del 1% en hombres de piel clara. Esto encendió las alarmas sobre el uso de la IA en seguridad y vigilancia.
- Asistentes de voz: los sistemas de reconocimiento de voz suelen funcionar mejor con acentos estándar de inglés estadounidense, británico o australiano. Las personas con acentos diversos, regionales o no nativos suelen obtener menores niveles de precisión, lo que puede afectar la accesibilidad y experiencia del usuario.
- Generadores de imágenes: algunas herramientas de IA representan a ciertos grupos con estereotipos, especialmente en relación con nacionalidades y etnias.
El mito de la neutralidad de la IA
Hay una idea errónea de que la IA es imparcial y no comete errores, pero la realidad demuestra lo contrario. Los algoritmos no son neutrales: la IA refleja los datos y las suposiciones detrás de ellos. Sin intervención, la IA no corrige automáticamente los sesgos: puede convertirse, involuntariamente, en sistema que perpetúa estereotipos amplificando desigualdades sistémicas.
¿Qué pueden hacer las organizaciones?
Las organizaciones, los desarrolladores y los usuarios deben tomar medidas proactivas y aplicar estrategias conscientes para reducir los sesgos, tales como:
- Variedad de datos: entrenar los modelos con datos inclusivos y representativos que reflejen fielmente la diversidad de personas y realidades.
- Revisiones de sesgos: probar de manera regular los modelos de IA para detectar posibles sesgos en los resultados, evaluando aspectos como género, etnia, discapacidad u otros factores relevantes.
- Equipos de diseño inclusivos: formar equipos diversos que puedan identificar mejor los puntos ciegos y garantizar que la IA funcione para todas las personas.
- Transparencia: asegurar que los procesos de toma de decisiones de la IA sean comprensibles y explicables tanto para audiencias técnicas como no técnicas.
Hacia una IA más justa
La IA evoluciona rápidamente. Nos ayuda a trabajar de manera más eficiente y a tomar decisiones mejores y más rápidas, pero solo si enfrentamos los sesgos inconscientes que puede arrastrar. Para que la tecnología sea más justa, necesitamos sistemas que reflejen la diversidad de las personas que la usan.
Es necesario que cada equipo que trabaje con IA asuma la responsabilidad frente a los sesgos inconscientes, y construya una tecnología más justa e inclusiva.
[1] - https://www.unwomen.org/en/news-stories/interview/2025/02/how-ai-reinforces-gender-bias-and-what-we-can-do-about-it
En 2018, Amazon suspendió una herramienta de reclutamiento basada en IA que favorecía a los currículums de hombres. Los sistemas de reconocimiento facial también han tenido dificultades para identificar con precisión a las mujeres, especialmente a las mujeres de color, lo que ha llevado a identificaciones erróneas con consecuencias graves en la seguridad pública y la aplicación de la ley.
