Hay una pregunta que parece extraña al principio, pero que tiene consecuencias muy concretas en la vida de las personas: ¿puede una máquina ser injusta?
Alguno dirá que depende de cómo la han programado. Y otros dirán que no, porque una máquina no tiene prejuicios, sino que solo calcula, lo que, por definición, es objetivo.
Imaginemos a un estudiante extranjero que, para llevar adelante una investigación, se instala en la biblioteca de la Escuela de Derecho a consultar la jurisprudencia de las Cortes de Apelaciones de la República de Chile.
Y revisando las bases de datos encuentra 2600 fallos —de diversos años— dictados por la Ilustrísima Corte de Apelaciones de Tacna.
Sin más contexto, el estudiante creerá que la ciudad de Tacna pertenece a Chile. No por algún trasnochado nacionalismo, sino porque los datos de los que aprendió le presentaban información sesgada o descontextualizada, que no se hacía cargo del devenir histórico.
Los sistemas de inteligencia artificial funcionan exactamente así. Aprenden de datos históricos y tienden a normalizarlos si marcan una tendencia.
¿De dónde vienen los sesgos?
Los sesgos algorítmicos no aparecen por generación espontánea. Tienen orígenes identificables, y vale la pena conocerlos.
El primero es el dato. Los sistemas de IA se entrenan con información histórica. Si durante décadas las mujeres fueron contratadas con menor frecuencia para cargos directivos, o si ciertos grupos étnicos accedieron al crédito bancario en condiciones más desventajosas, esas realidades quedaron registradas en los datos. El algoritmo no las inventó: las heredó. Y al aprenderlas, las reprodujo como si fueran el orden natural de las cosas, no el producto de décadas de desigualdad estructural.
El segundo es el diseño. Construir un sistema de inteligencia artificial exige tomar miles de decisiones: qué datos incluir, qué variables privilegiar, qué objetivo perseguir. Esas decisiones las toman personas, con sus propios marcos de referencia, su formación y su cultura. A veces —la mayoría de las veces sin mala fe— eso introduce preferencias que nadie advierte, ni siquiera quienes construyeron el sistema.
El tercero es el contexto de uso. Un sistema puede rendir bien en el entorno para el que fue diseñado y producir resultados profundamente injustos cuando se traslada a otro. Una herramienta de evaluación de riesgo crediticio desarrollada en un país anglosajón puede funcionar de manera muy distinta en Chile, en Colombia o en España, donde las estructuras sociales, los accesos históricos a la educación y los patrones de consumo son diferentes. Esa descontextualización no es un detalle técnico menor: puede ser el origen principal del problema.
Un ejemplo que lo hace concreto: Amazon y los currículos
El caso más conocido es el de Amazon. Entre 2014 y 2017, la empresa desarrolló un sistema de inteligencia artificial para filtrar postulantes a empleo. Lo entrenaron con los currículos recibidos durante la década anterior.
El problema era simple: en esa década, la mayoría de los contratados habían sido hombres. El sistema aprendió ese patrón y comenzó a penalizar automáticamente los currículos que incluían la palabra «mujeres» —por ejemplo, en expresiones como «capitana del equipo femenino»— o que mencionaban universidades de mujeres.
Amazon terminó desactivando el sistema. Pero lo verdaderamente perturbador no es eso: es que funcionó años antes de que alguien lo notara. Este tipo de discriminación no tiene cara, no tiene intención, y no dejó rastro evidente.
La discriminación que nadie ve: el problema jurídico de fondo
Las leyes prohíben la discriminación arbitraria, esto es, la discriminación que carece de justificación razonable, pero hay dos tipos de ellas que nos interesan particularmente para estos efectos.
La primera es la discriminación directa: tratar a alguien de manera diferente por su sexo, origen, religión o edad. Es la más reconocible y, comparativamente, la que el Derecho mejor sabe procesar. Por ejemplo, todavía hoy hay estudios jurídicos que descartan postulantes por ser evangélicos, no porque carezcan de competencias, sino porque no encajan en la imagen que los socios quieren proyectar.
La discriminación indirecta es más sutil: consiste en aplicar una medida aparentemente neutra —igual para todos— que, en la práctica, perjudica de forma desproporcionada a ciertos grupos. Nadie dice nada discriminatorio. El efecto, sin embargo, lo es. Un ejemplo concreto: una municipalidad del sur de Chile que exige título universitario para un cargo que no lo requiere. La exigencia no menciona la etnia ni la edad. Pero en una región donde el acceso histórico a la educación superior ha sido sistemáticamente más difícil para la población mapuche, el requisito actúa como un filtro que excluye precisamente a quienes ya estaban en desventaja, no por falta de capacidades, sino por razones estructurales que la institución no creó, pero que elige reproducir.
Pues bien: los sesgos algorítmicos operan casi siempre a través de discriminación arbitraria indirecta. Y hay tres razones que hacen de esto un problema especialmente difícil para el Derecho.
La primera es la opacidad. Los sistemas modernos de inteligencia artificial son intrínsecamente difíciles de analizar. No hay una explicación del tipo «el sistema rechazó a esta candidata porque su dirección postal está asociado a tal variable». El sistema produce un resultado que emerge de la interacción de millones de parámetros que ni los propios ingenieros que la crearon pueden rastrear completamente. A esto se le llama el problema de la caja negra, y es un desafío tan técnico como jurídico.
La segunda es la escala. Cuando una persona toma una decisión discriminatoria, afecta a otra persona en un momento concreto. Cuando un algoritmo hace lo mismo, lo hace simultáneamente para decenas de miles de personas, de forma invisible y sin dejar rastro. La discriminación algorítmica no deja testigos, y por eso es extraordinariamente difícil detectarla.
La tercera es la apariencia de objetividad. Cuando alguien dice «no te contratamos porque vives en La Pintana», el sesgo es reconocible y denunciable. Cuando un algoritmo asigna una puntuación de 47 a una candidata y de 71 a un candidato con credenciales equivalentes, nadie ha dicho nada discriminatorio. El número parece objetivo. La decisión parece científica. Y esa apariencia de objetividad es, precisamente, su mayor peligro: convierte la discriminación en invisible para quien la sufre y en inimpugnable para quienes administran justicia.
La paradoja kafkiana: tienes derechos, pero no puedes ejercerlos
Si lo miramos desde la perspectiva laboral, el Derecho del Trabajo y el avance de los consensos antidiscriminatorios ha construido una herramienta valiosa para enfrentar estas situaciones: la inversión de la carga de la prueba. En términos simples: quien alega discriminación no necesita probar la mala intención del empleador —algo casi imposible de demostrar— sino aportar indicios razonables. A partir de ahí, es la empresa quien debe demostrar que su decisión tuvo una justificación objetiva y razonable.
El problema es que para aportar esos indicios, la persona afectada necesita saber cómo funcionó el sistema que la perjudicó. Y esa información casi nunca está disponible: o es un secreto comercial protegido, o el código es tan extenso y complejo que resulta inabordable incluso para peritos especializados.
La paradoja es cruel, y merece llamarse kafkiana sin exageración: tienes derecho a no ser discriminado, pero no tienes manera de saber si lo fuiste, ni forma de demostrarlo ante un tribunal.
Pero todavía hay más: las empresas o entidades que utilizan esas tecnologías ofrecen explicaciones que son formalmente correctas, pero vacías de contenido: «el sistema evaluó su perfil conforme a criterios estadísticos de rendimiento». Eso no es una explicación. Es la evasión a una respuesta, pero con vocabulario técnico.
¿Qué está haciendo el Derecho?
Las respuestas normativas existen, aunque su eficacia todavía está por verse.
La Unión Europea fue pionera. El Reglamento General de Protección de Datos, vigente desde 2018, reconoció el derecho a no ser sometido a decisiones exclusivamente automatizadas con efectos significativos sobre la propia vida, y el derecho a recibir una explicación comprensible de esas decisiones.
El Reglamento de Inteligencia Artificial europeo va un paso más allá: obliga a que los sistemas de IA clasificados como de alto riesgo —entre ellos los usados en selección de personal o en acceso a servicios esenciales— sean transparentes, explicables y auditables.
Chile, por su parte, adoptó principios similares en su nueva Ley de Protección de Datos Personales, que entra en vigencia el 1 de diciembre de 2026. Es una arquitectura normativa prometedora. Queda por ver si las instituciones tendrán la capacidad técnica y la voluntad política para hacerla funcionar en la práctica.
Existen también herramientas de auditoría algorítmica que permiten detectar si un sistema discrimina, aunque no siempre expliquen por qué. La lógica es accesible: se somete el sistema a conjuntos de datos equivalentes y se verifica si trata de manera similar a perfiles similares. Si hay diferencias sistemáticas, hay señales de alarma que el derecho debería poder procesar.
O, dicho de otra forma: luego de la auditoría sabremos que el sistema discrimina arbitrariamente; pero no sabemos por qué, ni dónde exactamente nace el sesgo.
Lo que necesitamos
La respuesta a los sesgos algorítmicos requiere, al menos, dos evoluciones normativas que son urgentes y complementarias.
La primera es más transparencia. No basta con que las empresas informen de que usan inteligencia artificial. Deberían estar obligadas a documentar qué sistemas utilizan, con qué datos los entrenaron, qué variables incorporan y qué resultados producen para distintos grupos de personas.
No me parece una exigencia desproporcionada: es exactamente lo que ya pedimos a los laboratorios farmacéuticos. Nadie aceptaría que una empresa diga “nuestro medicamento funciona, confíen en nosotros”. Exigimos ensayos, documentación y supervisión. ¿Por qué debería ser distinto con sistemas que deciden sobre los proyectos de vida de las personas?
La segunda es mejores herramientas de prueba. Los tribunales necesitan aceptar que los patrones estadísticos constituyen indicios válidos de discriminación. Si una empresa rechaza sistemáticamente a candidatas del mismo perfil, ese patrón debería ser suficiente para activar el mecanismo de inversión de la carga de la prueba, sin exigir a la víctima que descifre el código fuente del algoritmo.
Volvamos a la pregunta del principio
¿Puede una máquina ser injusta?
Después de todo esto, la respuesta correcta no es sí ni no. La respuesta es que una máquina puede producir injusticia sin que nadie la haya programado para ello, sin que nadie lo haya querido, y sin que nadie se sienta responsable.
Y esa es, precisamente, la forma de injusticia más difícil de combatir: la que no tiene cara, la que no tiene intención, la que se oculta detrás de un número.
Los sesgos algorítmicos no son en el fondo un problema tecnológico que corresponda resolver únicamente a los ingenieros. Son sesgos sociales con código encima. Y los sesgos sociales llevan siglos siendo un problema que el Derecho —y la sociedad toda— tiene la responsabilidad de enfrentar.