El Algoritmo que Discrimina sin Saberlo
Los sistemas de inteligencia artificial no discriminan por mala intención: discriminan porque aprenden de datos históricos que ya contenían desigualdades. En el sector público, ese sesgo invisible tiene efectos sobre derechos reales. Y sin auditoría algorítmica, nadie lo detecta.
I. Introducción
Imaginemos dos contribuyentes con facturación similar, igual rubro y comportamiento fiscal idéntico durante los últimos cinco años. El sistema los clasifica de manera diferente: uno como perfil de bajo riesgo, el otro como candidato prioritario a fiscalización. La diferencia no está en lo que hicieron. Está en dónde operan, a qué sector pertenecen, o qué historial acumuló ese segmento en las bases de datos del organismo durante la década anterior.
Nadie tomó esa decisión conscientemente. El algoritmo la tomó solo, basándose en patrones que aprendió de decisiones humanas pasadas. Y esas decisiones humanas pasadas no eran neutrales.
Este es el mecanismo del sesgo algorítmico: no una falla técnica aislada, sino la automatización y amplificación de desigualdades preexistentes. Cuando ese mecanismo opera en el sector privado, el daño es acotado. Cuando opera en el Estado, adquiere escala institucional, respaldo de autoridad pública y, en ausencia de auditoría, se vuelve prácticamente indetectable.
II. Cómo nace el sesgo algorítmico
Un sistema de inteligencia artificial aprende de datos. No razona desde principios: generaliza desde ejemplos. Si los ejemplos con los que fue entrenado reflejan decisiones históricamente desiguales, el modelo aprende esa desigualdad como si fuera un patrón objetivo. En el campo de la informática, este fenómeno tiene un nombre simple: garbage in, garbage out. Lo que entra determina lo que sale.
El sesgo puede originarse en tres momentos distintos. El primero es el sesgo en los datos de entrenamiento: si las fiscalizaciones pasadas se concentraron desproporcionadamente en determinados sectores, regiones o perfiles de contribuyente, el modelo aprende que esos perfiles son intrínsecamente más riesgosos —aunque la razón real haya sido una política de fiscalización selectiva, no una mayor propensión al incumplimiento.
El segundo es el sesgo en el diseño del modelo: las variables que se eligen para entrenar el sistema no son neutrales. Incluir el código postal como variable predictiva, por ejemplo, puede introducir sesgos geográficos que correlacionen con variables socioeconómicas sin que nadie lo haya decidido explícitamente.
El tercero, y quizás el más peligroso, es la ausencia de validación externa: sin un proceso sistemático de revisión de los outputs del modelo, el sesgo opera en silencio durante meses o años antes de que alguien lo advierta. Si es que alguien lo advierte.
La objetividad aparente del número es, paradójicamente, el principal mecanismo de ocultamiento. Un score de riesgo de 87 sobre 100 parece más objetivo que el juicio de un inspector. Pero si ese score fue calculado por un modelo que heredó los prejuicios de mil decisiones anteriores, su precisión matemática no lo hace más justo: lo hace más difícil de cuestionar.
III. El Estado como amplificador
El sesgo algorítmico en el sector privado genera consecuencias acotadas: una recomendación incorrecta, un precio injusto, una experiencia de usuario deficiente. Quien lo sufre puede cambiar de proveedor, reclamar, o simplemente ignorar el sistema. Esa salida no existe cuando el Estado es quien clasifica, habilita, restringe o fiscaliza.
Cuando un organismo público usa un sistema de IA sesgado para determinar perfiles de riesgo fiscal, asignar inspecciones o clasificar contribuyentes, el sesgo adquiere tres propiedades que lo vuelven cualitativamente distinto: tiene escala masiva, está respaldado por autoridad pública y produce efectos jurídicos que el ciudadano debe impugnar activamente para revertir.
En ese contexto, la carga no está en el sistema de demostrar que su clasificación es correcta. Está en el ciudadano de demostrar que es incorrecta. Y si el sistema es opaco —si ni el organismo ni el afectado pueden acceder a la lógica que produjo el resultado— esa impugnación se vuelve casi imposible.
El propio Estado argentino ha comenzado a reconocer el problema, aunque de manera fragmentada. La Resolución 197/2026 de la Sindicatura General de la Nación aprobó la Guía de Controles Inteligencia Artificial con un diagnóstico revelador: el relevamiento previo detectó organismos con proyectos de IA en funcionamiento cuyos controles no estaban correctamente instrumentados. En paralelo, la provincia de Buenos Aires sancionó el Decreto 742/2026, que crea un Registro Provincial de IA de inscripción obligatoria y establece un marco de gobernanza para toda la administración provincial. Estas iniciativas son señales positivas. Pero ninguna resuelve todavía la pregunta central: ¿cómo detecta un organismo el sesgo en un sistema que ya está operando?
IV. Por qué la auditoría algorítmica es la única salida
La respuesta intuitiva al problema del sesgo algorítmico suele ser tecnológica: mejores datos, mejores modelos, más precisión. Esa respuesta es insuficiente. Un modelo más preciso que replica un sesgo más eficientemente no es una solución: es una amplificación del problema con mayor velocidad.
La respuesta correcta es institucional: auditoría algorítmica sistemática. Esto significa establecer procesos continuos de revisión de los outputs del sistema para detectar patrones de clasificación que puedan indicar sesgo. ¿Qué sectores están siendo marcados como de alto riesgo con mayor frecuencia? ¿Correlaciona esa distribución con variables que no deberían ser relevantes? ¿Ha cambiado esa distribución después de una actualización del modelo?
Sin trazabilidad de inputs y outputs, esas preguntas no pueden responderse. Sin control de versiones, no puede saberse si un cambio en el modelo introdujo o corrigió un sesgo. Sin revisión humana sustantiva sobre los resultados agregados del sistema, el sesgo opera sin contrapeso.
Dos instrumentos abordan este problema de manera complementaria. La Matriz Diagnóstica de Madurez Algorítmica (MDMA) permite evaluar el nivel de preparación institucional de un organismo antes de que un sistema de IA comience a operar:
¿tiene el organismo procesos para detectar sesgos en los outputs? ¿Cuenta con protocolos de validación externa? ¿Existe un responsable institucional del monitoreo algorítmico? (Lento, 2026b). La metodología TRIA —Trazabilidad, Razonamiento de IA, Auditoría— ofrece el marco operativo para garantizar que cada etapa del proceso automatizado sea explicable, reproducible y auditable durante su funcionamiento (Lento, 2026a).
La distinción es relevante: MDMA diagnostica la capacidad institucional previa; TRIA opera sobre el proceso en curso. Un organismo que no tiene capacidad de detectar sesgos no puede beneficiarse de un marco de trazabilidad, porque no sabrá qué buscar en los registros que ese marco produce.
V. Conclusión
El sesgo algorítmico en el Estado no es un problema técnico que se resuelve con mejor tecnología. Es un problema de gobernanza que se resuelve con auditoría, trazabilidad y responsabilidad institucional.
Un algoritmo que no puede ser auditado no puede ser corregido. Un sesgo que no puede ser corregido se convierte, por omisión, en política pública. Y una política pública basada en el prejuicio de los datos históricos no es modernización del Estado: es la desigualdad de ayer administrada con la eficiencia de hoy.
Las iniciativas recientes —SIGEN, Buenos Aires, los proyectos legislativos nacionales— abren una ventana. Argentina tiene la oportunidad de construir un estándar de gobernanza algorítmica que convierta la auditoría del sesgo en una obligación institucional, no en una buena práctica opcional. El costo de no hacerlo no lo paga el sistema. Lo paga el ciudadano que no sabe por qué fue marcado.
Referencias
Decreto N.º 742/2026. (2026, 14 de julio). Marco Provincial para el Desarrollo, Uso y Gobernanza de la Inteligencia Artificial. Gobierno de la Provincia de Buenos Aires.
Boletín Oficial de la Provincia de Buenos Aires.
Gavilán, A. J., Balbi, D. D., y Lento, U. (2026a, 16 de junio). Inteligencia artificial en el ejercicio profesional: ¿qué tener en cuenta?, ¿cómo afecta al contador? y ¿por qué la trazabilidad es el nuevo estándar? Errepar. https://documento.errepar.com/doctrina/inteligencia-artificial-en-el-ejercicio-profesional-que-tener-en-cuenta-como-afecta-al-20260616134649333
Lento, U. (2026a). TRIA: Trazabilidad, razonamiento, inteligencia artificial, auditoría [Metodología registrada, Legajo N.º RL-2026-46255181; Expedientes EX-2026-44027103-APN-DNDA#MJ y EX-2026-44039596-APN-DNDA#MJ]. Dirección
Aviso Legal: El contenido del presente artículo no fue redactado por #ElAnalista, siendo el mismo exclusiva autoría y propiedad intelectual de su creador. El articulo podría no reflejar las opiniones de #ElAnalista como organismo.