La inteligencia artificial puede parecer precisa en cifras globales, pero esa percepción puede ser engañosa. Un modelo que funciona bien en promedio no necesariamente funciona bien en la realidad.
Investigadores del MIT advierten que muchas evaluaciones actuales de machine learning esconden fallas críticas. El problema está en depender de métricas agregadas que simplifican el rendimiento a un solo número.
Machine learning y el riesgo de métricas agregadas
El estudio muestra que un modelo considerado “el mejor” puede fallar en gran parte de los casos cuando se aplica en un nuevo entorno. En algunos escenarios, ese mismo modelo puede ser el peor para entre 6% y 75% de los datos nuevos.
Además, estas fallas suelen ocultarse cuando se promedian resultados. Al analizar todo en conjunto, el desempeño parece sólido, pero al separar grupos específicos aparecen errores importantes.
Asimismo, los modelos tienden a aprender correlaciones erróneas. Por ejemplo, pueden asociar elementos irrelevantes como el contexto visual en lugar de las características reales del problema.
Machine learning y la necesidad de evaluación real
El impacto de este hallazgo es profundo. En sectores como salud, un modelo que funciona “bien en promedio” puede fallar en pacientes específicos, lo que representa un riesgo significativo.
Por otro lado, los investigadores proponen evaluar modelos de forma más granular. Esto implica analizar subgrupos de datos y probar sistemas en distintos entornos antes de su implementación.
De igual manera, el estudio sugiere desarrollar métodos que identifiquen estos errores ocultos. Así, las organizaciones pueden seleccionar modelos más robustos y confiables.
Si este artículo te está gustando, podrías leer sobre cómo Biodiversidad innovación impulsa tecnología para crecimiento verde
En consecuencia, la industria debe replantear cómo mide el éxito en inteligencia artificial. No basta con un alto porcentaje de precisión, es necesario entender dónde falla el sistema.
El análisis también destaca que modelos entrenados en un hospital pueden perder eficacia en otro, lo que evidencia que el contexto y la distribución de datos influyen directamente en su desempeño real.
