Detección y representación automática de sesgos en datos utilizados para diagnóstico y tratamiento en dermatología
Celia Cintas, investigadora de AI Science en IBM Research África, Laboratorio de Nairobi, Kenia
Cada vez más la tecnología se pone a disposición de los profesionales de la salud para acceder a más conocimiento, analizar datos para mejorar la atención de los pacientes y ayudar a detectar, prevenir y tratar enfermedades, entre otros.
El crecimiento exponencial de los datos de salud digitalizados permite, por ejemplo, entrenar modelos de IA que apoyen el trabajo de médicos e investigadores para acelerar los descubrimientos. Estos datos -altamente sensibles y confidenciales- deben ser administrados de manera responsable, utilizados de forma transparente y con el debido consentimiento del paciente. Al mismo tiempo, los sistemas de IA entrenados con ellos deben ser justos y explicables, es decir, que podamos comprender cómo se llegó a cada conclusión. Un sistema que no cumpla con estos requisito no debería estar en el mercado.
Los investigadores de IBM Research están trabajando en la detección y representación automática de sesgos en imágenes en dermatología, con foco en el contenido bibliográfico que las principales universidades del mundo ofrecen a sus estudiantes y conjuntos de datos dermatológicos utilizados para entrenar modelos de IA.
El equipo encontró que los datos utilizados para entrenar modelos de IA están formados mayoritariamente por imágenes de población caucásica, lo que puede reducir la capacidad de estos modelos para detectar enfermedades cutáneas en otros pacientes y su correspondiente impacto negativo en la calidad de atención y tratamiento que las personas reciben. Por ejemplo, en poblaciones afrodescendientes el melanoma es comúnmente diagnosticado en etapas tardías. Además, la escasez de imágenes de las manifestaciones cutáneas de COVID-19 en pacientes latinos y afrodescendientes es un problema, ya que dificulta el diagnóstico clínico.
Los investigadores presentan un framework para evaluar modelos ya entrenados para detección de lesiones de piel, bajo distintos tonos de piel. Dado que los datos no se encuentran etiquetados con respecto al tono, el framework propuesto estima automáticamente los diferentes tonos de piel y estratifica su evaluación, para saber cómo están constituidos los datasets utilizados para entrenar los modelos y cómo estos se desempeñan ante distintos tonos de piel. De esta manera, el equipo espera contribuir en la visibilización de sesgos en Machine Learning y medicina, y así disminuir sesgos en imágenes dermatológicas, tanto en el ámbito académico como en el entrenamiento de sistemas de IA.
A medida que la adopción de la IA aumenta rápidamente es fundamental que la ética en materia de inteligencia artificial avance de las teorías abstractas a las prácticas concretas. Es imperativo que la IA de hoy refleje los valores de las poblaciones para las que fue creada y que en su desarrollo participen equipos diversos de profesionales y especialistas. Esto requiere más que un simple “sentimiento” de que se puede confiar en el sistema: necesita evidencia sólida, como pruebas estandarizadas y mecanismos transparentes de presentación de informes, que nos conduzcan a sistemas transparentes y justos.
Referencias
1 Kinyanjui, Newton M., Timothy Odonga, Celia Cintas, Noel CF Codella, Rameswar Panda, Prasanna Sattigeri, and Kush R. Varshney. «Estimating skin tone and effects on classification performance in dermatology datasets.» NeurIPS 2019 Workshop on Fair ML for Health. arXiv preprint arXiv:1910.13268 (2019). https://arxiv.org/abs/1910.13268
2 Kinyanjui, Newton M., Timothy Odonga, Celia Cintas, Noel CF Codella, Rameswar Panda, Prasanna Sattigeri, and Kush R. Varshney. «Fairness of Classifiers Across Skin Tones in Dermatology.» In International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 320-329. Springer, Cham, 2020. https://link.springer.com/chapter/10.1007/978-3-030-59725-2_31
3 Tadesse ,A. G, Kim ,H., Daneshjou ,R., Cintas ,C., Varshney ,K., Adelekun, A., Lipoff ,J., Onyekab, G., Rotemberg, V., Zou, J. Automated Evaluation of Representation in Dermatology Educational Materials. In AAAI 2021 Workshop: Trustworthy AI for Healthcare. https://taih20.github.io/papers/11/CameraReady/AAAI_2021_Trustworthy_camera_ready.pdf