Validación de IA y aprendizaje automático: estrategias y ejemplos

La Inteligencia Artificial se define como cualquier técnica que permita a las máquinas imitar la inteligencia humana. Permite a las máquinas "pensar como humanos". Con estas herramientas, es posible mejorar la eficiencia de varios procesos de toma de decisiones, pero también impulsar aún más la innovación dentro de su organización. Permiten a las empresas desbloquear un nuevo valor en los datos que a menudo se capturan hoy en día, pero que rara vez se utilizan en todo su potencial

El aprendizaje automático va un paso más allá. Es un subconjunto de la IA que permite a las máquinas mejorar de forma autónoma a través del aprendizaje. Esto significa que los sistemas basados en la tecnología ML mejorarán gradualmente mientras realizan las tareas para las que fueron diseñados. ¿Quién hubiera pensado que incluso las máquinas comenzarían a aprender en el trabajo?

Para ambas tecnologías, surgen varias dificultades cuando comenzamos a analizar los requisitos de validación. Clásicamente, los sistemas validados están grabados en piedra desde el momento en que se publican. Por lo general, la validación solo se vuelve a evaluar cuando se realizan actualizaciones importantes en el sistema. Los algoritmos fijos garantizan que cada entrada genere la misma salida cada vez.

Los sistemas basados en IA/ML son más bien un caso especial debido a los aspectos de formación, reentrenamiento y autoaprendizaje del software. Hasta la fecha, aún no es posible aplicar ingeniería inversa al proceso de pensamiento del software de IA o ML, lo que dificulta la comprensión completa del software.

En la práctica, llamamos a estos sistemas cajas negras. Su proceso de toma de decisiones es difícil de dividir completamente en partes comprobables y, cuando observamos los sistemas basados en ML, el proceso cambia cada vez que el sistema aprende realizando las tareas para las que se puso en servicio. Puede generar diferentes salidas en función del entrenamiento del sistema.

La primera categoría son los sistemas estáticos basados en reglas. Este es, con mucho, el grupo más grande, ya que la mayoría de los sistemas que se utilizan actualmente en las empresas de ciencias de la vida entran en esta categoría. La automatización en estos sistemas se logra a través de reglas estáticas y algoritmos fijos. El marco de validación para este tipo de sistemas hoy en día existe en directrices y regulaciones como GAMP5®, 21 CFR parte 11, Eudralex volumen 4 anexo 11 y otras.

La segunda categoría son los sistemas estáticos basados en IA. Estos sistemas utilizan inteligencia artificial pero no son de autoaprendizaje. La formación y el aprendizaje tienen lugar antes del lanzamiento y se pueden repetir con cada actualización. La validación de este tipo de aplicaciones generalmente se puede realizar de acuerdo con las mejores prácticas y pautas actuales, pero el componente de IA de estos sistemas requiere entregables adicionales que discutiremos más adelante en este blog.

Las funciones no relacionadas con la IA de estos sistemas no requieren ningún esfuerzo de validación adicional más allá de las buenas prácticas habituales descritas, por ejemplo, en GAMP®5. El conocido modelo V se puede utilizar con un enfoque de desarrollo en cascada o ágil y los entregables consisten en requisitos de usuario, especificaciones funcionales, de diseño y/o configuración, pruebas de instalación, pruebas funcionales y pruebas de aceptación del usuario, acompañadas de un plan de validación y un informe resumido.

Durante este esfuerzo de validación de las funciones que no son de IA, se deben tener en cuenta algunas preocupaciones adicionales al documentar y probar el componente de IA del sistema. Al igual que con la parte que no es de IA, se debe validar el componente de IA del sistema. Si bien los entregables del modelo V son un buen comienzo, se debe documentar información adicional o esfuerzos de prueba para cubrir adecuadamente el modelo de IA durante la validación.

Los aspectos importantes a tener en cuenta para la fase de concepto del ciclo de vida del sistema se refieren principalmente a la selección de datos utilizados tanto para el entrenamiento como para las pruebas del sistema. Dado que esto tendrá un gran impacto en el resultado de la validación, debe hacerse con el debido cuidado, conocimiento y experiencia.

Durante la fase de proyecto del ciclo de vida del sistema, el modelo de IA debe describirse en los requisitos y especificaciones del modelo. El diseño y la capacitación deben documentarse y realizarse con el conjunto preseleccionado de datos de capacitación y el resultado de la prueba del modelo en función del conjunto de datos de prueba, también se deben documentar los requisitos y especificaciones del modelo.

Durante la fase de operación del sistema, el conjunto de datos del ciclo de producción/vida debe ser monitoreado y revisado continuamente para determinar si los cambios en este conjunto de datos pueden requerir un ajuste en el conjunto de datos de entrenamiento y prueba y desencadenar cualquier esfuerzo de reentrenamiento.

La tercera categoría son los sistemas dinámicos basados en IA. Las aplicaciones basadas en el aprendizaje automático entran en esta categoría. Este tipo de sistemas cambian durante la fase operativa debido al aspecto del aprendizaje automático. La salida del sistema dada una determinada entrada puede ser diferente con el tiempo porque el sistema aprende.

Los desafíos de validación son mayores en esta categoría. La FDA proposal for an AI validation life cycle proporciona un primer vistazo de dónde debería estar el enfoque para garantizar que estos sistemas se validen y mantengan en un estado controlado. Todavía no existen regulaciones claras y prácticas para este tipo de validación.