Cinco preguntas que todo gerente de riesgo debería hacerle a su proveedor de IA
Cuando un área de riesgo o cumplimiento evalúa un nuevo proveedor de tecnología financiera, sabe exactamente qué preguntar: certificaciones, auditorías previas, planes de continuidad. Cuando ese mismo proveedor ofrece una solución de inteligencia artificial, la conversación suele volverse más laxa: se pregunta por precisión del modelo, por casos de éxito, rara vez por gobernanza. Eso está cambiando, y debería cambiar más rápido. Estas son cinco preguntas concretas que recomendamos incluir en cualquier evaluación de un proveedor de IA.
Primera: ¿pueden mostrar el linaje de los datos que entrenan o alimentan el sistema? No basta con saber que hay datos; hay que poder rastrear de dónde vienen, cómo se limpiaron y qué sesgos conocidos podrían arrastrar. Un proveedor que no puede responder esto no puede, en rigor, garantizar nada sobre las decisiones que el sistema tome después.
Segunda: ¿quién es el responsable humano final de las decisiones que el sistema influye o automatiza? La IA no debería operar en un vacío de responsabilidad. Tiene que existir una persona o un rol identificado que pueda intervenir, explicar y, si hace falta, revertir una decisión.
Tercera: ¿el sistema puede explicar sus propias decisiones en un lenguaje que un auditor no técnico pueda entender? La explicabilidad no es un lujo académico; es lo que permite defender una decisión ante un regulador, un cliente o un tribunal si llega el caso.
Cuarta: ¿existe un plan documentado de reentrenamiento y de degradación? Los modelos se desactualizan. Un proveedor serio tiene un proceso definido para detectar cuándo un modelo empezó a fallar y qué se hace mientras se corrige, no solo un compromiso verbal de “monitoreo continuo”.
Quinta: ¿la empresa que construye el sistema sabe también auditarlo? Esta es, en nuestra experiencia, la pregunta que más rápido separa a un proveedor de producto de un socio de confianza. Construir y auditar exigen el mismo rigor, pero rara vez viven en el mismo equipo. Cuando sí conviven, el resultado es un sistema diseñado desde el principio para poder ser revisado, no uno al que se le añade control después, cuando ya es tarde y cuesta más.
En BIT llegamos a estas cinco preguntas desde el lado de la auditoría, no desde el lado de las ventas: son, en esencia, las mismas que aplicaríamos si nos tocara auditar a otro proveedor. Se las compartimos porque creemos que un mercado de IA más exigente en estas preguntas es un mercado mejor para todos, incluidos nosotros.