- Conglomerado
- Calaa
- Arquitectura
- Los modelos
05.2 · Lo que se usa del mercado y lo que es propio.
Los modelos
La parte visible de una capa de inteligencia es el modelo, y es la que menos la distingue. Aquí se usan modelos base del mercado y el trabajo propio está en el dominio, en el corpus y en la evaluación.
Qué se hace con ellos
Elegir
Poder sustituirlo
El modelo base se selecciona por resultado en la evaluación propia, no por su fama. Y el sistema se construye para poder sustituirlo, porque en este mercado el mejor cambia cada pocos meses.
Acotar el dominio
Donde está el trabajo
Que responda del automóvil y consulte el corpus antes de afirmar. Un modelo que contesta de memoria sobre normativa de emisiones suena convincente y se equivoca de año.
Evaluar
Contra un examen fijo
Conjunto cerrado antes de entrenar, con la comparación contra la versión anterior. Es lo que permite decir que una versión es peor y descartarla el mismo día, sin discusión.
Poder volver atrás
En minutos
Toda versión en servicio tiene una anterior con sus datos de entrenamiento identificados. Una plataforma que solo sabe avanzar convierte cada despliegue en una apuesta.
Lo que un modelo no arregla
Un corpus incompleto. Ningún modelo sabe lo que no está en el material, y el que lo aparenta es el peor de los casos.
Un dominio mal acotado. Un modelo general aplicado a un sector concreto acierta en lo evidente y falla exactamente donde hacía falta.
La evaluación. Sin examen fijo, cada versión parece mejor que la anterior, porque quien la presenta elige las preguntas.
Qué se publica de cada versión
Su ámbito, su resultado en la evaluación, su latencia y los casos en los que se sabe que falla. Un modelo sin lista de fallos conocidos no se ha evaluado, se ha probado.
Lo que decide la calidad del trabajo
El conjunto de evaluación, y se fija antes de entrenar. Es lo que convierte la mejora en un hecho comprobable en vez de en una impresión, y lo que permite que alguien de fuera juzgue el sistema sin creer en él.
Un modelo sin lista de fallos conocidos no se ha evaluado. Se ha probado.
Qué cambia para quien lo usa
Que una versión peor no llega a producción. El examen fijo convierte esa decisión en un hecho comprobable en lugar de en una discusión entre quien la ha construido y quien la tiene que aprobar.