Gemma 3 Fine tuning con MLX y Ollama

Hemos descargado Gemma 3 a nuestro Mac Studio y lo hemos re-entrenado a partir de un dataset custom, usando las herramientas del framework MLX pero también las herramientas de Meta para la cuantización. Finalmente hemos puesto a correr nuestro modelo con Ollama.

No quisiera terminar este artículo sin antes dar unos tips que seguro serán de mucha ayuda en el proceso de fine tuning:

1. En un escenario ideal, ambos, el training loss y el validation loss deberían decrecer a un punto de convergencia indicando así que el modelo está aprendiendo correctamente y es capaz de generalizar sobre datos nuevos y realizar predicciones precisas.
2. Escoger como mejor iteración el número mas bajo de validation loss no garantiza que vayamos a tener un buen modelo. Lo único que nos acercará a tener un mejor modelo es nuestro set de testeo que en últimas mostrará que tan bien rinde nuestro modelo ante datos que nunca ha visto (recordemos que durante el training ya vio el dataset del training y del validation pero no el de test).
3. Es importante monitorear la relación entre el training loss y el validation loss. En caso de que el training loss continue decreciendo mientras que el validation loss incrementa, puede ser un indicativo de overfitting o sobre-entrenamiento.
4. El número de iteraciones necesarias para completar 1 Epoch es igual al número de filas del dataset de entrenamiento dividido por el batch size. Algunos papers recomiendan que el mejor entrenamiento requiere solamente de 1 Epoch (One epoch is all you need).
5. La perplejidad o perplexity es una métrica usada cuando se testea el modelo y mide la certeza en las predicciones del modelo. Indica cómo de sorprendido está nuestro modelo al momento de generar texto. Un valor bajo de perplejidad incrementa la confianza en el modelo porque tiene menos opciones en la secuencia de generación de la siguiente palabra. Un valor mas alto agrega confusión y poca confianza al tener muchas opciones posibles para generar la siguiente palabra. Cuando entrenamos un modelo buscamos un equilibro entre confianza o desconfianza (creatividad).
6. Un valor recomendado para seleccionar el mejor ciclo es cuando la pérdida de entrenamiento y de validación estén entre 1.2 y 1.3. Valores por debajo de esos significa que nuestro modelo quedó sobre-entrenado y valores por encima significa que le faltó entrenamiento.
7. El hiperparámetro rank corresponde al número de parámetros en las capas de adaptación. Entre más parámetros, el modelo recordará mejor los datos y cosas mas complejas podrá manejar. Un valor de rank entre 4 y 16 básicamente le está indicando al modelo solamente un estilo de escritura. Valores por encima de 16, como 32 y 64 le están indicando al modelo que aprenda nuevos conceptos.
8. El hiperparámetro alpha es un factor de escalamiento y cambia la forma en la que infiere el modelo base. Un valor alto de alpha significa que las capas de Lora (las nuevas) tienen mas influencia sobre el modelo fundacional.
9. El dataset de entrenamiento es el que en última instancia va a determinar la calidad del modelo. Según el tamaño, debe distribuirse de cierta forma en train, validation y test. Si el dataset consiste entre 1.000 y 10.000 filas, la distribución debe ser de 60:20:20. Si el dataset está entre 10.000 y 100.000 filas el ratio debe ser de 70:15:15 y si el modelo es mayor de 100.000 el ratio debe ser de 80:10:10.

Espero que este artículo y los tips sean de mucha utilidad. Nos veremos en una próxima entrega donde profundizaremos mucho más en el funcionamiento de LoRA y cómo a través de fórmulas matemáticas podemos establecer mejores valores para Rank y Alpha.