Skip to main content
Cette page rassemble les conseils les plus utiles quand vous lancez vos premiers fine-tunings avec MLX. Le but n’est pas d’optimiser au millimètre, mais d’éviter les erreurs qui coûtent le plus cher.

​
1. Commencez plus petit que prévu

Le réflexe courant consiste à choisir un gros modèle dès le départ. En pratique, vous apprendrez plus vite avec :
  • un modèle compact
  • un petit dataset propre
  • un run court
Une fois le pipeline validé, vous pourrez monter en taille.

​
2. Protégez la mémoire unifiée

Pendant le fine-tuning, votre Mac partage la mémoire entre le système, les apps et le modèle. Faites simple :
  • fermez les applications gourmandes
  • réduisez --batch-size si nécessaire
  • baissez --lora-layers si la machine est trop serrée
  • préférez QLoRA si le modèle devient trop lourd

​
3. Traitez le dataset comme le coeur du projet

Le meilleur levier n’est pas toujours l’hyperparamètre. C’est souvent la qualité des exemples. Avant de relancer un run, demandez-vous :
  • la consigne est-elle claire ?
  • la réponse est-elle vraiment celle attendue ?
  • le style est-il cohérent d’un exemple à l’autre ?
Si ce n’est pas le cas, corrigez le dataset avant de toucher au learning rate.

​
4. Gardez une validation séparée

Sans valid.jsonl, vous avancez presque à l’aveugle. La validation vous aide à répondre à une question simple : “le modèle apprend-il quelque chose d’utile ou mémorise-t-il juste mes exemples ?“

​
5. Changez un paramètre à la fois

Quand un entraînement se passe mal, évitez de modifier :
  • le modèle
  • le dataset
  • le nombre de couches
  • le nombre d’itérations
  • le learning rate
tout en même temps. Sinon, vous ne saurez pas ce qui a réellement aidé ou cassé le run.

​
6. Testez régulièrement avec des prompts réels

Ne jugez pas votre fine-tuning uniquement sur les métriques. Testez aussi des demandes proches de l’usage final :
  • un vrai prompt utilisateur
  • un cas limite
  • une consigne que le modèle de base gérait mal
Le résultat doit être meilleur sur votre cas d’usage, pas seulement plus joli dans le journal d’entraînement.

​
7. Arrêtez-vous quand vous avez appris assez

Le but n’est pas forcément d’obtenir “le meilleur modèle possible”. Le but est souvent d’obtenir un comportement plus utile pour votre produit. Si votre modèle répond déjà mieux à vos besoins :
  • documentez la configuration
  • conservez le dataset
  • notez les limites restantes
Puis passez à l’intégration et aux tests d’usage.

Guide LoRA

Reprendre le flux d’entraînement pas à pas.

QLoRA

Réduire le coût mémoire.