> ## Documentation Index
> Fetch the complete documentation index at: https://docsmlx.otterly.dev/llms.txt
> Use this file to discover all available pages before exploring further.

# Tips & astuces

> Quelques repères simples pour réussir un fine-tuning MLX sans perdre du temps

Cette page rassemble les conseils les plus utiles quand vous lancez vos premiers fine-tunings avec MLX. Le but n'est pas d'optimiser au millimètre, mais d'éviter les erreurs qui coûtent le plus cher.

***

## 1. Commencez plus petit que prévu

Le réflexe courant consiste à choisir un gros modèle dès le départ. En pratique, vous apprendrez plus vite avec :

* un modèle compact
* un petit dataset propre
* un run court

Une fois le pipeline validé, vous pourrez monter en taille.

***

## 2. Protégez la mémoire unifiée

Pendant le fine-tuning, votre Mac partage la mémoire entre le système, les apps et le modèle.

Faites simple :

* fermez les applications gourmandes
* réduisez `--batch-size` si nécessaire
* baissez `--lora-layers` si la machine est trop serrée
* préférez QLoRA si le modèle devient trop lourd

***

## 3. Traitez le dataset comme le coeur du projet

Le meilleur levier n'est pas toujours l'hyperparamètre. C'est souvent la qualité des exemples.

Avant de relancer un run, demandez-vous :

* la consigne est-elle claire ?
* la réponse est-elle vraiment celle attendue ?
* le style est-il cohérent d'un exemple à l'autre ?

Si ce n'est pas le cas, corrigez le dataset avant de toucher au learning rate.

***

## 4. Gardez une validation séparée

Sans `valid.jsonl`, vous avancez presque à l'aveugle.

La validation vous aide à répondre à une question simple : "le modèle apprend-il quelque chose d'utile ou mémorise-t-il juste mes exemples ?"

***

## 5. Changez un paramètre à la fois

Quand un entraînement se passe mal, évitez de modifier :

* le modèle
* le dataset
* le nombre de couches
* le nombre d'itérations
* le learning rate

tout en même temps.

Sinon, vous ne saurez pas ce qui a réellement aidé ou cassé le run.

***

## 6. Testez régulièrement avec des prompts réels

Ne jugez pas votre fine-tuning uniquement sur les métriques. Testez aussi des demandes proches de l'usage final :

* un vrai prompt utilisateur
* un cas limite
* une consigne que le modèle de base gérait mal

Le résultat doit être meilleur sur votre cas d'usage, pas seulement plus joli dans le journal d'entraînement.

***

## 7. Arrêtez-vous quand vous avez appris assez

Le but n'est pas forcément d'obtenir "le meilleur modèle possible". Le but est souvent d'obtenir un comportement plus utile pour votre produit.

Si votre modèle répond déjà mieux à vos besoins :

* documentez la configuration
* conservez le dataset
* notez les limites restantes

Puis passez à l'intégration et aux tests d'usage.

***

<CardGroup cols={2}>
  <Card title="Guide LoRA" icon="dumbbell" href="/mlx/fine-tuning/lora-guide">
    Reprendre le flux d'entraînement pas à pas.
  </Card>

  <Card title="QLoRA" icon="microchip" href="/mlx/fine-tuning/qlora-guide">
    Réduire le coût mémoire.
  </Card>
</CardGroup>
