Programme de la formation
- Rappel de la notion de fine-tuning : différences entre prompt engineering, LoRA, et full fine-tuning.
- Tour d’horizon des librairies (Hugging Face, PyTorch Lightning) et modèles compatibles.
- Préparation du dataset : collecte, nettoyage, segmentation, balance des classes (si classification).
- Paramètres clés (learning rate, batch size) et gestion du sur-apprentissage ou de l’underfitting.
- Mise en œuvre pratique : démonstration pas à pas d’un fine-tuning sur GPT-3.5 via l’API OpenAI ou sur un modèle open source.
- Évaluation des performances : perplexité, F1, BLEU, selon la tâche visée (génération ou QA).
- Retour d’expériences sur les coûts (GPU/TPU), temps de calcul, pilotage de budget.
- Point sur la maintenance d’un modèle personnalisé (mises à jour, validation continue).
- Cas d’usage dans l’assurance : ajuster un modèle à la terminologie métier, l’historique de sinistres, la FAQ interne.
- Discussion : quand privilégier le fine-tuning vs RAG ou prompt engineering pour les besoins métiers.
