Il y a 1 j
Let's build a reasoning LLM using GRPO, from scratch (100% local):
Today, we're going to learn how to turn any model into a reasoning powerhouse.
We'll do so without any labeled data or human intervention, using Reinforcement Finetuning (GRPO)!
Tech stack:
- @UnslothAI for efficient fine-tuning
- @HuggingFace TRL to apply GRPO
Let's go! 🚀
What is GRPO?
Group Relative Policy Optimization is a reinforcement learning method that fine-tunes LLMs for math and reasoning tasks using deterministic reward functions, eliminating the need for labeled data.
Here's a brief overview of GRPO before we jump into code:
1️⃣ Load the model
We start by loading Qwen3-4B-Base and its tokenizer using Unsloth.
You can use any other open-weight LLM here.
Check this 👇
2️⃣ Define LoRA config
We'll use LoRA to avoid fine-tuning the entire model weights. In this code, we use Unsloth's PEFT by specifying:
- The model
- LoRA low-rank (r)
- Modules for fine-tuning, etc.
Check this 👇
3️⃣ Create the dataset
We load Open R1 Math dataset (a math problem dataset) and format it for reasoning.
Each sample includes:
- A system prompt enforcing structured reasoning
- A question from the dataset
- The answer in the required format
Check this code 👇
4️⃣ Define reward functions
In GRPO we use deterministic functions to validate the response and assign a reward.
No manual labelling required!
The reward functions:
- Match format exactly
- Match format approximately
- Check the answer
- Check numbers
Check this out 👇
5️⃣ Use GRPO and start training
Now that we have the dataset and reward functions ready, it's time to apply GRPO.
HuggingFace TRL provides everything we described in the GRPO diagram, out of the box, in the form of the GRPOConfig and GRPOTrainer.
Check this out👇
6️⃣ Comparison
Again, we can see how GRPO turned a base model into a reasoning powerhouse.
Check this out👇
Before we conclude, let me address an important question:
When should you use reinforcement fine-tuning (RFT) versus supervised fine-tuning (SFT)?
I created this diagram to provide an answer:
Finally, I'll leave you with an overview of the GRPO process.
Let me know what other techniques you have used in the comments!
You can find all the code and everything you need on the @LightningAI⚡️Studio here:
14,8 k
136
Le contenu de cette page est fourni par des tiers. Sauf indication contraire, OKX n’est pas l’auteur du ou des articles cités et ne revendique aucun droit d’auteur sur le contenu. Le contenu est fourni à titre d’information uniquement et ne représente pas les opinions d’OKX. Il ne s’agit pas d’une approbation de quelque nature que ce soit et ne doit pas être considéré comme un conseil en investissement ou une sollicitation d’achat ou de vente d’actifs numériques. Dans la mesure où l’IA générative est utilisée pour fournir des résumés ou d’autres informations, ce contenu généré par IA peut être inexact ou incohérent. Veuillez lire l’article associé pour obtenir davantage de détails et d’informations. OKX n’est pas responsable du contenu hébergé sur des sites tiers. La détention d’actifs numériques, y compris les stablecoins et les NFT, implique un niveau de risque élevé et leur valeur peut considérablement fluctuer. Examinez soigneusement votre situation financière pour déterminer si le trading ou la détention d’actifs numériques vous convient.