„În experimentele noastre constatăm că, într-adevăr, când nimerim câteva detalii-cheie, LoRA învață cu aceeași eficiență pe eșantion ca fine-tuning-ul complet și atinge aceeași performanță finală.”John Schulman et al. · LoRA Without Regret · 2025 · LoRA Without Regret (Thinking Machines Lab, 29 septembrie 2025) — introducere
Fine-tuning pentru comportament, RAG pentru cunoștințe, prompt pentru tot ce se poate.
Constatările din 2025: LoRA pe toate matricele (inclusiv straturile MLP), rată de învățare de circa zece ori mai mare decât la fine-tuning-ul complet, două treimi din calcul, iar pentru învățare prin întărire ajunge rangul 1. Deci „calitate mai slabă” nu mai e motivul de a-l evita. Arborele de decizie: un prompt mai bun cu exemple — gratis, instant; RAG — cunoștințe care se schimbă, citări necesare; LoRA — format fix sau disciplină de apel de unelte, stil, un clasificator sau router îngust, latență (prompt scurt în loc de trei mii de tokeni de instrucțiuni), distilarea comportamentului unui model mare într-unul mic pentru o singură sarcină (70–85% din calitatea profesorului la un cost de 5–10 ori mai mic, după rapoartele din 2026). Nu LoRA: fapte noi, politici care se schimbă, cazuri rare. Condiție: un set de evaluare și sute sau mii de exemple. Regretul: adaptorul îngheață comportamentul de azi și se reantrenează la schimbarea modelului.
Pasajul 1
Cardul spune că ordinea corectă e prompt, apoi RAG, apoi LoRA. Dar partea mai puțin bătută cu cuiul e ce vine înainte de toate trei: un mod de a măsura dacă noul comportament e chiar cel dorit. Fără asta, nu poți ști dacă un prompt mai bun ar fi ajuns. Exemplu concret: vrei ca modelul să clasifice tichetele de suport în cinci categorii. Mai întâi scrii douăzeci de tichete cu răspunsul corect. Abia apoi încerci un prompt cu exemple. Dacă greșește pe jumătate, treci la RAG sau la antrenare. Setul de evaluare e busola, nu un lux. Iar LoRA în 2025 nu mai pierde calitate față de antrenarea completă, deci frâna veche a dispărut. Rămâne întrebarea practică: ce anume trebuie configurat ca să funcționeze bine când îl folosești?
Pasajul 1 s-a încheiat cu o întrebare: ce configurezi ca LoRA să funcționeze bine? Răspunsul din 2025 e contraintuitiv. Nu-l folosi doar pe straturile de atenție, ci pe toate matricele modelului, inclusiv pe cele MLP. Și crește rata de învățare de circa zece ori peste valoarea uzuală de la antrenarea completă. Motivul: adaptorul e o mică parte a modelului, deci are nevoie de pași mai mari ca să învețe ceva. Exemplu concret: antrenezi clasificatorul de tichete; setezi rata ca la fine-tuning complet și obții un model care pare să fi învățat nimic. Mărești rata de zece ori și comportamentul se prinde. Chiar rangul 1 ajunge la învățarea prin întărire, cu două treimi din calcul. Deci întrebarea nu mai e dacă LoRA e suficient de bun, ci când merită deloc antrenat.
De ce contează Fără set de evaluare, un fine-tuning e o cheltuială cu o poveste.