John Schulman et al.

1 fișă

1. 01

   Ordinea e prompt, apoi RAG, apoi LoRA: fine-tuning-ul merită când comportamentul e îngust și repetat, nu când lipsesc cunoștințe.

   LoRA Without Regret · 2025

   Fine-tuning pentru comportament, RAG pentru cunoștințe, prompt pentru tot ce se poate.

   Constatările din 2025: LoRA pe toate matricele (inclusiv straturile MLP), rată de învățare de circa zece ori mai mare decât la fine-tuning-ul complet, două treimi din calcul, iar pentru învățare prin întărire ajunge rangul 1. Deci „calitate mai slabă” nu mai e motivul de a-l evita. Arborele de decizie: un prompt mai bun cu exemple — gratis, instant; RAG — cunoștințe care se schimbă, citări necesare; LoRA — format fix sau disciplină de apel de unelte, stil, un clasificator sau router îngust, latență (prompt scurt în loc de trei mii de tokeni de instrucțiuni), distilarea comportamentului unui model mare într-unul mic pentru o singură sarcină (70–85% din calitatea profesorului la un cost de 5–10 ori mai mic, după rapoartele din 2026). Nu LoRA: fapte noi, politici care se schimbă, cazuri rare. Condiție: un set de evaluare și sute sau mii de exemple. Regretul: adaptorul îngheață comportamentul de azi și se reantrenează la schimbarea modelului.

   “În experimentele noastre constatăm că, într-adevăr, când nimerim câteva detalii-cheie, LoRA învață cu aceeași eficiență pe eșantion ca fine-tuning-ul complet și atinge aceeași performanță finală.”

   Deschide fișa →