Din cărți

Într-un agent, majoritatea apelurilor sunt înguste și repetitive; un model mic specializat le face mai ieftin, mai rapid și adesea la fel de bine.

Peter Belcak et al. (NVIDIA Research) · Small Language Models are the Future of Agentic AI · 2025 · Small Language Models are the Future of Agentic AI (arXiv 2506.02153, iunie 2025) — rezumat1 minut de citit
Aici expunem poziția că modelele mici de limbaj (SLM) sunt suficient de puternice, inerent mai potrivite și în mod necesar mai economice pentru multe apeluri din sistemele agentice și sunt, prin urmare, viitorul IA agentice.Peter Belcak et al. (NVIDIA Research) · Small Language Models are the Future of Agentic AI · 2025 · Small Language Models are the Future of Agentic AI (arXiv 2506.02153, iunie 2025) — rezumat

Planificatorul poate fi mare; lucrătorii pot fi mici, specializați și locali.

Argumentul lucrării: sarcinile unui agent sunt înguste, formatate, repetitive — exact ce se potrivește unui model sub 10 miliarde de parametri. Sistemul devine eterogen: un model de frontieră planifică, modele mici lucrează. Procedura propusă: jurnalizezi apelurile, le grupezi pe tipuri de sarcină, antrenezi un model mic per grup și îl pui în locul apelului mare. Tiparul din 2026 — planificator mare, lucrători mici, fine-tunați — e raportat la un cost de circa zece ori mai mic. Familiile cu ponderi deschise (Qwen, Gemma, Mistral, gpt-oss și altele) rulează pe o singură placă sau on-prem. Prețul: evaluările și servirea sunt ale tale. Unde pică modelele mici: raționament deschis, context lung, cazuri rare — acolo escaladezi.

De ce conteazăCel mai ieftin token e cel pe care nu-l trimiți la un model de frontieră.

Jurnal deapeluriGrupare pesarciniUn modelmic perPlanificatormare doar
Drumul de la un agent scump la unul eterogen.
Deschide pe YouTube

Rafturi

Vezi tot fluxul