Carte
The Coal Question
de William Stanley Jevons · 1865 · 1 fișă de lectură · domeniu public
1 fișă
The Coal Question · 1865
On-prem se justifică prin utilizare susținută sau prin date care nu pot pleca, nu prin prețul tokenului.
Paradoxul lui Jevons la agenți: pe măsură ce prețul per token a scăzut, consumul per sarcină a crescut — un agent arde de 10–100 de ori tokenii unui chat. Economia on-prem în 2026: un sistem cu opt plăci de clasă H100 costă 250–320 mii de dolari; închirierea unei plăci, mediană ~2,5 dolari pe oră; pragul de rentabilitate pe trei ani e tipic la 70–80% utilizare susținută, în timp ce majoritatea flotelor rulează la 40–65%; regula practică: evaluezi on-prem peste ~1 miliard de tokeni pe lună. Motivele care nu țin de preț: rezidența datelor, transferurile sub GDPR și Schrems II, reguli sectoriale; ghidul EDPB din 2025 numește inferența on-prem cea mai puternică atenuare a riscului de protecție a datelor la modelele de limbaj. Tiparul hibrid: cloud public în regiune UE pentru ce nu e sensibil, cloud suveran pentru ce e reglementat, on-prem pentru ce nu are voie să plece. Servirea se face cu motoare de clasa vLLM sau SGLang, unde cache-ul de prefix avantajează agenții. Costurile ascunse: echipa de operare, schimbările de model, evaluările la fiecare schimbare.
“Este cu totul o confuzie de idei să presupunem că folosirea economică a combustibilului echivalează cu un consum redus. Tocmai contrariul este adevărat.”