Convai Innovations (GitHub)

1 fișă

1. 01

   Viteza unui model de decizie se măsoară în milisecunde per întrebare și în tokeni per dolar, dar valoarea lui se măsoară în calibrare: dacă «0,9» nu înseamnă «nouă din zece», pragurile tale sunt superstiție — iar calibrarea se repară cu un singur număr, temperatura, dacă ai date ținute deoparte.

   Laya — README-ul proiectului, secțiunile «Benchmarks» și «Honest limits» · 2026

   Măsoară ECE pe date ținute deoparte și reajustează temperatura înainte să pui un prag pe o probabilitate.

   Rapiditatea, cu sursa. Jev, măsurat independent (AbdelStark, nibzard, septembrie 2026): 236–276 ms p50 pentru o întrebare, 70–500 ms declarat de companie. Laya pe un T4: 32,8 ms multilingv, 39,5 ms englez, iar în lot de zece 7,2 ms per întrebare — 103–332 întrebări pe secundă pe un singur GPU. Un LLM de frontieră pe aceeași judecată: 8,83 s mediană (Every, 2026). Costul: 0,042 $ per milion de tokeni de intrare la Jev; 0 $ per token la Laya plus GPU-ul și orele cuiva. Raportul 7,8× dintre cele două nu e o proprietate a arhitecturii, ci a distanței: unul e un apel de rețea, celălalt o trecere locală. Calibrarea e cifra care contează. ECE — eroarea de calibrare așteptată — compară încrederea declarată cu acuratețea reală pe intervale: un ECE de 0,1 înseamnă că, în medie, «0,8» al modelului e adevărat în 70 % sau 90 % din cazuri, nu 80 %. Laya livrează supra-încrezătoare (0,466) și ajunge la 0,081 după ce reajustezi o temperatură per tip de întrebare și număr de opțiuni; Jev e raportat la 0,144–0,246 fără ajustare. Temperatura e un singur scalar care împarte logit-urile înainte de softmax: peste 1 aplatizează, sub 1 ascute. Nu schimbă ce opțiune câștigă, doar cât de sigur pretinde modelul că e — exact ce citesc pragurile tale. Când nu ajută niciunul: aritmetică, comparații de date, întrebări în mai mulți pași, stări mari și zgomotoase, text adversarial — documentația TypeSafe le listează pe toate. Și un avertisment din benchmark-ul Laya: pe khmer, checkpoint-ul englez dă 0,000 acuratețe la 95,2 % încredere. Încrederea nu avertizează asupra a ce n-a văzut la antrenare; asta o verifici tu, pe date ținute deoparte, înainte de orice prag.

   “Ambele puncte de control sunt supra-încrezătoare așa cum sunt livrate. Reajustarea unei singure temperaturi per (tip de întrebare, număr de opțiuni) pe date ținute deoparte mută ECE mediu de la 0,466 la 0,081.”

   Deschide fișa →