Table of Contents

Alegerea modelului: evaluează fiecare variantă după răspunsurile utile pe care le finalizează, calitatea pe care o păstrează și memoria de care are nevoie volumul tău de lucru. Un număr mic de refuzuri sau o fișă populară a modelului nu demonstrează aceste rezultate.

Eticheta fără cenzură nu are o scară standard de performanță. Editorii modelelor o folosesc pentru modificări diferite ale ponderilor, reglaje fine și șabloane de conversație. Compară fiecare candidat cu modelul original și testează-l pe sarcinile pe care vrei să le rulezi.

Ce îți spune eticheta

Un model abliterat a primit modificări ale ponderilor pentru a schimba anumite comportamente de refuz. Lucrarea din 2024 despre direcția refuzului a demonstrat o metodă pe 13 modele conversaționale deschise. Instrumentele mai noi oferă și alte metode. De exemplu, Heretic 2 documentează atât ablația de rang arbitrar, cât și ablația direcțională. Eticheta de pe fișa modelului nu spune ce comportament s-a schimbat sau ce efect a avut modificarea.

Separă aceste patru proprietăți când compari modele:

ProprietateCe să verifici
Comportamentul de refuzCe solicitări primesc un refuz, un răspuns parțial sau un răspuns complet?
Păstrarea capacitățilorCum se compară cu modelul original sarcinile de cunoștințe, raționament, programare și formatare?
Finalizarea răspunsuluiCât de des se termină generarea înainte să expire limita de tokenuri sau de timp?
Compatibilitatea cu mediul de execuțieFișierul cuantizat exact rulează cu suficientă memorie pentru contextul de care ai nevoie?

Un model modificat rămâne probabilistic. Verifică separat calitatea: acuratețea, fiabilitatea și utilizarea sigură. Păstrează disponibil un model aliniat în mod obișnuit pentru sarcinile în care protecțiile lui contează.

De ce numărul de refuzuri oferă o ierarhie slabă

Un scor de refuz măsoară un rezultat pe un set de solicitări. Spune puține despre acuratețea faptelor, lungimea răspunsurilor sau dacă modelul livrează un răspuns final înainte să-și epuizeze bugetul de generare.

Comparația Qwen3.8-27B realizată de Sapwell în septembrie 2026 a testat modelul de bază și opt variante cu aceeași configurație de servire. Setul de 13 sarcini a măsurat cunoștințe, matematică, programare și veridicitate. Un set HarmBench separat conținea 400 de solicitări dăunătoare, iar un evaluator LLM a analizat răspunsurile complete. Aceste rezultate privesc o singură familie de modele, un GPU și un design de evaluare.

Varianta Qwen3.8-27B din studiuRefuzuri explicite din 400Răspunsuri cu raționament neterminat
Model de bază3810%
OrcaRouter238%
Trohrbaugh12215%

Numărul mare de refuzuri al modelului de bază a coincis cu mai puține rezultate neterminate. Numărul mic de refuzuri al OrcaRouter a coincis cu o rată mai mare de răspunsuri incomplete. Trohrbaugh a păstrat mai multe refuzuri și a produs mai puține răspunsuri incomplete. Alege în funcție de sarcina ta și de compromisurile acceptabile.

Un studiu cu 23 de variante Gemma 4 E4B a găsit pierderi importante la unele măsurători ale capacităților pentru varianta cu cele mai multe descărcări, în timp ce o modificare mai mică a rămas aproape de modelul de bază în testul ei. Popularitatea și numărul de descărcări descriu adoptarea. Nu măsoară calitatea.

Nu combina aceste măsurători într-un singur scor. Separă indicatorii: refuzul, finalizarea, corectitudinea și latența. Înregistrează și setul de solicitări, revizia modelului, șablonul de conversație, mediul de execuție, contextul și limita de ieșire. Schimbarea oricărei setări modifică sensul comparației.

Diagnostichează răspunsurile goale înainte să înlocuiești modelul

Tokenurile de raționament consumă limita de ieșire înainte să apară text vizibil. Dacă limita se termină în timpul raționamentului intern, unele medii de execuție returnează un răspuns gol sau trunchiat. Acest rezultat diferă de un refuz sau de un răspuns complet, dar greșit.

Benchmarkul Qwen3.6-27B al lui Sapwell a arătat cum afectează acest lucru scorurile generale. Scorurile brute la matematică au variat mult deoarece unele rulări nu au ajuns la răspunsul final. Între răspunsurile finalizate, valorile de acuratețe măsurate au fost mult mai apropiate. Benchmarkul a separat capacitatea de a răspunde de epuizarea bugetului de raționament.

Când răspunsul e gol, verifică motivul opririi și jurnalele mediului de execuție. Înregistrează lungimea solicitării, alocarea contextului, limita de tokenuri de ieșire, timpul scurs și dacă modelul a produs un marcator de răspuns final. Apoi repetă solicitarea cu o limită de ieșire mai mare dacă echipament-ul are suficient spațiu.

RezultatCategorie probabilă de investigat
Text de refuzModelul a refuzat solicitarea.
Ieșire goală la limita de tokenuriGenerarea și-a epuizat bugetul înainte să producă un răspuns final.
Ieșire trunchiatăLimita de generare a oprit un răspuns incomplet.
Eroare de execuțieServerul, fișierul modelului sau alocarea memoriei a eșuat.
Răspuns complet, dar greșitModelul a returnat text, dar nu a trecut verificarea corectitudinii.

Ieșire goală: confirmă rezultatul mediului înainte să numești fiecare caz un defect al modelului. O fereastră de context mai mare nu repară automat o limită mică de ieșire, un șablon greșit sau expirarea timpului aplicației.

Rezervă VRAM pentru ponderi și context

Fișierul modelului este doar un consumator de memorie. Mediul de execuție are nevoie și de spațiu pentru memoria cache KV, care păstrează starea de atenție a solicitării și răspunsului active, precum și pentru buffere de calcul și alte procese încărcate. Creșterea lungimii contextului mărește utilizarea memoriei.

Documentația actuală Ollama indică ferestre de context implicite de 4K sub 24 GiB VRAM, 32K între 24 și 48 GiB și 256K la 48 GiB sau mai mult. Aceste valori descriu comportamentul implicit al mediului. Verifică contextul alocat și plasarea procesorului cu ollama ps.

Exemplu pentru Linux: această comandă stabilește valoarea implicită de 16K pentru noile sesiuni ale serverului Ollama:

OLLAMA_CONTEXT_LENGTH=16384 ollama serve

Verifică contextul alocat față de dimensiunile obișnuite ale intrărilor și răspunsurilor cu modelul încărcat:

ollama ps

Coloanele CONTEXT și PROCESSOR arată alocarea și dacă modelul rulează pe GPU sau este descărcat parțial. Alocarea contextului: o limită afișată nu garantează că întreaga fereastră încape în VRAM.

Puncte de pornire după memoria GPU

Candidați de pornire: aceste familii de modele au apărut în comparațiile variantelor din 2026. Dimensiunile fișierelor provin din anumite depozite cuantizate. Confirmă fișierul exact, compatibilitatea mediului și memoria măsurată înainte să consideri potrivit un candidat.

Memorie GPUCandidat de pornireLimitarea principală
8 GBGemma 4 E4B, de exemplu varianta coder3101Păstrează mic fișierul ponderilor. Lasă memorie pentru context și bufferele mediului.
12 GBGemma 4 12B, de exemplu fișierul GGUF Q4 de 7,4 GB de la TrevorJSOferă modelului mai multă capacitate, dar mai puțin spațiu pentru context lung decât o variantă mai mică.
16 GBUn model mai mic sau un fișier Q3 Qwen3.8-27BDepozitul Qwen indică 13,72 GB pentru Q3_K_S. Editorul îl consideră de calitate scăzută. Spațiul pentru context va fi limitat.
24 GBQwen3.8-27B Q4_K_S sau Q4_K_MDepozitul actual indică fișiere de 16,71 GB și 17,77 GB. Rezervă spațiu pentru cache și buffere.
32 GBQwen3.8-27B Q6_KDepozitul actual indică un fișier de 23,46 GB. Un fișier mai mare lasă mai puțină memorie pentru context decât o cuantizare mai mică.

Folosește-le ca puncte de pornire. Depozitele și versiunile se schimbă, iar dimensiunea fișierului nu prezice singură alocarea memoriei mediului sau calitatea răspunsurilor.

Etichetele de cuantizare GGUF rezumă o alegere de codificare. Diferențe între depozite: fișierele cu aceeași adâncime nominală în biți nu garantează aceeași calitate. Un depozit Qwen etichetează Q3_K_S drept calitate scăzută și Q4_K_M drept alegere implicită. Înainte de descărcare, verifică dimensiunea exactă, fișa modelului, formatul solicitării și rezultatele testelor.

Pentru dimensiunea cache-ului și compatibilitatea cu un GPU local, consultă ghidul pentru modele locale, GPU și context . Recomandările lui se concentrează pe programare. Această pagină tratează comportamentul de refuz modificat și evaluarea.

Inspectează șablonul de conversație și sursa modelului

Un șablon de conversație împachetează mesajele în tokenurile și instrucțiunile așteptate de model. Un pachet de model poate include un șablon personalizat sau o instrucțiune de sistem. Aceste modificări influențează comportamentul măsurat chiar dacă ponderile de bază rămân la fel.

Efectul șablonului: Sapwell a găsit o variantă Qwen3.8 al cărei pachet conținea o personalitate ce îi cerea modelului să nu refuze și să nu avertizeze niciodată. Afirmația privind numărul mic de refuzuri depindea de șablon. Comparația a uniformizat șabloanele pentru ca testul să evidențieze diferențele dintre ponderi. Această măsură de control nu dovedește că șablonul inclus este rău intenționat sau inutilizabil.

Înainte de instalare: verifică editorul, modelul de bază, licența, procesul de conversie, cuantizorul, șablonul și istoricul reviziilor. Compară-l cu modelul original folosind același șablon și același mediu. Dacă fișa modelului nu descrie metoda sau configurația testului, înregistrează proveniența ca necunoscută.

Rulează o evaluare mică pentru volumul tău de lucru

Construiește un set repetabil de solicitări din sarcini obișnuite care îți aparțin sau pentru care ai permisiunea să testezi. Include activitatea pe care o va face modelul, întrebări factuale cu răspunsuri cunoscute și solicitări de formatare cu condiții clare de reușită. Adaugă câteva cazuri-limită sigure pentru ca refuzul să rămână parte din decizie.

Păstrează setările de test constante pentru modelul original și varianta editată. Nu modifica instrucțiunea de sistem, șablonul, cuantizarea, versiunea mediului, contextul, limita de ieșire sau setările de eșantionare. Salvează revizia modelului sau hash-ul fișierului împreună cu rezultatele.

Înregistrează separat fiecare rezultat:

  • Finalizare: răspuns final, refuz, ieșire goală, trunchiere sau eroare de execuție.
  • Corectitudine: reușită sau eșec față de un răspuns așteptat ori o grilă de evaluare.
  • Utilitate: dacă răspunsul îndeplinește cerințele sarcinii.
  • Latență: timpul până la primul token și timpul total de generare.
  • Memorie: contextul alocat, plasarea pe GPU și VRAM maxim.
  • Comportament de siguranță: refuzul sau continuarea adecvată pentru fiecare caz-limită.

Repetă setul după schimbarea unei singure variabile. Dacă răspunsul se finalizează după ce mărești limita de ieșire, prima problemă a ținut de buget. Dacă răspunsurile rămân incomplete, verifică șablonul modelului, modul de raționament, mediul și revizia modelului. Păstrează varianta numai dacă îmbunătățește sarcina vizată fără pierderi inacceptabile de acuratețe sau siguranță.

Izolează implementarea

Confidențialitate: inferența locală depinde de întregul tău ansamblu tehnic. Verifică interfața, jurnalele, extensiile, telemetria și rutele de rețea. Tratează ponderile de neîncredere și șabloanele personalizate ca pe cod și configurare de la terți.

Acces public: nu expune niciodată direct punctul final al modelului pe internetul public. Izolează accesul la instrumente și folosește variantele editate doar pentru activități autorizate. Pentru acces de la distanță, pune punctul final în spatele unui gateway privat cu autentificare, limite de solicitări și izolare de rețea. Lucrarea originală despre direcția refuzului menționează implicațiile de securitate ale editărilor care elimină refuzurile.

Concluzie

Regulă de decizie: alege modelul cu cele mai bune rezultate verificate pe propriul set de sarcini. Folosește numărul de refuzuri ca un indicator, apoi verifică finalizarea răspunsurilor, corectitudinea, comportamentul șablonului și rezerva VRAM. Începe cu un fișier potrivit GPU-ului tău, setează contextul pentru volumul de lucru și compară-l cu modelul original în condiții identice.

Pentru dimensionarea GPU-ului, compară aceste rezultate cu benchmarkul de închiriere GPU pentru Qwen 27B . Închiriază sau împrumută echipament înainte de achiziție dacă nu ești sigur de fișierul exact sau de contextul vizat.

Surse