Table of Contents

Pentru activități Hermes cu context lung, aș începe cu Qwen3.5 35B pe două plăci RTX 5060 Ti de 16 GB. Ruta testată a păstrat 239.153 de tokenuri de intrare prin LiteLLM și a trecut verificări separate pentru instrumente, streaming, vedere, solicitări puse în coadă și anulare. Qwen3.6 este alternativa mea cu o singură placă. Pe sistemele RTX 3060 Ti și RTX 3070 aș începe cu Qwen3.5 2B sau 4B.

Aceste alegeri provin din rularea modelelor prin căile de inferență folosite de agent. Am testat păstrarea intrărilor lungi, schimburile dus-întors cu instrumente, răspunsurile transmise în streaming, întrebările despre imagini și eliberarea modelului. Am testat și modurile și setările de memorie din spatele rutelor, deoarece încărcarea reușită a unui model spune puțin despre utilitatea lui în timpul unei solicitări lungi de agent.

Hermes cere cel puțin 64.000 de tokenuri de context pentru utilizarea agentului cu instrumente. Am folosit 65.536 de tokenuri reale de intrare drept prag de calificare pentru context lung. Numărul de tokenuri de intrare contează mai mult decât dimensiunea contextului anunțată de server. ( Documentația furnizorilor Hermes Agent )

Ce GPU-uri avea fiecare sistem

Literele sistemelor identifică configurațiile hardware folosite în rezultate.

SistemGPU-uri folosite pentru acest benchmarkModelul cu care aș începe
A2 × GeForce RTX 5060 Ti, câte 16 GBQwen3.5 35B pe ambele plăci sau Qwen3.6 pe o singură placă
B1 × RTX 2000E Ada, 16 GBQwen3.5 9B dacă procesarea intrării lungi timp de câteva minute se potrivește sarcinii
C1 × RTX 2000E Ada, 16 GBGemma 3 4B pentru calea testată cu intrare lungă, Qwen3.5 0.8B fără raționare pentru recuperare limitată
D1 × RTX 2000E Ada, 16 GBQwen3.5 9B, Gemma 4 12B-IT sau GPT-OSS 20B pentru sarcinile testate cu modele mai mari
E9 × GeForce RTX 3060 Ti, câte 8 GBQwen3.5 2B sau 4B
F8 × GeForce RTX 3060 Ti, câte 8 GBQwen3.5 2B sau 4B
G3 × GeForce RTX 3070Qwen3.5 2B sau 4B

Numărul de plăci instalate nu înseamnă că fiecare solicitare a folosit toate GPU-urile. Testele Qwen3.5 35B și Flash Next au folosit ambele plăci în sistemul A. Qwen3.6 a folosit una. Repetarea reușită a testului de vedere Qwen3.5 4B în sistemul E a folosit o placă selectată dintr-un grup de opt, iar a noua a rămas exclusă din activitățile AI.

Privește duratele de mai jos ca rezultate comune pentru modelul, mediul de execuție și sistemul testate. Aceste rulări compară configurații utilizabile. Nu izolează arhitectura GPU drept cauză a diferenței de viteză.

Două RTX 5060 Ti fac din Qwen3.5 35B alegerea mea pentru context lung

Qwen3.5 35B a obținut cel mai mare rezultat de retenție a intrării din aceste teste. Progresia directă Ollama a păstrat 248.279 de tokenuri de intrare într-un context de execuție de 262.144 de tokenuri. O solicitare separată de gateway în streaming a păstrat 239.153 de tokenuri de intrare, a returnat marcatorul inițial și s-a încheiat normal după 31 de tokenuri de ieșire în 148,12 secunde.

Rezultatul gateway-ului contează pentru Hermes deoarece solicitarea a trecut prin broker și LiteLLM. Solicitări separate au finalizat o interacțiune cu un instrument, au recunoscut o imagine roșie și au returnat două răspunsuri corecte când au fost trimise împreună. Brokerul a pus cele două solicitări în coadă. Închiderea unei solicitări transmise în streaming a eliberat brokerul și a descărcat modelul în 60,31 secunde.

Solicitare Qwen3.5 35BTokenuri de intrareTokenuri de ieșireDuratăRezultat
Ollama direct, prima etapă progresivă69,4293138.783 sMarcator inițial exact
Ollama direct, continuare cu prefix comun124,1793128.472 sMarcator inițial exact
Ollama direct, continuare cu prefix comun182,5793138.974 sMarcator inițial exact
Ollama direct, continuare cu prefix comun248,2793154.215 sMarcator inițial exact
Solicitare în streaming prin broker69,4272938.872 sMarcator inițial exact
Solicitare LiteLLM în streaming239,15331148.12 sMarcator inițial exact, descărcare curată

Solicitările directe progresive au reutilizat un prefix în creștere. Duratele descriu comportamentul de continuare cu modelul încălzit. Rezultatul de 54,215 secunde nu este o măsurare independentă la rece a procesării unui prompt nou de 248K.

La cea mai mare etapă directă, modelul a raportat aproximativ 27,3 miliarde de octeți rezidenți pe cele două GPU-uri. Vârfurile de memorie pe placă au ajuns la 14.964 și 12.386 MiB.

Temperaturile maxime au ajuns la 62 și 63 C, iar rularea nu a înregistrat erori OOM sau Xid. Intrarea a lăsat 13.865 de tokenuri în contextul configurat pentru continuare. Răspunsul scurt cu marcator a folosit 31 dintre acestea.

Aș folosi ruta când păstrarea unui set mare de lucru contează mai mult decât cel mai scurt răspuns inițial. Verificările pentru instrumente și vedere stabilesc comportamente utile ale agentului, iar testul de intrare lungă stabilește retenția. Sunt sarcini separate.

Qwen3.6 este opțiunea cu o singură placă

Qwen3.6-35B-A3B UD-Q4_K_XL a păstrat 131.000 de tokenuri de intrare pe o singură RTX 5060 Ti. Cealaltă placă a rămas inactivă în timpul testului. Astfel, sistemul are o alternativă utilă când nu se dorește alocarea ambelor plăci unui singur model.

Solicitare Qwen3.6 prin gatewayTokenuri de intrareTokenuri de ieșireDuratăRezultat
Solicitare lungă inițială66,007167.82 sMarcator inițial păstrat
Solicitare mai lungă90,00011159.92 sMarcator inițial păstrat, zero intrări în cache
Solicitare mai lungă119,99911250.61 sMarcator inițial păstrat, zero intrări în cache
Aproape de limita de execuție131,00011287.09 sMarcator inițial păstrat, zero intrări în cache

Solicitarea de 131.000 de tokenuri s-a apropiat de limita de execuție de 131.072. Pentru un agent aș lăsa mai mult spațiu pentru răspuns și mesajele ulterioare ale instrumentelor. Un rezultat de retenție aproape de limită oferă dovezi despre procesarea intrării, nu un buget implicit rezonabil.

Utilizarea instrumentelor a trecut cu raționarea dezactivată. Raționarea implicită a consumat alocația de test de 512 tokenuri înainte să emită apelul instrumentului. Pilotul reușit a trecut și solicitările rapide, în streaming și de vedere. Verificarea inițială de context de 65.845 de tokenuri a durat 139,57 secunde.

Qwen3.8 27B câștigă comparația cu răspuns echivalent la 66K

Pentru aceeași sarcină cu marcator de 66.007 tokenuri pe sistemul A, Qwen3.8 27B a returnat răspunsul cel mai repede. Aș păstra ruta disponibilă pentru solicitări apropiate de dimensiunea testată, alături de Qwen3.5 35B pentru setul de lucru mai mare.

Rută sistem ATokenuri de intrareDuratăRezultat
Qwen3.8 27B66,00754.64 sMarcator inițial păstrat
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sMarcator inițial păstrat
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sMarcator inițial păstrat
Alias de compatibilitate Flash Next IQ466,007213.25 sMarcator păstrat

Qwen3.8 27B a durat aproximativ o treime din timpul solicitărilor echivalente Qwen3.6 și Flash Next. Sunt observații despre solicitări complete cu mediile de execuție testate, nu o comparație exclusivă a hardware-ului.

Răspunsurile rapide, streamingul și utilizarea instrumentelor au trecut și ele. Modul fără raționare a completat secvența integrală de culori și interacțiunea cu instrumentul, în timp ce testul cu raționare a returnat doar o parte din secvență în limita de 512 tokenuri.

Flash Next rămâne o opțiune implicită mai puțin atractivă pe acest sistem din cauza presiunii memoriei. Pilotul său de 65.847 de tokenuri a trecut în 201,41 secunde la un context de execuție de 98.304. Două profiluri anterioare de 131.072 au atins limitele de memorie înainte de a fi gata.

Ruta ulterioară a atins limita cgroup de 54 GiB. Pentru activități nesupravegheate aș alege o rută cu mai multă rezervă de memorie.

Ruta etichetată flash-iq2 a servit backendul de compatibilitate Flash Next IQ4. Numele nu identifică un rezultat IQ2.

RTX 2000E Ada gestionează intrări lungi, dar modelul schimbă timpul de așteptare

Gemma 3 4B este ruta testată pe care o prefer pentru intrări lungi în sistemul C. Două căi au păstrat peste 84K de tokenuri de intrare în aproximativ 88 de secunde. Rutele pentru modele mai mari au trecut și verificări utile de retenție, dar solicitările lor au durat câteva minute.

SistemModel și caleTokenuri de intrareDuratăRezultat
BQwen3.5 9B, gateway72,265263 sAmbii santinele păstrați, verificarea ulterioară a revenirii la minare a trecut
CGemma 3 4B, gateway84,04488.05 sMarcator inițial păstrat
CGemma 3 4B, Aperture84,04587.68 sMarcator inițial păstrat
CGemma 4 12B-IT, gateway67,254263.07 sMarcator inițial păstrat
CGemma 4 12B-IT, Aperture fără streaming67,255274.24 sMarcator inițial păstrat
CGemma 4 12B-IT, streaming Aperture67,255282.16 sMarcator inițial păstrat
CQwen3.5 9B, gateway75,648319.36 sMarcator inițial păstrat, model descărcat
CGPT-OSS 20B, gateway84,099315.83 sMarcator inițial păstrat, model descărcat
DQwen3.5 9B, Aperture81,051324.07 sRetenție trecută pe artefactul instalat
DGemma 4 12B-IT, Aperture72,057300.67 sRetenție trecută pe artefactul instalat
DGPT-OSS 20B, Aperture72,104245.94 sRetenție trecută pe artefactul instalat

Streamingul nu a eliminat timpul lung de preumplere Gemma 4 pe sistemul C. Primul conținut transmis a sosit după 277,49 secunde, mai târziu decât răspunsul complet de 274,24 secunde fără streaming. O încercare anterioară fără streaming a expirat înaintea repetării reușite. Aș rezerva ruta sarcinilor care acceptă câteva minute de procesare inițială.

Gemma 3 4B arată și de ce aș califica fiecare sistem testat separat. Sistemul D a ratat marcatorul inițial în două încercări de recuperare 65K, inclusiv la repetarea cu temperatură zero și 67.252 de tokenuri de intrare. Solicitarea deterministă s-a încheiat natural în 62,07 secunde cu GPU-ul complet rezident.

Finalizarea rapidă și răspunsul normal al API-ului nu au făcut răspunsul corect. Aș folosi ruta reușită din sistemul C și aș exclude ruta eșuată din sistemul D din selecția Hermes.

Modul de raționare determină dacă Qwen3.5 0.8B este util

Qwen3.5 0.8B a devenit un candidat util pentru recuperare restrânsă pe sistemul C după dezactivarea raționării. Modelul mic Q8_0 a păstrat 75.649 de tokenuri de intrare prin gateway în 65,92 secunde. Rezultatul aparține artefactului Q8_0 testat și rutei fără raționare, nu configurațiilor vechi cu context 16K din altă parte a tabelului.

Solicitare Qwen3.5 0.8B pe sistemul CTokenuri de intrareTokenuri de ieșireDuratăRezultat
Raționare implicită, diagnostic scurt9,0503,39166.56 sMarcator inițial exact
Raționare dezactivată, diagnostic comparabil9,055217.65 sMarcator inițial exact, fără text de raționare
Raționare implicită, încercare lungătimeout 600 sRăspuns nefinalizat
Raționare dezactivată, Ollama nativ75,6562269.80 sMarcator inițial exact
Endpoint compatibil OpenAI fără raționare75,6461269.09 sMarcator inițial exact
Broker cu mod fără raționare impus75,6471366.83 sMarcator inițial exact
LiteLLM din sistemul A către sistemul C75,6491565.92 sMarcator inițial exact

Diagnosticul comparabil a scăzut de la 66,56 la 7,65 secunde, de aproximativ 8,7 ori mai rapid, în timp ce ieșirea generată a scăzut de la 3.391 la 21 de tokenuri. De aceea aș seta explicit modul de raționare pentru sarcini simple de extragere și rutare. Raționarea implicită a folosit cea mai mare parte din procesare pentru ieșiri inutile sarcinii.

O sondă scurtă compatibilă OpenAI a ratat marcatorul înainte ca repetarea cu temperatură zero să treacă. Verificările reușite ale rutei au folosit modul fără raționare și terminarea naturală, fără limită de ieșire. Alte trei gateway-uri au trecut solicitări scurte cu marcator în 4,22, 4,37 și 3,85 secunde. Aceste verificări confirmă rutarea, în timp ce solicitarea de 75.649 de tokenuri confirmă retenția intrării lungi prin gateway.

Aș testa această rută pentru recuperare și extragere delimitate. Aș alege un model mai mare pentru raționare deschisă a agentului. Recuperarea unui marcator sintetic este o sarcină mai îngustă decât planificarea, programarea sau coordonarea mai multor instrumente.

Sistemele RTX 3060 Ti și RTX 3070 favorizează Qwen3.5 2B și 4B

Qwen3.5 2B și 4B sunt alegerile mele practice de pornire pentru plăcile de 8 GB. Solicitările de context textual pe sistemele E, F și G au trecut cu 65.579 de tokenuri de intrare și durate de la 30,343 la 93,753 secunde. Rutele 4B testate au trecut și verificări de instrumente, streaming și imagine.

Repetarea contextului de vedere 4B pe sistemul E a păstrat ambii marcatori și ordinea culorilor imaginii la 65.637 de tokenuri de intrare în 44,88 secunde. Au trecut și solicitările cu ordinea directă și inversată a culorilor. Repetarea a folosit o placă sănătoasă după ce alta a suferit o eroare de legătură Xid 79 și sistemul a repornit.

SistemContext textual Qwen3.5 2BContext textual Qwen3.5 4BContext de vedere Qwen3.5 4B
E, grup RTX 3060 Ti65,579 tokenuri, 30.343 s65,579 tokenuri, 53.787 s65,637 tokenuri, 44.88 s
F, grup RTX 3060 Ti65,579 tokenuri, 61.282 s65,579 tokenuri, 93.753 s65,635 tokenuri, 84.749 s
G, grup RTX 307065,579 tokenuri, 76.731 s65,579 tokenuri, 90.807 s65,635 tokenuri, 87.496 s

Fiecare dintre aceste sisteme a înregistrat 29 de verificări trecute. Diferența de timp dintre cele două sisteme RTX 3060 Ti arată și de ce aș selecta un profil de sistem testat în loc să clasific plăcile după aceste durate de solicitare.

Toate cele șapte sisteme au revenit la minare după fereastra de inferență. Verificarea separată de revenire după oprire pentru sistemul B a trecut cu shares proaspete acceptate. Placa defectă din sistemul E a revenit ulterior la minare după o repornire și consolidarea legăturii PCIe, dar a rămas exclusă din grupul AI. Restabilirea minării la sfârșitul ferestrei este diferită de predarea automată după fiecare solicitare de inferență.

Încărcarea unui model nu îl califică

Aș exclude DeepSeek Coder V2 16B din opțiunile Hermes testate la 65K. Rularea cu cache f16 a păstrat 50.477 de tokenuri de intrare, dar rularea țintă de 65K a atins protecția VRAM. Alternativele de cache Q4 și Q8 au încărcat ponderile pe GPU-uri, apoi au atins limitele memoriei gazdei sau un debit slab pentru prompturi lungi.

Profil cache DeepSeek Coder V2Context de execuțieRezultat observatEvaluarea mea
f1681,920Recuperare de 50.477 de tokenuri trecută, solicitare supradimensionată respinsăRezultat util la context mai scurt
f1673,728Preumplerea țintă 65K s-a oprit la utilizare GPU de 15.802 MiBNu se califică pentru 65K
Q4_098,304Preumplerea lungă a scăzut la 96.72 tokenuri/s înainte de oprirea controlatăPotrivire slabă pentru această sarcină
Q8_077,824Preumplerea lungă a scăzut la 120.12 tokenuri/s înainte de oprirea controlatăPotrivire slabă pentru această sarcină
Q4_0 / Q8_0, profiluri mai mari163,840 / 98,304Protecțiile memoriei gazdei au oprit testelePotrivirea memoriei depinde de întregul sistem

Lecția practică este să testezi solicitarea pe care intenționezi să o trimiți. Rezidența GPU, un răspuns scurt și un context configurat mare nu demonstrează retenția intrărilor lungi la o latență utilă.

Granite 4.2 8B și GPT-OSS 20B s-au îmbunătățit după lucrări de urmărire specifice rutelor pe sistemul A. Ruta Q6_K Granite a păstrat 66.082 de tokenuri de intrare în 88,636 secunde fără intrare în cache. GPT-OSS și-a finalizat interacțiunea cu instrumentul după remedierea brokerului, în 9,854 secunde pentru apel și 9,849 pentru urmărire. Aș păstra aceste verificări reușite ale rutelor distincte de încercările anterioare incomplete.

Rezultatele complete ale benchmarkului

Tabelul conține 295 de verificări pentru 59 de combinații de modele și sisteme. Matricea înregistrează 273 de treceri, o verificare de recuperare eșuată și șapte rezultate incomplete, inconsistente sau incompatibile. Paisprezece verificări sunt în afara domeniului de calificare 65K. Fiecare rând păstrează rezultatul măsurat vizibil.

Recomandările mele se aplică rutelor și sarcinilor care au trecut. Un rând eșuat sau incomplet nu califică comportamentul corespunzător.

Trecerile pentru context scurt și embedding se aplică propriilor sarcini. O trecere la context 16K sau 32K nu califică o rută pentru sarcina Hermes cu 65.536 de tokenuri de intrare. Numele modelelor de aici sunt etichete de rută. Eticheta flash-iq2 a servit backendul de compatibilitate IQ4.

Rândul de context Qwen3.5 35B din sistemul A este etapa finală cu prefix comun din progresia de mai sus. Duratele instrumentelor scrise cu semnul plus arată separat apelul și urmărirea.

Rândul de concurență oferă duratele celor două solicitări puse în coadă. Rândul de anulare oferă timpul de eliberare după închiderea fluxului de către client. Progresiile suplimentare de context și comparațiile rutei Qwen3.5 0.8B apar în tabelele proprii de mai sus.

Sistem A

Etichetă rută modelVerificareRezultatTokenuri de intrareDurata solicitării
bonsai-2-27bcontextTrecut65,62188.746 s
bonsai-2-27bquickTrecut576.429 s
bonsai-2-27bstreamTrecut9.371 s
bonsai-2-27btoolsTrecut10.478 s
deepseek-coder-v2:16bcontextIncompatibil50,477
deepseek-coder-v2:16bquickTrecut7743.239 s
flash-iq2contextTrecut66,007213.25 s
flash-iq2quickTrecut56.03 s
flash-iq2streamTrecut1.35 s
flash-iq2toolsTrecut16.55 s
gemma-4-12b-itcontextTrecut65,59051.225 s
gemma-4-12b-itquickTrecut215.166 s
gemma-4-12b-itstreamTrecut4.653 s
gemma-4-12b-ittoolsTrecut18.72 s
gemma-4-12b-itvisionTrecut1157.222 s
gemma-4-12b-itvision_contextTrecut65,68556.06 s
gemma-4-12b-itvision_reverseTrecut1157.467 s
gemma-4-e4b-itcontextTrecut65,59021.889 s
gemma-4-e4b-itquickTrecut2117.919 s
gemma-4-e4b-itstreamTrecut4.25 s
gemma-4-e4b-ittoolsTrecut8.734 s
gpt-oss-20bcontextTrecut65,637159.155 s
gpt-oss-20bquickTrecut7310.548 s
gpt-oss-20bstreamTrecut20.594 s
gpt-oss-20btoolsTrecut9.854 + 9.849 s
granite-4.2-3bcontextTrecut65,58970.968 s
granite-4.2-3bquickTrecut204.009 s
granite-4.2-3bstreamTrecut5.365 s
granite-4.2-3btoolsTrecut6.086 s
granite-4.2-8bcontextTrecut66,08288.636 s
granite-4.2-8bquickTrecut205.857 s
granite-4.2-8bstreamTrecut11.826 s
granite-4.2-8btoolsTrecut11.852 s
qwen27bcontextTrecut66,00754.64 s
qwen27bquickTrecut5731.5 s
qwen27bstreamTrecut0.92 s
qwen27btoolsTrecut4.25 s
qwen3-embedding-0.6bcontextTrecut32,7677.736 s
qwen3-embedding-0.6bquickTrecut142.125 s
qwen3.5-0.8bcontextTrecut16,42910.5 s
qwen3.5-0.8bquickTrecut1714.316 s
qwen3.5-0.8bstreamTrecut2.125 s
qwen3.5-0.8btoolsTrecut4.416 s
qwen3.5-2bcontextTrecut65,58111.175 s
qwen3.5-2bquickTrecut174.519 s
qwen3.5-2bstreamTrecut3.736 s
qwen3.5-2btoolsTrecut5.046 s
qwen3.5-4bcontextTrecut65,57936.451 s
qwen3.5-4bquickTrecut1519.935 s
qwen3.5-4bstreamTrecut17.496 s
qwen3.5-4btoolsTrecut7.308 s
qwen3.5-4bvisionTrecut707.848 s
qwen3.5-4bvision_contextTrecut65,63528.24 s
qwen3.5-4bvision_reverseTrecut704.386 s
qwen3.5-9bcontextTrecut65,58134.139 s
qwen3.5-9bquickTrecut173.88 s
qwen3.5-9bstreamTrecut3.378 s
qwen3.5-9btoolsTrecut10.204 s
qwen3.5-9bvisionTrecut724.441 s
qwen3.5-9bvision_contextTrecut65,63733.745 s
qwen3.5-9bvision_reverseTrecut723.97 s
qwen3.5:35b-a3b-q4_K_McancellationTrecut60.31 s
qwen3.5:35b-a3b-q4_K_MconcurrencyTrecut26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_McontextTrecut248,27954.215 s
qwen3.5:35b-a3b-q4_K_MgatewayTrecut239,153148.12 s
qwen3.5:35b-a3b-q4_K_MquickTrecut7910.08 s
qwen3.5:35b-a3b-q4_K_MstreamTrecut69,42938.783 s
qwen3.5:35b-a3b-q4_K_MtoolsTrecut15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_MvisionTrecut18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextTrecut65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickTrecut153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamTrecut0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsTrecut2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionTrecut380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextTrecut65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickTrecut1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamTrecut1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsTrecut22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionTrecut3.86 s

Sistem B

Etichetă rută modelVerificareRezultatTokenuri de intrareDurata solicitării
gemma-4-12b-itcontextTrecut65,590299.163 s
gemma-4-12b-itquickTrecut2115.261 s
gemma-4-12b-itstreamTrecut148.792 s
gemma-4-12b-ittoolsTrecut34.124 s
gemma-4-12b-itvisionTrecut12061.455 s
gemma-4-12b-itvision_contextTrecut65,690295.581 s
gemma-4-12b-itvision_reverseTrecut12032.511 s
gemma3-4bcontextTrecut65,58467.382 s
gemma3-4bquickTrecut156.329 s
gemma3-4bstreamTrecut24.138 s
gemma3-4bvisionTrecut3067.018 s
gemma3-4bvision_contextTrecut65,87670.912 s
gemma3-4bvision_reverseTrecut3065.762 s
gpt-oss-20bcontextTrecut65,637206.767 s
gpt-oss-20bquickTrecut7216.583 s
gpt-oss-20bstreamTrecut32.075 s
gpt-oss-20btoolsTrecut28.102 s
nomic-embed-textcontextIncomplet2,048
nomic-embed-textquickTrecut7.117 s
qwen3-14bcontextIncomplet1800.09 s
qwen3-14bquickTrecut1537.199 s
qwen3-14bstreamTrecut35.471 s
qwen3-14btoolsTrecut87.554 s
qwen3-8bcontextÎn afara domeniului sub 65K, exclus
qwen3-8bquickÎn afara domeniului sub 65K, trecut1521.059 s
qwen3-8bstreamÎn afara domeniului sub 65K, exclus
qwen3-8btoolsÎn afara domeniului sub 65K, exclus
qwen3.5-9bcontextTrecut65,579282.796 s
qwen3.5-9blitellm_long_routeTrecut72,265263 s
qwen3.5-9bpost_external_stop_miningTrecut
qwen3.5-9bquickTrecut1525.881 s
qwen3.5-9bstreamTrecut143.44 s
qwen3.5-9btoolsTrecut31.812 s
qwen3.5-9bvisionTrecut7532.015 s
qwen3.5-9bvision_contextTrecut65,640396.288 s
qwen3.5-9bvision_reverseTrecut7528.626 s

Sistem C

Etichetă rută modelVerificareRezultatTokenuri de intrareDurata solicitării
gemma-4-12b-itaperture_contextTrecut67,255274.24 s
gemma-4-12b-itaperture_shortTrecut3539.32 s
gemma-4-12b-itaperture_stream_contextTrecut67,255282.16 s
gemma-4-12b-itcontextTrecut65,670313.661 s
gemma-4-12b-itgateway_contextTrecut67,254263.07 s
gemma-4-12b-itgateway_shortTrecut2720.98 s
gemma-4-12b-itquickTrecut2116.447 s
gemma-4-12b-itstreamTrecut15.175 s
gemma-4-12b-ittoolsTrecut37.821 s
gemma-4-12b-itvisionTrecut12058.52 s
gemma-4-12b-itvision_contextTrecut65,690308.759 s
gemma-4-12b-itvision_reverseTrecut12031.25 s
gemma3-4baperture_contextTrecut84,04587.68 s
gemma3-4baperture_after_system_d_route_changeTrecut245.42 s
gemma3-4baperture_shortTrecut225.45 s
gemma3-4baperture_streamTrecut3.72 s
gemma3-4bcontextTrecut65,66467.543 s
gemma3-4bgateway_contextTrecut84,04488.05 s
gemma3-4bgateway_short_via_system_aTrecut3.16 s
gemma3-4bgateway_short_via_system_eTrecut
gemma3-4bgateway_short_via_system_fTrecut4.15 s
gemma3-4bgateway_short_via_system_gTrecut6.06 s
gemma3-4bquickTrecut155.163 s
gemma3-4bstreamTrecut24.691 s
gemma3-4bvisionTrecut3067.318 s
gemma3-4bvision_contextTrecut65,87672.476 s
gemma3-4bvision_reverseTrecut3065.831 s
gpt-oss-20bcontextTrecut65,716216.594 s
gpt-oss-20bgateway_contextTrecut84,099315.83 s
gpt-oss-20bgateway_shortInconsistent
gpt-oss-20bquickTrecut7221.603 s
gpt-oss-20bstreamTrecut31.957 s
gpt-oss-20btoolsTrecut26.096 s
nomic-embed-textcontextÎn afara domeniului sub 65K, incomplet2,048
nomic-embed-textquickÎn afara domeniului sub 65K, trecut4.178 s
qwen3-14bcontextÎn afara domeniului sub 65K, incomplet1800.06 s
qwen3-14bquickÎn afara domeniului sub 65K, trecut1535.809 s
qwen3-14bstreamÎn afara domeniului sub 65K, trecut35.43 s
qwen3-14btoolsÎn afara domeniului sub 65K, trecut87.723 s
qwen3-8bcontextÎn afara domeniului sub 65K, exclus
qwen3-8bquickÎn afara domeniului sub 65K, trecut1521.293 s
qwen3-8bstreamÎn afara domeniului sub 65K, incomplet900.01 s
qwen3-8btoolsÎn afara domeniului sub 65K, exclus
qwen3.5-9bcontextTrecut65,662287.984 s
qwen3.5-9bgateway_contextTrecut75,648319.36 s
qwen3.5-9bgateway_shortTrecut2172.14 s
qwen3.5-9bquickTrecut1524.635 s
qwen3.5-9bstreamTrecut143.157 s
qwen3.5-9btoolsTrecut30.395 s
qwen3.5-9bvisionTrecut7527.756 s
qwen3.5-9bvision_contextTrecut65,640398.797 s
qwen3.5-9bvision_reverseTrecut7528.645 s

Sistem D

Etichetă rută modelVerificareRezultatTokenuri de intrareDurata solicitării
gemma-4-12b-itcontextTrecut65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kTrecut72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortTrecut3430.74 s
gemma-4-12b-itquickTrecut2115.05 s
gemma-4-12b-itstreamTrecut14.722 s
gemma-4-12b-ittoolsTrecut33.869 s
gemma-4-12b-itvisionTrecut12056.315 s
gemma-4-12b-itvision_contextTrecut65,690282.174 s
gemma-4-12b-itvision_reverseTrecut12029.978 s
gemma3-4bcontextTrecut65,58463.564 s
gemma3-4bexact_digest_65k_recallEșuat67,25262.07 s
gemma3-4bquickTrecut155.151 s
gemma3-4bstreamTrecut22.552 s
gemma3-4bvisionTrecut3068.276 s
gemma3-4bvision_contextTrecut65,87667.575 s
gemma3-4bvision_reverseTrecut3065.651 s
gpt-oss-20bcontextTrecut65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kTrecut72,104245.94 s
gpt-oss-20bexact_digest_broker_shortTrecut8415.96 s
gpt-oss-20bquickTrecut7215.431 s
gpt-oss-20bstreamTrecut31.052 s
gpt-oss-20btoolsTrecut23.65 s
nomic-embed-textcontextIncomplet2,048
nomic-embed-textquickTrecut2.798 s
qwen3-14bcontextIncomplet40,939872.209 s
qwen3-14bquickTrecut1536.021 s
qwen3-14bstreamTrecut33.491 s
qwen3-14btoolsTrecut82.471 s
qwen3-8bcontextIncomplet1800.07 s
qwen3-8bquickTrecut1519.283 s
qwen3-8bstreamTrecut19.401 s
qwen3-8btoolsTrecut65.054 s
qwen3.5-9bcontextTrecut65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kTrecut81,051324.07 s
qwen3.5-9bexact_digest_broker_shortTrecut2994.48 s
qwen3.5-9bquickTrecut1527.16 s
qwen3.5-9bstreamTrecut28.62 s
qwen3.5-9btoolsTrecut28.129 s
qwen3.5-9bvisionTrecut7525.047 s
qwen3.5-9bvision_contextTrecut65,640369.477 s
qwen3.5-9bvision_reverseTrecut7527.602 s

Sistem E

Etichetă rută modelVerificareRezultatTokenuri de intrareDurata solicitării
gemma-4-e4b-itcontextTrecut65,59049.086 s
gemma-4-e4b-itquickTrecut2123.911 s
gemma-4-e4b-itstreamTrecut28.136 s
gemma-4-e4b-ittoolsTrecut56.756 s
granite-4.0-h-tinycontextTrecut65,566
granite-4.0-h-tinyquickTrecut3510.408 s
granite-4.0-h-tinystreamTrecut27.798 s
granite-4.0-h-tinytoolsTrecut43.304 s
granite-4.2-3bcontextTrecut65,5891014.03 s
granite-4.2-3bquickTrecut2014.569 s
granite-4.2-3bstreamTrecut6.948 s
granite-4.2-3btoolsTrecut56.376 s
qwen3-embedding-0.6bcontextTrecut32,76720.387 s
qwen3-embedding-0.6bquickTrecut149.592 s
qwen3.5-0.8bcontextTrecut16,4299.128 s
qwen3.5-0.8bquickTrecut17452.417 s
qwen3.5-0.8bstreamTrecut11.163 s
qwen3.5-0.8btoolsTrecut39.214 s
qwen3.5-2bcontextTrecut65,57930.343 s
qwen3.5-2bquickTrecut1512.509 s
qwen3.5-2bstreamTrecut26.165 s
qwen3.5-2btoolsTrecut42.056 s
qwen3.5-4bcontextTrecut65,57953.787 s
qwen3.5-4bquickTrecut1526.736 s
qwen3.5-4bstreamTrecut26.02 s
qwen3.5-4btoolsTrecut57.293 s
qwen3.5-4bvisionTrecut7210.09 s
qwen3.5-4bvision_contextTrecut65,63744.88 s
qwen3.5-4bvision_reverseTrecut729.96 s

Sistem F

Etichetă rută modelVerificareRezultatTokenuri de intrareDurata solicitării
gemma-4-e4b-itcontextTrecut65,59098.443 s
gemma-4-e4b-itquickTrecut2127.51 s
gemma-4-e4b-itstreamTrecut28.042 s
gemma-4-e4b-ittoolsTrecut73.891 s
granite-4.0-h-tinycontextTrecut65,59919.692 s
granite-4.0-h-tinyquickTrecut3543.818 s
granite-4.0-h-tinystreamTrecut27.296 s
granite-4.0-h-tinytoolsTrecut75.377 s
granite-4.2-3bcontextTrecut65,589145.179 s
granite-4.2-3bquickTrecut2015.703 s
granite-4.2-3bstreamTrecut35.482 s
granite-4.2-3btoolsTrecut52.539 s
qwen3-embedding-0.6bcontextTrecut32,76720.656 s
qwen3-embedding-0.6bquickTrecut148.122 s
qwen3.5-0.8bcontextTrecut16,42913.326 s
qwen3.5-0.8bquickTrecut17445.22 s
qwen3.5-0.8bstreamTrecut13.266 s
qwen3.5-0.8btoolsTrecut40.825 s
qwen3.5-2bcontextTrecut65,57961.282 s
qwen3.5-2bquickTrecut1516.738 s
qwen3.5-2bstreamTrecut25.29 s
qwen3.5-2btoolsTrecut47.444 s
qwen3.5-4bcontextTrecut65,57993.753 s
qwen3.5-4bquickTrecut1533.039 s
qwen3.5-4bstreamTrecut25.658 s
qwen3.5-4btoolsTrecut71.731 s
qwen3.5-4bvisionTrecut7043.053 s
qwen3.5-4bvision_contextTrecut65,63584.749 s
qwen3.5-4bvision_reverseTrecut7027.518 s

Sistem G

Etichetă rută modelVerificareRezultatTokenuri de intrareDurata solicitării
gemma-4-e4b-itcontextTrecut65,59092.696 s
gemma-4-e4b-itquickTrecut2138.329 s
gemma-4-e4b-itstreamTrecut43.549 s
gemma-4-e4b-ittoolsTrecut66.616 s
granite-4.0-h-tinycontextTrecut65,59969.777 s
granite-4.0-h-tinyquickTrecut3533.17 s
granite-4.0-h-tinystreamTrecut31.751 s
granite-4.0-h-tinytoolsTrecut63.338 s
granite-4.2-3bcontextTrecut65,589100.849 s
granite-4.2-3bquickTrecut2023.355 s
granite-4.2-3bstreamTrecut28.75 s
granite-4.2-3btoolsTrecut44.226 s
qwen3-embedding-0.6bcontextTrecut32,76723.055 s
qwen3-embedding-0.6bquickTrecut148.924 s
qwen3.5-0.8bcontextTrecut16,42916.74 s
qwen3.5-0.8bquickTrecut17504.813 s
qwen3.5-0.8bstreamTrecut15.095 s
qwen3.5-0.8btoolsTrecut36.672 s
qwen3.5-2bcontextTrecut65,57976.731 s
qwen3.5-2bquickTrecut1520.949 s
qwen3.5-2bstreamTrecut25.194 s
qwen3.5-2btoolsTrecut37.552 s
qwen3.5-4bcontextTrecut65,57990.807 s
qwen3.5-4bquickTrecut1541.84 s
qwen3.5-4bstreamTrecut40.812 s
qwen3.5-4btoolsTrecut54.999 s
qwen3.5-4bvisionTrecut7029.619 s
qwen3.5-4bvision_contextTrecut65,63587.496 s
qwen3.5-4bvision_reverseTrecut7026.283 s

Cum am testat viabilitatea Hermes

Am folosit un marcator sintetic aproape de începutul unui prompt lung și am cerut marcatorul după textul de umplere. Răspunsul trebuia să returneze valoarea așteptată. Numărul de tokenuri de intrare raportat de server a stabilit dimensiunea solicitării. Un model care răspundea normal după un prompt mare tot eșua dacă marcatorul inițial era greșit.

Progresia Qwen3.5 35B a folosit înregistrări de umplere numerotate, temperatura 0 și lungimi în creștere de 3.800, 6.800, 10.000 și 13.600 de înregistrări. Aceste etape au returnat 69.429, 124.179, 182.579 și 248.279 de tokenuri de prompt. Modelul a rămas încărcat între etape, ceea ce a permis reutilizarea prefixului. Verificările separate Qwen3.6 aproape de limită au raportat zero tokenuri în cache.

Promptul lung 0.8B a repetat river stone lantern orchard circuit velvet compass marble de 8.400 de ori între o cheie de răspuns inițială și o întrebare finală de recuperare. Rularea nativă a trimis think:false, num_ctx:131072, stream:false și keep_alive:0. Ruta compatibilă OpenAI a folosit reasoning_effort:"none". Brokerul a impus modul fără raționare pentru ruta sa, astfel că apelanții gateway-ului nu au avut nevoie de o suprascriere din client.

Verificări de instrumente, vedere și eliberare

Testele instrumentelor au verificat solicitarea și răspunsul după revenirea rezultatului instrumentului. Un test simplu a folosit add_numbers(7, 11) și a așteptat 18. Testul Qwen3.5 35B a folosit lookup_square și a așteptat 49. GPT-OSS a folosit o căutare de inventar și trebuia să includă rezultatul returnat.

Verificările de vedere au folosit întrebări despre imagini roșii și albastre, au inversat ordinea imaginilor și au inclus culorile imaginilor plus marcatori de început și sfârșit în prompturi lungi. Testul Qwen3.5 35B a folosit un PNG roșu de 256 × 256. A fost necesară o remediere a conversiei conținutului imaginii din broker înainte ca solicitarea să treacă. Testul lung de vedere 4B din sistemul E a cerut ca ambii marcatori și ordinea culorilor să supraviețuiască intrării.

Am verificat memoria GPU, rezidența modelului, temperaturile, presiunea memoriei gazdei, evenimentele OOM și erorile GPU în timpul și în jurul rulărilor lungi. Protecția Qwen3.5 35B a verificat și eliberarea după o întrerupere controlată. Verificările ulterioare de anulare de către client și solicitări puse în coadă au exercitat calea brokerului. Două solicitări în coadă dovedesc gestionarea solicitărilor sub sarcina testată, nu existența a două backenduri GPU independente care rulează simultan.

Cum să citești rezultatele de performanță

Duratele solicitărilor includ preumplerea intrării lungi și răspunsul returnat. Nu reprezintă tokenuri generate pe secundă. Întârzierea până la primul conținut contează pentru streaming, iar progresiile prefixului în cache trebuie interpretate separat.

Rulările ulterioare reușite cu modele mai mari în sistemele A și C au folosit ferestre de inferență dedicate, cu minarea inactivă. Modelele au fost descărcate după aceste solicitări. Minarea a fost restabilită pe toate cele șapte sisteme la sfârșitul ferestrei de testare. Aceste rezultate descriu serviciul modelului într-o fereastră de inferență, nu minarea și inferența simultane.

Profiluri de backend folosite în teste

Alege profilul asociat sarcinii pe care vrei să o reproduci. Cuantizarea, contextul de execuție, tipul cache-ului, modul de raționare și amplasarea GPU-urilor influențează rezultatul.

Sistem și modelProfil de backend testat
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, cache KV f16, ambele plăci RTX 5060 Ti de 16 GB, 64 GiB RAM gazdă, context de execuție 262.144 pentru progresia mare. Solicitările native au folosit think:false, temperatura 0, streaming și păstrare activă cinci minute între etape. Solicitările gateway au folosit brokerul și LiteLLM. Fără limită de ieșire a solicitării.
A, Qwen3.8 27Bllama.cpp la cerere prin broker și LiteLLM, context de execuție 262.144, un slot de inferență, cache K/V Q4, ambele plăci RTX 5060 Ti. Solicitarea de 66.007 de tokenuri nu a avut limită de ieșire.
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, context 131.072, cache KV INT8, un GPU selectat, limită de memorie a grupului de procese de 55 GiB, limită de execuție 30 de minute, încărcare leneșă, descărcare după 60 de secunde inactive. Răspunsul lung pilot: 217 tokenuri de ieșire. Răspunsul gateway aproape de limită: 11 tokenuri de ieșire, fără limită de ieșire a solicitării.
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, context 98.304, cache KV Q4, cache rezident de experți 8 GiB, ambele plăci RTX 5060 Ti. Limita de memorie pilot 52 GiB, ruta ulterioară 54 GiB. Răspunsul lung pilot: 10 tokenuri de ieșire. Combinațiile anterioare cu context și cache mai mari s-au oprit la limitele de memorie.
A, Granite 4.2 8BGreutăți GGUF Q6_K, proces de lucru partajat llama.cpp, context 131.072, cache K/V Q4_0, --n-predict -1. Solicitarea lungă a folosit temperatura 0, streaming pentru utilizare și fără limită de ieșire.
A, DeepSeek Coder V2 16BGreutăți GGUF Q4_0, Ollama 0.34.2, două plăci RTX 5060 Ti, 64 GiB RAM gazdă. Testele separate pentru cache f16, Q4_0 și Q8_0 au folosit contextele de execuție din tabelul comparativ. Fără limită de ieșire a solicitării.
B, C, D, serviciu Ollama auditatOllama 0.34.2, context 131.072, paralelism 1, un model încărcat, coadă de dimensiune 128, menținere activă 0, Flash Attention, cache KV Q4_0.
B, pilot gateway Qwen3.5 9BTimeout de rută LiteLLM 1.800 de secunde, zero reîncercări, fără limită de context sau tokenuri de ieșire. Ambii marcatori au fost păstrați la 72.265 de tokenuri de intrare. Verificarea separată a revenirii la minare a trecut.
C, Qwen3.5 0.8BGreutăți Q8_0 pe o placă RTX 2000E Ada la profil de putere 30 W. Context de execuție 131.072. think:false nativ, reasoning_effort:"none" compatibil OpenAI, fără limită de ieșire. Aliasul brokerului a fixat contextul de execuție și a impus modul fără raționare.
C, Gemma 4 12B-ITProfil Ollama cu un singur GPU, context de execuție 131.072, solicitări Aperture în și fără streaming, fără limită de ieșire. Rularea Aperture directă a atins un vârf de 75 C și 30,64 W sub profilul configurat de 30 W, apoi s-a descărcat.
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BArtefacte instalate exacte testate prin Aperture, context de execuție 131.072, rezidență completă pe un GPU, finalizare naturală fără limită de ieșire a solicitării.
E, F, G, procese de chat llama.cppBuild 11669, 99 de straturi GPU, paralelism 1, Flash Attention, cache K/V Q4_0, --n-predict -1. Contextul de execuție a variat după familia modelului.

Profilurile de serviciu înregistrate descriu propriile configurații de execuție. Profilul Qwen3.5 35B cu cache f16 testat separat în sistemul A nu moștenește setările cache Q4_0 ale sistemelor Ollama mai mici.

Amprentele modelelor pentru noile rulări cu intrare păstrată

Acești identificatori disting artefactele testate de alte descărcări sau aliasuri cu nume asemănătoare.

ArtefactCuantizareDigest înregistrat sau SHA-256 al fișierului
Etichetă Ollama Qwen3.5 35B-A3BQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Etichetă Ollama de bază Qwen3.5 0.8BQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Fișier GGUF Granite 4.2 8BQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Digesturile manifestului Ollama și valorile SHA-256 ale fișierelor de greutăți identifică obiecte diferite. Potrivește identificatorul cu tipul artefactului din tabel.

Ce aș rula cu Hermes

Aș face din Qwen3.5 35B ruta principală de context mare pe sistemul cu două RTX 5060 Ti. Rezultatul de retenție de 239.153 de tokenuri prin gateway, testele separate de instrumente și vedere și eliberarea verificată a solicitărilor susțin alegerea mai bine decât un model promovat cu o fereastră mare de context. Aș păstra Qwen3.8 27B pentru răspunsul mai rapid din comparația 66K și Qwen3.6 când contează folosirea unei singure plăci.

Pe sistemele RTX 2000E Ada, aș alege ruta Gemma 3 4B verificată în sistemul C pentru sarcina testată de răspuns cu intrare lungă. Aș încerca ruta Qwen3.5 0.8B fără raționare pentru recuperare și extragere delimitate. Rutele mai mari Gemma, Qwen și GPT-OSS se potrivesc sarcinilor care acceptă răspunsul inițial testat de patru până la cinci minute. Aș exclude din selecție ruta Gemma 3 eșuată din sistemul D.

Pentru plăcile RTX 3060 Ti și RTX 3070 de 8 GB, aș începe cu Qwen3.5 2B sau 4B. Rezultatele textuale 65K și verificările de imagine 4B susțin o configurație inițială utilă fără să dedici cele două plăci de 16 GB fiecărei solicitări. Presiunea memoriei Flash Next și comportamentul incomplet 65K al DeepSeek Coder V2 le fac opțiuni implicite mai slabe în profilurile testate.

Testele susțin aceste alegeri de modele și sisteme pentru fluxuri de lucru specifice. Retenția intrării, o interacțiune corectă cu un instrument, recunoașterea imaginii și eliberarea curată răspund fiecare la o parte diferită din viabilitatea Hermes. O configurație fiabilă are nevoie de comportamentele folosite de agentul tău și de context suficient pentru răspuns și traficul instrumentelor.

Surse și lecturi conexe