Table of Contents

Două plăci RTX 5060 Ti de 16 GB oferă 32 GB de VRAM în total. Un sistem NVIDIA GB10 oferă 128 GB de memorie unificată coerentă. Noul benchmark cu cinci modele prezintă o imagine mai echilibrată decât testul anterior, care folosea doar Qwen.

Sistemul cu două plăci conduce la viteza de generare pentru patru dintre cele cinci modele la setarea de 256K. GB10 conduce clar la Qwen3.8 27B și păstrează mai multă memorie pentru modele, context și alocările runtime-ului. Alegerea potrivită depinde de model și de sarcină.

Un test separat, pe același host, a comparat Qwen3.8-Flash-Next IQ2_XS pe Strata cu Qwen3.8 27B Q4_K_M dens pe Ollama. Mediana generării după încălzire a fost de 92.8 tokeni pe secundă pentru Flash-Next, cu un prompt de 260,446 tokeni. Qwen3.8 dens a atins 0.939 tokeni pe secundă cu un prompt de 260,444 tokeni.

NVIDIA GB10 folosește 128 GB de memorie unificată coerentă. NVIDIA listează pentru platforma GB10 128 GB de memorie unificată LPDDR5x și un TDP de 140 W pentru cip. RTX 5060 Ti folosește 16 GB de GDDR7 per placă, o interfață de memorie de 128 de biți și o putere grafică totală de 180 W. Specificațiile NVIDIA RTX 5060 Ti și specificațiile NVIDIA GB10 descriu această diferență hardware.

Cele două sisteme expun memoria în moduri diferite. Două plăci creează două pool-uri separate de 16 GB. GB10 ține modelul, datele de context, buffer-ele runtime și alocările sistemului de operare într-un singur spațiu de adrese partajat.

Comparația memoriei

SistemMemorieModel de memorieValoare de putere raportată
2x RTX 5060 Ti 16 GB32 GB în totalDouă pool-uri separate de memorie GPU360 W pentru GPU-uri, în total
Sistem GB10128 GBMemorie unificată coerentă a sistemuluiTDP GB10 de 140 W

GB10 nu câștigă fiecare test de throughput deoarece memoria LPDDR5x egalează lățimea de bandă a unui GPU discret. Avantajul său vine din capacitate și plasare. CPU-ul și GPU-ul partajează același spațiu de adrese, deci setul de lucru nu trebuie să încapă în două dispozitive izolate de 16 GB.

Sistemul cu două plăci are o problemă de plasare. Modelul trebuie împărțit între ambele plăci. Runtime-ul trebuie să transfere date între ele. Traficul PCIe crește latența și consumă lățime de bandă. Conform specificațiilor NVIDIA, RTX 5060 Ti nu acceptă nici NVLink.

Benchmarkul cu cinci modele

Rularea actualizată a folosit aceeași matrice de solicitări pe ambele sisteme. A acoperit cinci modele Ollama la setări de context de 4K, 16K, 32K, 64K, 128K și 256K. Fiecare solicitare a generat 128 de tokeni cu temperatura 0.

Tag-urile modelelor testate au fost:

  • Qwen3.8 27B: qwen3.8:27b
  • GPT-OSS 20B: gpt-oss:20b
  • Qwen3.6 35B-A3B: qwen3.6:35b
  • Qwen3.5 35B-A3B: qwen3.5:35b-a3b-q4_K_M
  • Nemotron 3.5 Lightning 30B-A3B: nemotron-3.5-lightning:30b-a3b-q4_K_M

Sistemul cu două plăci a folosit două plăci RTX 5060 Ti de 16 GB. Sistemul GB10 a folosit 128 GB de memorie unificată. Testele au rulat cu Ollama, versiunea 0.34.2 pe sistemul cu două plăci și 0.40.2 pe GB10.

Viteza de generare

Viteza de generare măsoară cât de repede produce modelul tokeni după procesarea promptului. Această metrică contează mai ales într-o conversație interactivă.

Sistem cu două plăci RTX 5060 Ti:

ContextGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K91.518162.027117.547156.10455.654
16K87.176161.377112.903140.59651.656
32K82.372157.055106.455144.83347.369
64K74.661135.10695.979125.00838.863
128K62.767130.92479.572115.35226.399
256K67.853106.22158.94767.1591.079

GB10:

ContextGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K62.19998.64872.405100.90632.985
16K56.76494.36669.78295.44832.939
32K53.25798.17564.05595.02529.772
64K49.20196.13258.42884.52825.625
128K40.63780.23848.10874.57922.294
256K43.68868.04336.64962.11522.371

La 256K, sistemul cu două plăci a generat mai repede pentru GPT-OSS, Nemotron, Qwen3.5 și Qwen3.6. GB10 a generat mai repede pentru Qwen3.8. Qwen3.8 a scăzut la 1.079 tokeni pe secundă pe sistemul cu două plăci, în timp ce GB10 a produs 22.371 tokeni pe secundă.

Rezultatul Qwen3.6 este apropiat. Sistemul cu două plăci a atins 67.159 tokeni pe secundă, iar GB10 a atins 62.115. Rezultatul nu susține o afirmație universală că memoria unificată câștigă întotdeauna sau că două GPU-uri discrete câștigă întotdeauna.

Viteza de procesare a promptului

Procesarea promptului măsoară cât de repede citește runtime-ul contextul de intrare înainte de generare. Contează pentru documente lungi și pentru reîncărcarea repetată a contextului.

Sistem cu două plăci RTX 5060 Ti:

ContextGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K4745.92409.02701.7464.3783.9
16K7617.03031.84175.32654.0840.1
32K8099.53074.24335.82623.2811.2
64K6809.52893.04129.92400.4727.8
128K5089.92362.73084.01723.6546.1
256K5838.31813.22229.11011.0251.3

GB10:

ContextGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K3295.5576.02067.9628.8756.9
16K4675.53006.72691.22556.3812.6
32K4571.43077.92691.72563.9794.1
64K3704.73066.92585.32444.9714.0
128K2857.02802.92360.42229.9655.5
256K3243.42325.41938.51817.6535.1

La 256K, sistemul cu două plăci a condus procesarea promptului pentru GPT-OSS și Qwen3.5. GB10 a condus pentru Nemotron, Qwen3.6 și Qwen3.8. Arhitectura modelului și comportamentul runtime-ului contează la fel de mult ca interfața de memorie.

Benchmarkuri suplimentare Qwen3.8 Flash-Next

Trei rulări suplimentare au măsurat pachete GGUF Qwen3.8 Flash-Next pe sistemul cu două plăci RTX 5060 Ti, la setări de context de 4K și 16K. Fiecare rând prezintă referința exactă a modelului Hugging Face și cuantizarea.

Model exactCuantizareGenerare la 4KGenerare la 16K
hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ2_XSIQ2_XS31.77 tok/s28.20 tok/s
hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_SIQ3_S24.54 tok/s22.60 tok/s
hf.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF:Q4_K_MQ4_K_M17.91 tok/s17.02 tok/s

Pachetul IQ2_XS a produs cel mai mare throughput din acest grup. Rezultatul său la 4K a fost de 31.77 tokeni pe secundă, față de 24.54 pentru IQ3_S și 17.91 pentru Q4_K_M. La 16K, ordinea a rămas aceeași: 28.20, 22.60 și 17.02 tokeni pe secundă.

Rulați aceleași referințe exacte de model cu Ollama:

ollama run hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ2_XS
ollama run hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S
ollama run hf.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF:Q4_K_M

Aceste rezultate suplimentare anterioare sunt observații de pe sistemul cu două GPU-uri. Sunt separate de matricea comparabilă de solicitări RTX 5060 Ti și GB10 de mai sus. Înregistrarea identifică referințele exacte ale modelelor, cuantizările, setările de context solicitate și viteza de generare. Nu include digests de manifest rezolvate, numărul de tokeni de prompt procesați, lungimea ieșirii, starea de încălzire, împărțirea pe dispozitive, CPU, RAM-ul sistemului, răcirea sau data măsurării.

Strata versus Ollama dens la 256K

Un al doilea benchmark, din 14 octombrie 2026, a comparat două stive de model și runtime pe același host cu două RTX 5060 Ti. Baza densă a folosit qwen3.8:27b , un model Qwen35 de 27.3 miliarde de parametri în Q4_K_M. Stiva Flash a folosit Qwen3.8-Flash-Next IQ2_XS , un model mixture-of-experts Qwen4Exp într-un pachet nativ unificat Strata.

Aceasta este o comparație între stive complete. Arhitectura modelului, cuantizarea, împachetarea, rutarea experților și motorul de inferență s-au schimbat împreună. Variantele Flash IQ3_S și Q4_K_M nu au fost incluse în această etapă.

Sistemul și metoda de testare

ComponentăConfigurație înregistrată
GPU-uri2x NVIDIA GeForce RTX 5060 Ti, câte 16 GiB, compute capability 12.0
Legătura GPUPCIe 4.0 x4 per placă, topologie PHB, fără NVLink
CPUAMD Ryzen 9 5900XT, 32 de fire de execuție
Memoria hostului62 GiB RAM și 15 GiB swap
Driver NVIDIA595.99.02

Harness-ul a generat înregistrări numerotate sintetice. Fiecare rând a urmat formatul Record 00001: alpha beta gamma delta epsilon zeta eta theta iota kappa. Instrucțiunea cerea mai întâi BENCHMARK_OK, apoi o sinteză tehnică scurtă până la limita de ieșire. Cele șase prompturi aveau 180, 720, 1,500, 3,100, 6,200 și 12,400 de înregistrări.

Fiecare rulare a folosit temperatura 0, seed 42 și o lungime maximă de ieșire de 128 de tokeni. O încălzire a precedat cele cinci solicitări măsurate la fiecare context. Testele Ollama au folosit /api/generate. Testele Strata au folosit /v1/chat/completions. Toate solicitările măsurate s-au încheiat fără erori API.

Controalele de decodare nu au fost identice. Strata a setat explicit reasoning_effort la none și a dezactivat thinking prin template-ul de chat. Solicitarea Ollama densă nu a trimis think: false, iar o verificare ulterioară a găsit ieșire în câmpurile thinking și response. Considerați rezultatul de generare specific acestor moduri de decodare.

Setare de contextTokeni prompt densTokeni prompt Flash
4K3,8243,826
16K15,16415,166
32K31,54431,546
64K65,14465,146
128K130,244130,246
256K260,444260,446

Antetele ambelor modele declarau un context maxim de 262,144 de tokeni. Prompturile pereche difereau cu doi tokeni la fiecare punct de control.

Mediana vitezei de generare după încălzire

Fiecare mediană acoperă cinci solicitări măsurate după o încălzire. Fiecare solicitare densă a reutilizat toți tokenii promptului anterior, cu excepția a patru. Fiecare solicitare Flash a reutilizat toți tokenii, cu excepția a șapte. Tabelul măsoară throughput de decodare cu cache de prefix încălzit. Nu măsoară latența completă de la o rulare rece.

ContextFlash IQ2_XS pe StrataDense Q4_K_M pe OllamaAvantaj Flash
4K98.4 tok/s65.0 tok/s1.51x
16K96.8 tok/s60.6 tok/s1.60x
32K95.3 tok/s64.4 tok/s1.48x
64K89.6 tok/s51.2 tok/s1.75x
128K92.9 tok/s31.5 tok/s2.95x
256K92.8 tok/s0.939 tok/s98.9x

Stiva Flash a rămas aproape de 90 de tokeni pe secundă între 64K și 256K. Qwen3.8 dens a încetinit mult după 64K și a ajuns la 0.939 tokeni pe secundă la 256K. Răspunsul Flash de 256K s-a terminat normal după 67 de tokeni. Rularea densă a atins limita de ieșire de 128 de tokeni.

Procesarea primului prompt

ContextPrima solicitare FlashPrima solicitare densă
4K1,134 tok/s832 tok/s
16K2,013 tok/s856 tok/s
32K2,386 tok/s799 tok/s
64K2,509 tok/s690 tok/s
128K2,538 tok/s489 tok/s
256K2,399 tok/s214 tok/s

Prima solicitare densă a procesat promptul complet la fiecare punct de control. Strata a reutilizat 16,384 de tokeni de prefix la 64K, 49,152 la 128K și 114,688 la 256K. Tratați ratele Flash de la 64K la 256K ca throughput de continuare al primei solicitări, nu ca prefill complet fără cache.

La 256K, Strata a procesat prima solicitare în 60.8 secunde. Ollama a avut nevoie de aproximativ 1,215.4 secunde. Reutilizarea prefixului împiedică o comparație directă de prefill rece la acest punct.

Plasarea runtime-ului explică diferența la context lung

Ollama 0.34.2 a folosit llama-server 0.4.1-dev cu offload de straturi CUDA, template ChatML și decodare speculativă MTP cu o lățime maximă de draft de patru. Dimensiunile batch și microbatch au fost 1,024 la 32K și 512 între 64K și 256K. Toate cele 66 de straturi dense au rămas pe GPU la 32K și 64K. La 128K, 63 din 66 de straturi au rămas pe GPU, iar 1,404 MiB au trecut în memoria mapată CPU. La 256K, 42 din 66 de straturi au rămas pe GPU, iar 6,002 MiB au trecut în memoria mapată CPU. Rata de acceptare MTP la 256K a fost de circa 69.4 la sută.

Strata 0.1.44.1 cu CUDA 13.0.3 a ținut cele 48 de straturi împărțite între cele două GPU-uri. Configurația de 4K și 16K a plasat straturile 0-23 pe primul GPU și 24-47 pe al doilea. Această etapă a folosit o rezervă VRAM automată de 700 MiB și 16,047 de sloturi de experți rezidenți.

Configurația de la 32K la 256K a plasat straturile 0-24 pe primul GPU și 25-47 pe al doilea. Această etapă a folosit prefill automat, probabilitate minimă speculativă de 0.5, stocare KV INT8, 32,768 de celule KV rezidente per strat QSA, o rezervă VRAM de 832 MiB, un cache de experți cu 15,318 sloturi și 21,024 MiB, plus decodare speculativă MTP cu o lățime maximă de draft de patru.

Digest-ul blobului nativ și PLE Strata a fost sha256:1473e0664c2017095f9164b6d617d7a71893452c1180c83002c4f28fc8c2b0da. Rularea depindea și de un profil de experți și de un pachet draft MTP fără digests imutabile publicate.

Rularea Strata a folosit modul implicit de ignorare a cozii de rută. Această setare schimbă ușor ieșirea modelului și face rezultatul specific configurației runtime înregistrate. Răspunsurile Flash aveau marcaje BENCHMARK_OK. Solicitările dense nu au avut erori API, dar harness-ul principal nu a capturat marcajul. Rândurile brute au înregistrat zero caractere de răspuns. O verificare ulterioară a găsit ieșire în câmpurile response și thinking și a confirmat BENCHMARK_OK în răspuns.

Configurația de 4K și 16K a înregistrat 409 MiB liberi într-o solicitare și a recomandat o rezervă de 832 MiB. Configurația de context lung a înregistrat 481 MiB liberi într-o solicitare și a recomandat o rezervă de 896 MiB. Ambele valori erau sub pragul de 512 MiB pentru driver paging al motorului. Nicio solicitare nu a eșuat, dar aceste stări de memorie redusă afectează repetabilitatea.

Interpretați valoarea de 98.9x ca rezultat al întregii stive la context lung, nu ca dovadă a unui avantaj de 98.9x al motorului singur. Testul a izolat hostul. Nu a izolat modelul, cuantizarea sau runtime-ul.

Contează lungimea reală a promptului

Contextul solicitat nu este același lucru cu numărul de tokeni de prompt procesați. La setarea de 256K, rulările Qwen3.5, Qwen3.6, Nemotron și Qwen3.8 au procesat aproximativ 171,359 până la 171,365 de tokeni de prompt reali pe ambele sisteme.

GPT-OSS a procesat 65,538 de tokeni de prompt reali la setarea de 256K pe ambele sisteme. Prin urmare, rândul său de 256K nu reprezintă aceeași lungime de intrare ca la celelalte modele.

Rezultatul Qwen3.8 la 256K arată cel mai clar diferența. Sistemul cu două plăci a procesat 171,359 de tokeni de prompt la 251.3 tokeni pe secundă și a generat la 1.079 tokeni pe secundă. GB10 a procesat același număr de tokeni la 535.1 tokeni pe secundă și a generat la 22.371 tokeni pe secundă.

Setarea contextului indică limita solicitată. Numărul real de tokeni din prompt arată câtă sarcină a finalizat runtime-ul.

De ce VRAM-ul agregat contează în continuare

1. Modelul nu vede o singură placă de 32 GB

Două GPU-uri nu își unesc memoria într-un singur spațiu local de adrese. Un runtime model-parallel împarte straturile sau tensorii între dispozitive. Fiecare dispozitiv are nevoie de spațiu pentru ponderile alocate, buffer-ele temporare și partea sa din starea contextului.

Capacitatea utilizabilă este mai mică decât sugerează suma simplă. Overhead-ul exact depinde de formatul modelului, cuantizare, backend-ul de inferență, împărțirea tensorilor și lungimea contextului.

2. Memoria contextului crește în timpul generării

Ponderile modelului reprezintă doar o parte din bugetul de memorie. Cache-ul key-value, sau KV cache, stochează date de atenție pentru tokenii anteriori. Contextele mai lungi necesită mai multă memorie cache. Un test de 4K nu prezice o implementare la 128K sau 256K.

Noile rezultate arată puncte de limitare diferite în funcție de model. Qwen3.8 suferă o scădere severă a vitezei de generare pe sistemul cu două plăci la 256K. Celelalte patru modele păstrează viteze de generare utile pe ambele sisteme. Capacitatea memoriei contează în continuare deoarece determină ce combinații de model și context încap cu loc pentru alocările runtime.

3. Transferurile PCIe adaugă un cost

Când runtime-ul mută activări sau tensori între GPU-uri, transferul trece prin interconectarea hostului. Apar puncte de sincronizare și se adaugă latență fiecărui pas. Penalizarea depinde de plasarea tensorilor, arhitectura modelului, cuantizare și lungimea contextului.

Asta nu face inutil un sistem cu două GPU-uri. Configurația runtime și modelul determină rezultatul. Un benchmark care raportează doar procesarea promptului la 4K nu arată acest cost.

4. Eficiența energetică este un avantaj la nivel de sistem

GB10 folosește mai puțină putere raportată pentru cip sau GPU, oferind în același timp mai multă capacitate de memorie. Două plăci RTX 5060 Ti au o valoare combinată de 360 W pentru GPU-uri, înainte de restul sistemului. NVIDIA listează un TDP de 140 W pentru GB10.

GB10 schimbă throughput-ul maxim pentru mai multe modele cu o capacitate mai mare, un set de lucru partajat și o putere GPU raportată mai mică. Sistemul cu două plăci oferă throughput măsurat mai mare la mai multe modele MoE noi.

Sistemul 5060ti-x2 costă mult mai puțin

O workstation completă cu două RTX 5060 Ti de 16 GB era listată la $3,479 pe 10 octombrie 2026. Configurația include Intel Ultra 7 265K, placă de bază Z890, 32 GB DDR5, stocare de 1 TB, sursă de 1,000 W și ambele GPU-uri. Vezi oferta workstation-ului complet cu două GPU-uri .

Marketplace-ul american NVIDIA listează DGX Spark de 128 GB la $6,950. Oferta include 128 GB de memorie unificată coerentă și stocare NVMe de 4 TB, dar sistemul apare fără stoc. Verifică oferta actuală NVIDIA DGX Spark .

AMD Ryzen AI Halo Developer Platform oferă încă un punct de comparație. Acest sistem Strix Halo este listat la $3,999.99 pe Micro Center, cu 128 GB de memorie unificată LPDDR5x și 2 TB de stocare. Strix Halo se încadrează adesea în aceeași categorie practică de IA locală ca sistemele GB10, deși testele independente măsoară frecvent GB10 înainte la throughput și maturitatea software-ului. Verifică oferta Linux actuală de la Micro Center și citește analiza Strix Halo față de GB10 .

Sistem completPreț listat pe 10 octombrie 2026Diferență de preț
Workstation 5060ti-x2$3,479Referință
AMD Ryzen AI Halo, Strix Halo$3,999.99Cu $520.99 mai mult
DGX Spark GB10 de 128 GB$6,950Cu $3,471 mai mult

GB10 oferă un pool mai mare de memorie unificată și o putere GPU raportată mai mică. Sistemul AMD oferă aceeași clasă de memorie de 128 GB pentru aproximativ $4,000. Workstation-ul 5060ti-x2 rămâne la aproximativ 50% din prețul listat al GB10, înainte de taxe și transport.

Acestea sunt prețuri listate de furnizori diferiți, nu un coș de cumpărături controlat. Comparația lasă și sistemul 5060ti-x2 cu mai puțină memorie de sistem și stocare. Plăcile RTX 5060 Ti de 16 GB sunt listate acum în jur de $789 până la $830 fiecare, mult peste MSRP-ul de lansare de $429. Avantajul de preț al sistemului cu două plăci persistă și în timpul creșterii actuale a prețurilor GPU-urilor. Vezi prețurile actuale pentru RTX 5060 Ti .

Ce înseamnă pentru sarcinile locale de IA

O configurație cu două plăci de 16 GB rulează mai multe modele cuantizate de 27B până la 35B la setări de context lung. Benchmarkul nu indică un singur câștigător pentru fiecare model.

Alege sistemul cu două plăci dacă apreciezi:

  • Viteză de generare mai mare la GPT-OSS, Nemotron, Qwen3.5 și Qwen3.6 în acest test.
  • Throughput mai mare la context scurt pentru cele cinci modele.
  • Cost de achiziție mai mic decât sistemul GB10 listat.
  • Compatibilitatea software cu GPU-uri discrete NVIDIA și posibilitatea de a testa modele viitoare.

Alege GB10 dacă apreciezi:

  • Qwen3.8 27B la 256K, unde GB10 este de peste 20 de ori mai rapid la generare.
  • Un singur pool de memorie de 128 GB, cu mai mult spațiu pentru ponderi, KV cache și buffer-ele runtime.
  • Putere GPU sau a cipului raportată mai mică decât la două plăci discrete.
  • Mai puține constrângeri de plasare între dispozitive pentru modelele care solicită sistemul cu două plăci.

Această alegere corespunde recomandării de dimensionare din Este suficientă o VRAM de 16 GB pentru lucru serios cu LLM-uri locale? , care tratează ponderile, contextul și alocările runtime ca un singur buget. Ghidul de 32 GB VRAM pentru Qwen 27B ajunge la aceeași concluzie pentru configurațiile cu două plăci. Capacitatea agregată nu este egală cu spațiul utilizabil.

Pentru orice implementare cu context lung, pune patru întrebări înainte să cumperi hardware:

  • Încape cuantizarea aleasă împreună cu buffer-ele runtime? Ponderile modelului singure nu definesc necesarul de memorie.
  • Încape contextul fără presiune severă asupra KV cache? Prompturile lungi schimbă rezultatul.
  • Runtime-ul folosește o împărțire eficientă a dispozitivelor? Transferurile PCIe și plasarea tensorilor afectează fiecare token generat.
  • Sistemul finalizează contextul vizat? Un rezultat rapid la 4K nu compensează un workload de 256K eșuat.

Noul benchmark răspunde la aceste întrebări pentru fiecare model. Qwen3.8 favorizează clar GB10 la 256K. Celelalte patru modele favorizează sistemul cu două plăci la viteza de generare în această configurație. Pool-ul mai mare de memorie unificată oferă totuși mai mult spațiu de capacitate, chiar dacă nu produce cel mai mare throughput măsurat.

Același hardware cu două GPU-uri a înregistrat și o mediană de 92.8 tokeni pe secundă după încălzire la 256K, cu Flash-Next IQ2_XS pe Strata. Acest rezultat separat nu schimbă rezultatul GB10 pentru Qwen3.8 dens. Flash-Next folosește altă arhitectură mixture-of-experts, cuantizare, pachet, runtime și mod de decodare. Setul de date nu conține un rezultat comparabil Flash-Next pe GB10.

Verdict

Sistemul cu două RTX 5060 Ti este mai rapid la generare pentru patru dintre cele cinci modele testate la 256K. Costă și aproximativ jumătate din prețul listat al sistemului GB10. GB10 rămâne alegerea mai bună pentru Qwen3.8 27B la 256K, pentru spațiu de capacitate și pentru sarcini care beneficiază de un pool de memorie coerent.

Rezultatul anterior, limitat la Qwen, sugera o victorie simplă a GB10. Testul actualizat cu cinci modele arată de ce această concluzie era prea generală. Arhitectura modelului, versiunea runtime, plasarea tensorilor și comportamentul contextului influențează rezultatul.

Dacă rulezi GPT-OSS, Nemotron 3.5 Lightning, Qwen3.5 sau Qwen3.6, sistemul cu două plăci a avut viteză de generare mai mare în acest benchmark. Dacă rulezi Qwen3.8 27B la 256K, GB10 a oferit o viteză utilă, în timp ce sistemul cu două plăci aproape s-a blocat.

Capacitatea de memorie și throughput-ul sunt criterii de cumpărare separate. GB10 oferă de patru ori mai multă memorie agregată și un set de lucru partajat mai simplu. Sistemul cu două plăci oferă throughput observat mai mare la majoritatea modelelor testate, la un preț de sistem mult mai mic.

Rezultatul Strata adaugă încă o lecție. Plasarea runtime-ului, arhitectura modelului și modul de decodare au schimbat rezultatul la 256K pe același host cu două GPU-uri. Flash-Next IQ2_XS a menținut o mediană după încălzire de aproape 93 de tokeni pe secundă, în timp ce Qwen3.8 dens a transferat 24 de straturi și a coborât sub un token pe secundă.

Limitele benchmarkului

Benchmarkul înregistrează tag-urile modelelor, contextele solicitate, tokenii reali ai promptului, viteza de procesare a promptului, viteza de generare, versiunile Ollama și ținta de generare de 128 de tokeni. Nu înregistrează digests de manifest rezolvate, puterea CPU, puterea de la priză, viteza ventilatoarelor sau configurația de răcire.

Rândurile GPT-OSS de 256K au procesat 65,538 de tokeni reali de prompt pe ambele sisteme. Celelalte rânduri de 256K au procesat aproximativ 171K tokeni reali de prompt. Tratează cifrele ca pe o comparație observată între sisteme, nu ca pe o clasare universală a fiecărei perechi RTX 5060 Ti și a fiecărei implementări GB10.

Rularea Strata față de dense înregistrează numărul exact de tokeni de prompt, cinci solicitări măsurate per context, versiunile runtime, plasarea dispozitivelor, setările cache și starea solicitărilor. Comparația schimbă simultan arhitectura modelului, cuantizarea, împachetarea, runtime-ul și modul de decodare. Strata a reutilizat și prefixele promptului peste 32K. Solicitările de generare măsurate pe ambele stive au reutilizat aproape întregul prompt.

Reproducerea exactă a testului din acest articol nu este posibilă. Harness-ul benchmarkului, structura pachetului Strata, profilul de experți și pachetul draft MTP nu sunt publicate cu digests imutabile. Avertismentul de VRAM redus adaugă și risc de variație între rulări. Testul izolează hostul, nu motorul de inferență.

Specificațiile hardware de mai sus provin de la NVIDIA. Valorile de performanță provin din rularea controlată a benchmarkului pentru acest articol.

Referințe