Intel Arc B580 Jalankan Model AI 125B 3x Lebih Cepat dengan XeStrata

GadgetVIVA - Pengujian terbaru terhadap kartu grafis Intel Arc B580 menunjukkan bahwa efisiensi pemrosesan kecerdasan buatan (AI inference) tidak hanya bergantung pada spesifikasi perangkat keras semata. Melalui pengujian menggunakan mesin pemroses open-source XeStrata, kartu grafis berbasis arsitektur Battlemage ini mampu menjalankan model Large Language Model (LLM) berkapasitas 125 miliar parameter dengan kecepatan mencapai 31,1 tokens per second.

Capaian tersebut melonjak drastis hampir tiga kali lipat dibandingkan pengujian menggunakan mesin Strata standar yang hanya mencatatkan 10,9 tokens per second. Menariknya, lompatan performa generasi teks hingga 185 persen ini didapat tanpa mengubah komponen kartu grafis sama sekali. Hal ini membuktikan betapa krusialnya peranan optimasi perangkat lunak dalam ekosistem AI lokal harian.

Optimasi Perangkat Lunak Melejitkan Throughput Generasi Teks

Pengujian yang dipublikasikan oleh media teknologi Jepang, PC Watch, menggunakan unit ASRock Intel Arc B580 Challenger 12GB OC. Dalam skenario uji coba tersebut, model bahasa yang dijalankan adalah Qwen3.8-Flash-Next. Konfigurasi model dikirimkan menggunakan metode kuantisasi IQ3_S, context window sebesar 64K token, serta 8-bit KV cache.

Peningkatan performa yang signifikan ini bersumber dari perbedaan pengoptimalan instruksi antara Strata versi 0.2.1 dan XeStrata. XeStrata dirancang khusus untuk memaksimalkan jalur eksekusi pada arsitektur GPU Intel. Perangkat lunak ini secara efektif memanfaatkan unit akselerasi Intel Xe Matrix Extensions (XMX) yang tertanam di dalam chipset Arc B580. Hasilnya, throughput pemrosesan teks meningkat tajam saat memproses perintah yang kompleks.

Kendati demikian, hasil ini berfokus pada kecepatan generasi teks atau output throughput. Kecepatan pemrosesan awal (prompt processing), latensi respon pertama, hingga tingkat akurasi jawaban tidak mengalami perubahan drastis hanya karena pergantian mesin inferensi ini.

Peran Krusial Memori Sistem dalam Teknik Offloading AI

Secara teknis, memori VRAM sebesar 12GB GDDR6 pada Intel Arc B580 tentu tidak akan sanggup menampung keseluruhan bobot data dari model AI berkapasitas 125B. Di sinilah arsitektur XeStrata memainkan peran kuncinya. Mesin ini mengandalkan teknik offloading yang membagi beban kerja antara memori grafis dan memori utama komputer (system RAM).