NVIDIA Optimalkan DGX Spark untuk Mempercepat Pemrosesan Model AI Campuran Pakar
NVIDIA memperkenalkan serangkaian optimalisasi perangkat lunak untuk meningkatkan kecepatan pemrosesan model kecerdasan buatan berbasis Mixture of Experts (MoE) pada DGX Spark. Melalui pembahasan teknis yang dipublikasikan pada 27 Oktober 2026, perusahaan menjelaskan tiga pendekatan utama, yaitu Humming MXFP4, kuantisasi FP8 pada LM head, dan speculative decoding menggunakan NEXTN. Pengujian pada model Ling-3.0-flash menunjukkan peningkatan kecepatan generasi token hingga 42,5 persen dalam evaluasi GSM8K, disertai penurunan latensi rata-rata sebesar 24,5 persen. Inovasi TEKNOLOGI ini menjadi perkembangan penting bagi pengembang yang membutuhkan pemrosesan model AI berukuran besar melalui komputer desktop dengan efisiensi lebih baik.
NVIDIA Mengembangkan Optimalisasi AI Mixture of Experts pada DGX Spark
Perangkat DGX Spark dikenal sebagai sistem komputasi desktop untuk pengembangan kecerdasan buatan yang ditujukan mendukung eksperimen dan pengembangan AI. Platform desktop tersebut dibangun dengan sistem pemrosesan berbasis Grace Blackwell serta dilengkapi kapasitas unified memory 128 GB. Melalui konfigurasi tersebut, programmer dapat mengembangkan aplikasi AI tanpa selalu bergantung pada server jarak jauh. Namun demikian, kecepatan generasi token bergantung pada optimalisasi sistem.
Melalui penelitian optimalisasi yang dipublikasikan, NVIDIA menguji berbagai pendekatan untuk mempercepat AI campuran pakar. Arsitektur MoE memiliki banyak komponen komputasi yang disebut experts dan memilih sejumlah expert berdasarkan input yang diproses. Arsitektur ini memberikan ruang untuk meningkatkan ukuran model tanpa menggunakan semua komponen secara bersamaan. Meskipun begitu, proses membaca parameter masih berpotensi membatasi performa.
Penyebab Pemrosesan Token Melambat pada Model Mixture of Experts
Sebagai langkah awal optimalisasi, NVIDIA memilih Ling-3.0-flash sebagai objek evaluasi dari Inclusion AI. Arsitektur AI yang diuji dibangun dengan kapasitas 124 miliar parameter, tetapi hanya mengaktifkan sekitar 5,1 miliar parameter per token. Ling-3.0-flash juga memiliki kumpulan 512 expert terarah untuk setiap lapisan MoE. Pada setiap langkah pemrosesan tertentu, sistem mengaktifkan delapan routed experts dan satu pakar bersama. Konfigurasi pakar tersebut mendukung kapasitas model yang luas.
Hasil analisis NVIDIA menunjukkan bahwa tahap decoding dibatasi bandwidth memori. Ketika model menghasilkan token secara berurutan, hambatan bukan semata berasal dari kemampuan komputasi. Perangkat keras perlu mengambil bobot model dari memori. Dua bagian yang paling menonjol adalah pemrosesan routed experts serta LM head. Untuk mengatasi hambatan ini, NVIDIA menguji kombinasi pendekatan pengurangan akses memori dan langkah decoding. Strategi tersebut dirancang untuk mempercepat pembentukan token berikutnya.
Humming MXFP4 Mempercepat Komputasi Pakar pada Model AI
Optimalisasi pertama adalah penggunaan Humming MXFP4 MoE backend. Dalam sistem pembanding, Ling-3.0-flash menjalankan kernel MoE berbasis FlashInfer. Dalam pengujian lanjutan, perusahaan memilih kernel Humming untuk menjalankan operasi tersebut. Humming memanfaatkan NVIDIA CUDA Runtime Compilation atau NVRTC untuk mengompilasi instruksi berdasarkan dimensi matriks sebenarnya. Dengan pendekatan kompilasi khusus, kernel lebih sesuai dengan ukuran komputasi model. Manfaat teknis tambahan adalah pengurangan pekerjaan kompilasi yang tidak diperlukan.
Melalui pengukuran performa tertentu, NVIDIA menjalankan workload dengan 32K token input serta target output sebanyak dua ribu token pada ukuran batch sebesar satu. Pada konfigurasi sebelum optimalisasi, throughput tercatat 36,09 token setiap detik. Dengan penggantian backend MoE, kecepatan meningkat menjadi 39,45 token per detik. Peningkatan performa ini menggambarkan percepatan sekitar 9,3 persen. Meski perubahannya relatif terbatas, pembaruan kernel memberikan kontribusi terhadap peningkatan performa gabungan.
Kuantisasi FP8 Mengurangi Beban Pembacaan Memori pada DGX Spark
Optimalisasi kedua diterapkan pada bagian proyeksi keluaran model. Komponen proyeksi akhir ini berfungsi sebagai sistem penentu peluang keluaran berdasarkan kosakata. Dalam Ling-3.0-flash, lapisan keluaran melibatkan kosakata sebanyak 157.184 token dengan dimensi tersembunyi sebesar 2.560. Dalam sistem awal, lapisan tersebut menggunakan representasi BF16. Ketika proses generasi membaca seluruh bobot keluaran, volume pembacaan memori menjadi cukup besar.
Untuk mengurangi hambatan tersebut, NVIDIA menggunakan pendekatan online FP8 quantization. Teknik ini mengurangi ukuran representasi bobot pada komponen proyeksi kosakata. Berkat representasi delapan bit, beban transfer parameter pada lapisan tersebut turun separuh. Melalui penerapan dua optimalisasi tersebut, throughput meningkat menjadi 43,94 token per detik dalam evaluasi awal dengan konfigurasi serupa. Hasil performa tersebut menggambarkan kenaikan throughput sebesar 21,7 persen terhadap sistem pembanding.
Hasil Pengujian NVIDIA Menunjukkan Peningkatan Kecepatan Generasi AI
Pendekatan tambahan dari NVIDIA adalah multi-token prediction atau MTP speculative decoding menggunakan NEXTN. Jika dibandingkan dengan optimalisasi kernel serta memori, metode ini berfokus mengurangi jumlah langkah decoding. Model yang dievaluasi telah dilengkapi komponen bawaan untuk memprediksi token lanjutan. Dengan pengaturan pemrosesan tertentu, mekanisme spekulatif menghasilkan tiga token awal kemudian memverifikasi empat posisi sekaligus. Kandidat yang lolos pemeriksaan dipertahankan tanpa memerlukan decoding terpisah untuk setiap token. Strategi verifikasi ini memungkinkan pemrosesan lebih efisien apabila prediksi awal cukup akurat.
Dalam evaluasi awal dengan keluaran tetap, kombinasi ketiga optimalisasi mencapai kecepatan 102,88 token setiap detik. Pencapaian pengujian ini menunjukkan peningkatan throughput sebesar 185,1 persen. Walaupun angka tersebut terlihat sangat besar, hasil ini tidak mewakili seluruh jenis pekerjaan. Dalam pengujian yang lebih mendekati penggunaan nyata, NVIDIA menggunakan seluruh 1.319 pertanyaan GSM8K. Berdasarkan hasil benchmark ini, throughput naik dari 37,81 menjadi 53,89 token per detik. Melalui hasil evaluasi ini, peningkatan throughput mencapai 42,5 persen.
Selain mempercepat generasi token, sistem pemrosesan yang telah disempurnakan mempercepat respons keseluruhan. Pada seluruh pertanyaan yang diuji, latensi rata-rata turun dari 15,21 menjadi 11,49 detik. Hasil optimalisasi ini setara dengan pengurangan 24,5 persen. Sementara itu, akurasi tercatat 96,82 persen dibandingkan 96,89 persen sebelumnya. NVIDIA menyatakan, penurunan angka yang kecil itu tidak menunjukkan perbedaan statistik yang jelas. Walaupun hasilnya positif, penerapan seluruh metode membutuhkan pemeriksaan kompatibilitas, karena ketidakcocokan antara model draft dan model utama dapat menyebabkan perlambatan.
Manfaat Humming FP8 dan NEXTN bagi Pengembangan Kecerdasan Buatan
Penerapan teknik inferensi terbaru NVIDIA memperlihatkan manfaat optimalisasi perangkat lunak dalam penggunaan model kecerdasan buatan berukuran besar. Berkat optimalisasi backend MoE, pemrosesan expert dapat dipercepat. Sebagai langkah tambahan, kompresi bobot LM head melalui FP8 menekan volume transfer parameter. Penggunaan NEXTN memberikan strategi percepatan tambahan melalui verifikasi keluaran secara berkelompok. Evaluasi benchmark memperlihatkan peningkatan kecepatan generasi sebesar 42,5 persen dalam skenario GSM8K yang digunakan. Namun demikian, hasil optimalisasi tidak dapat digeneralisasi ke semua model. Perkembangan TEKNOLOGI pemrosesan AI dapat mendukung pemanfaatan kecerdasan buatan secara lebih efisien. Apa pendapat Anda mengenai penggunaan model Mixture of Experts secara lokal? Ceritakan pandangan Anda mengenai masa depan pemrosesan kecerdasan buatan pada perangkat desktop.
