NVIDIA Optimalkan DGX Spark untuk Mempercepat Pemrosesan Model AI Campuran Pakar
NVIDIA memperkenalkan serangkaian optimalisasi perangkat lunak untuk meningkatkan kecepatan pemrosesan model kecerdasan buatan berbasis Mixture of Experts (MoE) pada DGX Spark. Melalui pembahasan teknis yang dipublikasikan pada 27 Oktober 2026, perusahaan menjelaskan tiga pendekatan utama, yaitu Humming MXFP4, kuantisasi FP8 pada LM head, dan speculative decoding menggunakan NEXTN. Pengujian pada model Ling-3.0-flash menunjukkan peningkatan kecepatan generasi token hingga 42,5 persen dalam evaluasi GSM8K, disertai penurunan latensi rata-rata sebesar 24,5 persen. Inovasi TEKNOLOGI ini menjadi perkembangan penting bagi pengembang yang membutuhkan pemrosesan model AI berukuran besar melalui komputer desktop dengan efisiensi lebih baik.
Peningkatan Performa NVIDIA DGX Spark untuk Model Kecerdasan Buatan
Komputer AI NVIDIA DGX Spark adalah sistem komputasi desktop untuk pengembangan kecerdasan buatan yang ditujukan mendukung eksperimen dan pengembangan AI. Sistem komputasi ini memanfaatkan teknologi komputasi Grace Blackwell serta menghadirkan memori bersama berkapasitas 128 GB. Berkat kemampuan komputasi yang tersedia, pengembang dapat menjalankan sejumlah model besar secara lokal. Meski dirancang untuk pemrosesan kecerdasan buatan, kinerja model juga dipengaruhi pengaturan inferensi.
Dalam pengembangan terbaru, NVIDIA menguji berbagai pendekatan untuk mempercepat AI campuran pakar. Sistem AI campuran pakar memiliki banyak komponen komputasi yang disebut experts dan menggunakan bagian tertentu dari model ketika menghasilkan token. Strategi komputasi tersebut memungkinkan kapasitas model menjadi sangat besar tanpa memproses setiap pakar untuk setiap token. Meski hanya menggunakan sebagian parameter, akses terhadap data model dapat menjadi hambatan.
Mengapa Model MoE Membutuhkan Optimalisasi Memori dan Pemrosesan
Dalam meneliti penyebab keterbatasan kecepatan, NVIDIA melakukan pengujian pada Ling-3.0-flash dari Inclusion AI. Arsitektur AI yang diuji menyimpan total 124 miliar parameter, tetapi menggunakan kurang lebih 5,1 miliar parameter untuk setiap token. Model tersebut turut menggunakan kumpulan 512 expert terarah untuk setiap lapisan MoE. Dalam satu proses pemilihan token, sistem mengaktifkan delapan routed experts dan satu pakar bersama. Susunan tersebut memungkinkan penggunaan parameter secara selektif.
Pengukuran performa yang dilakukan menunjukkan bahwa tahap decoding dibatasi bandwidth memori. Pada skenario pengujian ini, waktu tidak hanya dihabiskan untuk perhitungan matematika. Sistem juga harus membaca bobot model dari memori. Dua bagian yang paling menonjol adalah pemrosesan routed experts serta LM head. Karena itu, NVIDIA menguji kombinasi pendekatan pengurangan akses memori dan langkah decoding. Pendekatan ini berfokus pada meningkatkan throughput tanpa sekadar menambah perangkat keras.
Teknologi Humming Meningkatkan Efisiensi Inferensi DGX Spark
Pendekatan awal yang diterapkan adalah penggunaan Humming MXFP4 MoE backend. Dalam sistem pembanding, Ling-3.0-flash menggunakan backend FlashInfer MXFP4. NVIDIA kemudian menerapkan backend Humming sebagai alternatif. Humming memanfaatkan NVIDIA CUDA Runtime Compilation atau NVRTC untuk mengompilasi instruksi berdasarkan dimensi matriks sebenarnya. Dengan pendekatan kompilasi khusus, pemrosesan dapat dioptimalkan bagi karakteristik Ling-3.0-flash. Nilai tambah pendekatan ini adalah proses kompilasi yang lebih terarah.
Dalam pengujian sintetis, NVIDIA menjalankan workload dengan 32K token input serta hasil generasi sepanjang 2K token pada ukuran batch sebesar satu. Ketika menggunakan sistem pembanding, model menghasilkan sekitar 36,09 token per detik. Setelah Humming diaktifkan, pemrosesan mencapai 39,45 token per detik. Hasil pengujian tersebut menunjukkan peningkatan throughput sebesar 9,3 persen. Meski perubahannya relatif terbatas, pembaruan kernel memberikan kontribusi terhadap peningkatan performa gabungan.
Teknologi FP8 Membantu Meningkatkan Efisiensi Model AI MoE
Optimalisasi kedua berfokus pada lapisan LM head. Komponen proyeksi akhir ini berfungsi sebagai operasi yang memproyeksikan representasi model menjadi skor token. Untuk arsitektur AI tersebut, LM head memproses vocabulary berukuran 157.184 token dengan hidden dimension berukuran 2.560. Sebelum optimalisasi dilakukan, parameter keluaran dipertahankan pada presisi BF16. Akibat kebutuhan akses parameter secara berulang, proses decoding menghadapi beban transfer data tambahan.
Sebagai solusi terhadap beban memori, NVIDIA menggunakan pendekatan online FP8 quantization. Pendekatan kuantisasi tersebut mengurangi ukuran representasi bobot pada komponen proyeksi kosakata. Berkat representasi delapan bit, volume pembacaan bobot lapisan tersebut berkurang sekitar setengahnya. Melalui penerapan dua optimalisasi tersebut, model mampu menghasilkan 43,94 token per detik dalam workload pengukuran yang digunakan. Hasil performa tersebut menunjukkan peningkatan 21,7 persen dibandingkan baseline.
Speculative Decoding NEXTN Mempercepat Inferensi Model Ling-3.0-flash
Teknik ketiga adalah multi-token prediction atau MTP speculative decoding menggunakan NEXTN. Jika dibandingkan dengan optimalisasi kernel serta memori, metode ini mengurangi kebutuhan menghasilkan setiap token melalui langkah terpisah. Model yang dievaluasi telah dilengkapi komponen bawaan untuk memprediksi token lanjutan. Dengan pengaturan pemrosesan tertentu, sistem memprediksi tiga token terlebih dahulu kemudian melakukan pemeriksaan terhadap empat posisi keluaran. Prediksi yang diterima oleh model utama menjadi bagian dari respons yang dihasilkan. Mekanisme tersebut memungkinkan pemrosesan lebih efisien apabila banyak kandidat berhasil diterima.
Pada pengujian sintetis, penggabungan seluruh teknik tersebut menghasilkan 102,88 token per detik. Pencapaian pengujian ini menggambarkan percepatan 185,1 persen dibandingkan konfigurasi awal. Meski hasil sintetis menunjukkan percepatan tinggi, peningkatan performa tidak berlaku sama untuk semua workload. Dalam pengujian yang lebih mendekati penggunaan nyata, NVIDIA menjalankan pengujian pada 1.319 soal GSM8K. Pada evaluasi tersebut, kecepatan meningkat dari 37,81 hingga 53,89 token setiap detik. Melalui hasil evaluasi ini, peningkatan throughput mencapai 42,5 persen.
Tidak hanya meningkatkan throughput, kombinasi optimalisasi tersebut juga mengurangi latensi rata-rata. Dalam pengujian GSM8K, waktu respons rata-rata berkurang dari 15,21 detik ke 11,49 detik. Penurunan waktu pemrosesan tersebut menggambarkan penurunan waktu respons sekitar 24,5 persen. Sementara itu, akurasi tercatat 96,82 persen dibandingkan 96,89 persen sebelumnya. Berdasarkan analisis yang dipublikasikan, perbedaan ketepatan tersebut tidak terdeteksi sebagai perubahan bermakna. Walaupun hasilnya positif, penggabungan teknik memerlukan konfigurasi yang sesuai, karena kesalahan integrasi FP8 dengan NEXTN bisa menghasilkan throughput lebih buruk daripada baseline.
Manfaat Humming FP8 dan NEXTN bagi Pengembangan Kecerdasan Buatan
Pengembangan optimalisasi NVIDIA DGX Spark menunjukkan pentingnya efisiensi komputasi dalam pemrosesan jaringan saraf kompleks. Dengan penggunaan kernel Humming, proses komputasi pakar menjadi lebih efisien. Di sisi pengelolaan memori, penggunaan representasi FP8 untuk lapisan keluaran membantu mengurangi kebutuhan pembacaan data. Penggunaan NEXTN mengurangi kebutuhan langkah generasi berulang melalui prediksi beberapa token sekaligus. Hasil pengujian memperlihatkan peningkatan kecepatan generasi sebesar 42,5 persen dalam skenario GSM8K yang digunakan. Meski hasil eksperimen menunjukkan kemajuan, hasil optimalisasi tidak dapat digeneralisasi ke semua model. Inovasi TEKNOLOGI optimalisasi model MoE memungkinkan pengembang menjalankan model kompleks dengan kinerja lebih baik. Bagaimana pandangan Anda mengenai penggunaan model Mixture of Experts secara lokal? Bagikan pendapat Anda mengenai peluang penerapan teknologi ini.
