NVIDIA Optimalkan DGX Spark untuk Mempercepat Pemrosesan Model AI Campuran Pakar

NVIDIA memperkenalkan serangkaian optimalisasi perangkat lunak untuk meningkatkan kecepatan pemrosesan model kecerdasan buatan berbasis Mixture of Experts (MoE) pada DGX Spark. Melalui pembahasan teknis yang dipublikasikan pada 27 Oktober 2026, perusahaan menjelaskan tiga pendekatan utama, yaitu Humming MXFP4, kuantisasi FP8 pada LM head, dan speculative decoding menggunakan NEXTN. Pengujian pada model Ling-3.0-flash menunjukkan peningkatan kecepatan generasi token hingga 42,5 persen dalam evaluasi GSM8K, disertai penurunan latensi rata-rata sebesar 24,5 persen. Inovasi TEKNOLOGI ini menjadi perkembangan penting bagi pengembang yang membutuhkan pemrosesan model AI berukuran besar melalui komputer desktop dengan efisiensi lebih baik.

Peningkatan Performa NVIDIA DGX Spark untuk Model Kecerdasan Buatan

Komputer AI NVIDIA DGX Spark adalah perangkat komputasi berukuran ringkas yang mendukung model AI yang dikembangkan untuk menjalankan model kecerdasan buatan. Sistem komputasi ini memanfaatkan teknologi komputasi Grace Blackwell serta menyediakan memori terpadu sebesar 128 GB. Melalui konfigurasi tersebut, peneliti memiliki kesempatan menguji model AI pada perangkat sendiri. Meski dirancang untuk pemrosesan kecerdasan buatan, kinerja model juga dipengaruhi pengaturan inferensi.

Pada evaluasi teknis yang diumumkan, NVIDIA berfokus meningkatkan inferensi model MoE. Arsitektur MoE membagi kemampuan jaringan saraf ke beberapa pakar dan hanya mengaktifkan sebagian pakar untuk setiap token. Strategi komputasi tersebut mendukung pengembangan jaringan saraf berparameter tinggi tanpa memproses setiap pakar untuk setiap token. Meski hanya menggunakan sebagian parameter, perpindahan bobot model dari memori tetap membutuhkan sumber daya.

Penyebab Pemrosesan Token Melambat pada Model Mixture of Experts

Untuk mengidentifikasi hambatan performa, NVIDIA melakukan pengujian pada Ling-3.0-flash dari Inclusion AI. Sistem kecerdasan buatan ini menyimpan total 124 miliar parameter, tetapi hanya mengaktifkan sekitar 5,1 miliar parameter per token. Model tersebut turut menggunakan 512 routed experts pada setiap lapisan MoE. Pada setiap langkah pemrosesan tertentu, delapan pakar dipilih bersama satu shared expert. Mekanisme pemrosesan ini mendukung kapasitas model yang luas.

Temuan dari proses profiling mengidentifikasi keterbatasan pemrosesan akibat akses memori. Pada skenario pengujian ini, kecepatan tidak sepenuhnya ditentukan oleh operasi aritmetika. Proses inferensi membutuhkan akses terhadap bobot model dari memori. Dua bagian yang paling menonjol adalah perhitungan pakar MoE dan proyeksi keluaran. Berdasarkan temuan tersebut, NVIDIA menguji kombinasi pendekatan pengurangan akses memori dan langkah decoding. Pendekatan ini berfokus pada mempercepat pembentukan token berikutnya.

Teknologi Humming Meningkatkan Efisiensi Inferensi DGX Spark

Pendekatan awal yang diterapkan adalah penerapan kernel Humming untuk pemrosesan MoE. Sebelum pembaruan diterapkan, Ling-3.0-flash memanfaatkan implementasi FlashInfer untuk perhitungan pakar. Tim pengembang selanjutnya menerapkan backend Humming sebagai alternatif. Teknologi tersebut mengandalkan NVIDIA CUDA Runtime Compilation atau NVRTC untuk menyiapkan kode komputasi sesuai konfigurasi perangkat. Berkat penyesuaian terhadap bentuk operasi, kernel lebih sesuai dengan ukuran komputasi model. Nilai tambah pendekatan ini adalah penyusunan kernel secara lebih spesifik.

Melalui pengukuran performa tertentu, NVIDIA menjalankan workload dengan 32K token input serta keluaran sebanyak 2.000 token pada batch size satu. Pada konfigurasi sebelum optimalisasi, throughput tercatat 36,09 token setiap detik. Dengan penggantian backend MoE, kecepatan meningkat menjadi 39,45 token per detik. Peningkatan performa ini setara dengan kenaikan 9,3 persen. Meskipun terlihat sederhana, hasil tersebut membantu mengurangi beban langkah decoding.

Kuantisasi FP8 Mengurangi Beban Pembacaan Memori pada DGX Spark

Teknik lanjutan yang digunakan NVIDIA menargetkan komponen pembentukan skor kosakata. Lapisan keluaran tersebut adalah sistem penentu peluang keluaran berdasarkan kosakata. Dalam Ling-3.0-flash, lapisan keluaran melibatkan kosakata sebanyak 157.184 token dengan dimensi tersembunyi sebesar 2.560. Sebelum optimalisasi dilakukan, bobot LM head disimpan dalam format BF16. Karena bobot perlu dibaca untuk setiap token, kebutuhan bandwidth meningkat.

Dalam upaya mempercepat lapisan keluaran, NVIDIA menerapkan kuantisasi FP8 secara dinamis. Teknik ini memperkecil jumlah data yang perlu dibaca pada komponen proyeksi kosakata. Dengan mengganti BF16 menjadi FP8, volume pembacaan bobot lapisan tersebut berkurang sekitar setengahnya. Ketika digabungkan dengan Humming, throughput meningkat menjadi 43,94 token per detik dalam evaluasi awal dengan konfigurasi serupa. Pencapaian ini menggambarkan kenaikan throughput sebesar 21,7 persen terhadap sistem pembanding.

Speculative Decoding NEXTN Mempercepat Inferensi Model Ling-3.0-flash

Pendekatan tambahan dari NVIDIA adalah multi-token prediction atau MTP speculative decoding menggunakan NEXTN. Jika dibandingkan dengan optimalisasi kernel serta memori, metode ini bertujuan menghasilkan beberapa token melalui satu putaran verifikasi. Model yang dievaluasi telah dilengkapi lapisan prediksi NEXTN. Dengan pengaturan pemrosesan tertentu, sistem memprediksi tiga token terlebih dahulu kemudian memverifikasi empat posisi sekaligus. Kandidat yang lolos pemeriksaan dipertahankan tanpa memerlukan decoding terpisah untuk setiap token. Mekanisme tersebut berpotensi mempercepat generasi apabila prediksi awal cukup akurat.

Berdasarkan workload buatan yang digunakan, penggabungan seluruh teknik tersebut meningkatkan throughput hingga 102,88 token per detik. Hasil tersebut menggambarkan percepatan 185,1 persen dibandingkan konfigurasi awal. Meski hasil sintetis menunjukkan percepatan tinggi, hasil ini tidak mewakili seluruh jenis pekerjaan. Sebagai evaluasi tambahan, NVIDIA mengevaluasi model menggunakan keseluruhan set uji GSM8K. Pada evaluasi tersebut, model menghasilkan 53,89 token per detik dibandingkan 37,81 sebelumnya. Berdasarkan perbandingan tersebut, percepatan generasi tercatat sebesar 42,5 persen.

Selain mempercepat generasi token, kombinasi optimalisasi tersebut juga mengurangi latensi rata-rata. Pada seluruh pertanyaan yang diuji, durasi penyelesaian rata-rata menurun hingga 11,49 detik dari 15,21 detik. Perubahan tersebut menggambarkan penurunan waktu respons sekitar 24,5 persen. Sementara itu, akurasi tercatat 96,82 persen dibandingkan 96,89 persen sebelumnya. Berdasarkan analisis yang dipublikasikan, tidak ditemukan perubahan akurasi yang signifikan secara statistik. Walaupun hasilnya positif, penerapan seluruh metode membutuhkan pemeriksaan kompatibilitas, karena pengaturan LM head yang keliru dapat menurunkan performa.

Kesimpulan Optimalisasi NVIDIA DGX Spark untuk Model AI MoE

Penyempurnaan perangkat lunak untuk pemrosesan model MoE menjadi contoh peningkatan performa melalui rekayasa sistem dalam pengembangan AI lokal dengan kebutuhan memori tinggi. Dengan penggunaan kernel Humming, beban operasi MoE berhasil dikurangi. Di sisi pengelolaan memori, kompresi bobot LM head melalui FP8 meningkatkan efisiensi akses memori. Penerapan speculative decoding melengkapi kedua pendekatan tersebut melalui verifikasi keluaran secara berkelompok. Evaluasi benchmark memperlihatkan peningkatan kecepatan generasi sebesar 42,5 persen dalam skenario GSM8K yang digunakan. Meski hasil eksperimen menunjukkan kemajuan, hasil optimalisasi tidak dapat digeneralisasi ke semua model. Inovasi TEKNOLOGI optimalisasi model MoE dapat mendukung pemanfaatan kecerdasan buatan secara lebih efisien. Bagaimana menurut Anda mengenai peningkatan performa AI melalui Humming dan speculative decoding? Bagikan pendapat Anda mengenai masa depan pemrosesan kecerdasan buatan pada perangkat desktop.