Nemotron 3.5 Lightning: AI Cerdas yang Hemat Biaya & Waktu, Ini Cara Kerjanya
- Nvidia
GadgetVIVA - Nvidia memperkenalkan pendekatan baru dalam penggunaan kecerdasan buatan perusahaan: tidak semua tugas butuh model AI berat. Untuk menjawab tantangan ini, perusahaan meluncurkan Nemotron 3.5 Lightning, model AI canggih berbasis mixture-of-experts (MoE) dengan 30 miliar parameter, yang dirancang untuk menyesuaikan intensitas kerja sesuai kompleksitas tugas.
Dilengkapi dengan NeMo Switchyard pustaka open source untuk model routing sistem ini memungkinkan agen AI secara otomatis memilih model paling tepat: ringan dan cepat untuk tugas sederhana, atau berat dan analitis untuk pekerjaan kompleks.
Langkah ini menandai pergeseran dari “semakin besar semakin baik” menuju “tepat guna, tepat biaya” dalam ekosistem AI enterprise.
Nemotron 3.5 Lightning: AI yang Efisien dan Cepat
Nemotron 3.5 Lightning adalah bagian dari keluarga Nemotron 3, yang diperkenalkan Nvidia pada Desember 2025 sebagai fondasi terbuka untuk sistem AI agentic.
Keunggulan utamanya:
- Arsitektur MoE: hanya mengaktifkan “ahli” yang relevan per permintaan
- 4x lebih cepat dalam menghasilkan output dibanding model sekelas
- 30% lebih cepat menyelesaikan tugas agentic kompleks
Yang membuatnya revolusioner adalah kemudahan kustomisasi. Perusahaan bisa melakukan post-training menggunakan Nvidia NeMo dengan data internal mereka tanpa harus membangun model dari nol.
Kustomisasi Murah dan Cepat: Hanya Rp1,5 Juta dan 2 Jam
Nvidia menunjukkan bahwa pelatihan ulang model ini sangat terjangkau. Contohnya, mitra mereka CodeRabbit berhasil:
- Melatih model selama satu epoch
- Menggunakan hardware standar
- Hanya butuh 2 jam dan biaya 85 dolar AS (sekitar Rp1,5 juta)
Nvidia juga merilis:
- Dataset post-training
- Resep pelatihan (training recipes)
- Framework lengkap
Pengembang bebas menggabungkan aset ini dengan data perusahaan untuk menciptakan AI spesifik industri dari layanan pelanggan hingga analisis teknis.
NeMo Switchyard: Otak di Balik Pemilihan Model AI
Jika Nemotron 3.5 Lightning adalah “otot”, maka NeMo Switchyard adalah “otak” yang mengatur kapan dan bagaimana menggunakannya.
Switchyard adalah library open source yang memungkinkan sistem agen AI:
- Menganalisis jenis permintaan
- Memilih model paling sesuai dari gudang model yang tersedia
- Menyeimbangkan kualitas, kecepatan, latensi, dan biaya
Misalnya:
- Permintaan “apa cuaca hari ini?” → dialihkan ke model ringan
- Permintaan “analisis laporan keuangan Q2 dan prediksi risiko” → dialihkan ke model reasoning tinggi
- Pendekatan ini mencegah pemborosan sumber daya dan menghemat jutaan dolar bagi perusahaan skala besar.
