Cara menjalankan model Nemotron 3 berat terbuka pada Droplet GPU

Pengenalan

NVIDIA telah mengumumkan penambahan terbaru kepada keluarga model Nemotron mereka, Nemotron 3. Terdapat tiga model berasingan dalam keluarga Nemotron 3 yang akan dikeluarkan, termasuk Nano, Super, dan Ultra, yang masing-masing mempunyai 30, 49, dan 253 bilion parameter dengan panjang konteks sehingga 1 juta token. Nano telah dikeluarkan pada Disember 2025, manakala Super dan Ultra dijadualkan untuk dikeluarkan kemudian pada 2026. Model-model ini dikeluarkan di bawah lesen model terbuka NVIDIA, menjadikannya tersedia untuk kegunaan komersial dan pengubahsuaian serta memberi anda hak milik dan kawalan penuh ke atas output yang dijana. Kedua-dua berat dan data latihan adalah terbuka dan tersedia di Hugging Face. Tutorial ini akan membincangkan model-model ini dan cara untuk menggunakan Nano yang kini tersedia pada Linux-Console.net GPU Droplet.

Kesimpulan Utama

  • NVIDIA telah mengumumkan Nemotron 3, satu penambahan baru kepada barisan model Nemotron mereka. Nemotron 3 terdiri daripada tiga model baharu, Nano (30B), Super (49B), dan Ultra (253B).
  • Sehingga Januari 2026, model terkecil, Nano, adalah satu-satunya yang kini tersedia untuk digunakan. Super dan Ultra dijadualkan untuk dikeluarkan kemudian pada 2026.
  • Semua model bersifat terbuka dari segi berat, membolehkan akses terbuka untuk kegunaan komersial dan pengubahsuaian. Senibina model menggunakan penambahbaikan kecekapan baharu untuk meningkatkan aliran keluar model.

Gambaran Model

Model Nemotron 3 menggunakan seni bina hibrid Mamba-Transformer Mixture of Experts yang bertujuan untuk meningkatkan kelajuan penjanaan token, yang juga dikenali sebagai throughput. Ini bermakna model mempunyai lapisan self-attention yang lebih sedikit dan sebaliknya menggunakan lapisan Mamba-2 (model ruang keadaan) dan lapisan Mixture-of-Experts (MoE) yang kurang mahal dari segi pengiraan dan lebih pantas, terutamanya untuk urutan input yang lebih panjang. Ini membolehkan model Nemotron 3 memproses teks yang lebih panjang dengan lebih cepat sambil menggunakan lebih sedikit memori dan sumber. Beberapa lapisan attention disertakan di mana diperlukan untuk mengekalkan ketepatan sebaik mungkin.

NVIDIA menerangkan setiap daripada tiga model itu sebagai dioptimumkan untuk platform yang berbeza. Nano menawarkan penjimatan kos untuk tugas agen tertentu tanpa menjejaskan ketepatan. Super memberikan ketepatan tinggi untuk pemikiran multi-agen. Ultra memaksimumkan ketepatan pemikiran.

Nano adalah yang terkecil daripada ketiga-tiganya dan prestasinya setara dengan Qwen3-30B dan GPT-OSS-20B. Ia merupakan satu-satunya daripada ketiga-tiga model yang tersedia setakat Januari 2026.

Nano boleh digunakan untuk kedua-dua tugas berfikir dan bukan berfikir dengan pilihan untuk mematikan keupayaan berfikir melalui bendera dalam templat chat. Respons akan menjadi kurang tepat jika keupayaan berfikir dimatikan dalam konfigurasi.

Nano adalah seni bina hibrid Campuran-Pakar (MoE) yang terdiri daripada 23 lapisan Mamba-2 dan MoE dan enam lapisan perhatian, dengan setiap lapisan MoE termasuk 128 pakar ditambah satu pakar berkongsi. Lima pakar diaktifkan bagi setiap token, menjadikan 3.5 bilion daripada 30 bilion jumlah parameter aktif.

Super dan Ultra kedua-duanya menggunakan LatentMoE dan lapisan Ramalan Multi-Token (MTP) yang meningkatkan lagi kelajuan penjanaan teks. MTP adalah keupayaan untuk meramalkan pelbagai token sekaligus dalam satu laluan hadapan berbanding hanya meramalkan satu token sahaja. LatentMoE adalah pendekatan baru untuk menugaskan pakar yang memampatkan saiz data input yang perlu diproses oleh setiap pakar bagi mengurangkan jumlah pengiraan untuk setiap token. Mereka menggunakan penjimatan kecekapan ini untuk meningkatkan bilangan pakar yang boleh digunakan untuk setiap token.

Dalam kertas putih NVIDIA mengenai pelepasan itu, mereka menerangkan Super sebagai dioptimumkan untuk beban kerja seperti automasi tiket IT di mana ejen kolaboratif mengendalikan beban kerja besar. Ultra adalah pilihan untuk digunakan apabila ketepatan dan prestasi penalaran adalah yang paling penting.

Langkah 1 — Mewujudkan Droplet GPU

Untuk menyebarkan Nemotron 3 Nano pada Droplet GPU Linux-Console.net, pertama, log masuk ke akaun Linux-Console.net anda dan buat Droplet GPU.

Pilih AI/ML-Sedia sebagai imej anda dan pilih NVIDIA H100. Tambah atau pilih Kunci SSH, dan buat Droplet Linux-Console.net.

Langkah 2 — Menyambung ke Droplet GPU Anda

Setelah Droplet Linux-Console.net dibuat, anda SSH (Secure Shell) ke dalam contoh pelayan anda. Pergi ke baris arahan anda dan masukkan arahan berikut, menggantikan nilai tempat letak your_server_ip yang disorot dengan IPv4 Awam contoh anda. Anda boleh mendapatkan IP di bahagian Connection Details dalam Papan Pemuka Contoh GPU anda.

ssh root@your_server_ip

Anda mungkin akan menerima mesej yang berbunyi:

The authenticity of host 'your_server_ip (your_server_ip)' can't be established.....Are you sure you want to continue connecting (yes/no/[fingerprint])?

Jika anda ingin, anda boleh taip yes dan tekan ENTER.

Langkah 3 — Memasang Python dan vLLM

Seterusnya, sahkan bahawa anda masih berada dalam instans Linux, dan pasang Python.

sudo apt install python3 python3-pip

Ia mungkin memberitahu anda bahawa ruang tambahan akan digunakan dan bertanya jika anda mahu meneruskan. Jika ya, taip Y dan tekan ENTER.

Jika anda menerima mesej “Daemons menggunakan perpustakaan lama” yang bertanya perkhidmatan mana yang hendak dimulakan semula, anda boleh menekan ENTER.

Selepas Python selesai dipasang, pasang vLLM.

pip install vllm

Pakej ini mungkin mengambil sedikit masa untuk dipasang. Setelah pemasangan selesai, muat turun parser tersuai dari Hugging Face.

wget https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16/resolve/main/nano_v3_reasoning_parser.py

Penganalisis tersuai mentafsir markup penalaran dan pemanggilan alat Nemotron-3 Nano v3 supaya vLLM dapat menyampaikan respons dengan betul dan mengurus panggilan alat.

Langkah 4 — Menyajikan Model Nemotron

Nyatakan dengan tepat model mana yang anda ingin gunakan dengan menggunakan ID model dari Hugging Face.

vllm serve --model nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 \
 --max-num-seqs 8 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --port 8000 \
  --trust-remote-code \
  --reasoning-parser-plugin nano_v3_reasoning_parser.py \
  --reasoning-parser nano_v3

max-num-seqs adalah bilangan maksimum output yang boleh diproses serentak. Anda boleh memproses sehingga lapan permintaan output tunggal pada satu masa dalam contoh ini.

tensor-parallel-size adalah bilangan GPU yang anda gunakan untuk menyebarkan model melalui paralelisme tensor. Satu bersamaan dengan satu GPU. max-model-len adalah jumlah maksimum token untuk setiap permintaan. trust-remote-code diperlukan untuk template chat khusus Nemotron dan logik parsingnya.

Akhirnya, parameter reasoning-parser-plugin dan reasoning-parser memuat dan memilih parser penalaran tersuai.

Sebaik sahaja model dimuatkan dan disajikan pada instance anda dengan vLLM, anda boleh membuat panggilan inferens ke endpoint menggunakan Python secara tempatan atau dari pelayan lain. Buat fail Python bernama example_vllm_request.py dan jalankan kod berikut. Gantikan your_server_ip dengan alamat IP Droplet GPU anda.

import requests

url = "http://your_server_ip:8000/v1/completions"
data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000
}

response = requests.post(url, json=data)
message = response.json()['choices'][0]['message']['content']
print(message)

Anda akan melihat output yang serupa dengan berikut:

The capital of France is **Paris**.

Jika anda mencetak keseluruhan objek response.json(), anda boleh melihat token penalarannya. Jika anda ingin menjalankannya dengan penalaran dilumpuhkan, anda boleh menambah parameter chat_template_kwargs ke objek data di atas.

data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000,
    "chat_template_kwargs": {"enable_thinking": False},
}

Soalan Lazim

Apakah keperluan perkakasan dan memori GPU yang diperlukan untuk menjalankan Nemotron 3 Nano secara setempat?

Nemotron 3 Nano boleh dijalankan pada GPU dengan sekurang-kurangnya 60 GB VRAM dalam ketepatan BF16, seperti A100 80 GB atau H100. Versi yang telah dikuantisasi mungkin membolehkan ia dijalankan pada GPU dengan memori yang lebih rendah.

Adakah saya boleh menyesuaikan Nemotron 3 Nano menggunakan data saya sendiri, dan apakah implikasi lesen yang terlibat?

Ya, model Nemotron 3 dikeluarkan di bawah lesen model terbuka NVIDIA, yang membenarkan penggunaan komersial, pengubahsuaian, dan penalaan halus. Anda mengekalkan hak milik sepenuhnya ke atas sebarang hasil yang dihasilkan dan boleh menala semula model tersebut pada set data tersuai untuk kegunaan khusus anda.

Apakah perbezaan antara seni bina Mixture-of-Experts (MoE) dan model transformer tradisional dari segi kos inferens?

Senibina MoE hanya mengaktifkan lima daripada 128 pakar bagi setiap token (3.5B daripada 30B parameter), menjadikan inferens lebih cekap berbanding model padat tradisional.

Adakah NVIDIA telah mengeluarkan LLM lain sebelum ini?

Ya, NVIDIA telah mengeluarkan sejumlah besar model dan set data terbuka, termasuk versi model Nemotron yang lain, Megatron, model ASR, dan banyak lagi.

Kesimpulan

Keluarga Nemotron 3 adalah model terbuka yang agak berkesan dan cekap dengan inferens yang pantas dan hasil yang tepat. Versi paling kecil, Nano, kini tersedia pada Januari 2026, dan dua versi yang lebih besar akan tersedia dalam beberapa bulan akan datang.

Dalam tutorial ini, anda telah menggunakan Nemotron 3 Nano pada Droplet GPU Linux-Console.net. Seterusnya, anda boleh membina aliran kerja yang menggunakannya untuk sebarang aplikasi sensitif data yang memerlukan tahap privasi dan kawalan yang tinggi.

Terima kasih kerana belajar bersama Komuniti Linux-Console.net.