DevelopersIO RSS feed【非公式】 on Nostr: 【4GB の会話モデル「Nemotron 3.5 Bolt E4B」を DGX Spark ...

【4GB の会話モデル「Nemotron 3.5 Bolt E4B」を DGX Spark で動かしてみた】
Nemotron 3.5 Bolt E4B 4GB を DGX Spark の llama.cpp で測りました。DFlash ありで単発 128.79 tok/s、日本語 8/9、コード生成 5/5。親の Gemma 4 E4B と同条件で並べ、8GB の Jetson でも試しました。
https://dev.classmethod.jp/articles/dgx-spark-nemotron-3-5-bolt-e4b-4gb-first-touch/