檔案總覽
📌 hostloc首发?在自己机器上跑起来了英伟达Nemotron-Ultra-253B模型共 4 樓
主帖吊打华伪
🕐 2025-4-13 12:29:24
众生平等,这个体积,除了英伟达专业显卡,其他所有卡包括4090都是废品,大家都要用cpu算

非moe,用不了清华大学的推理构架。

众生平等之下MJJ掌握优势:一般人没有4通道的内存, MJJ人手一个E5 ovh

实测,E5 ovh不到0.3个token/s, 我去问个问题,吃完饭,回来再看!

官网:https://build.nvidia.com/nvidia/llama-3_1-nemotron-ultra-253b-v1 卡成狗了

loc首发介绍:https://hostloc.com/thread-1402426-1-1.html 但是openrouter就没必要了,貌似时非推理的。

英伟达整个模型比较强,可以时推理的模型,也可以关闭推理。
#? 樓我是老王
🕐 2025-4-13 12:34:42
免费的一大堆 干什么要这样折磨自己呢
#? 樓坏鸡鸡
🕐 2025-4-13 12:37:54
钱多,,,,,,我们用不起
#? 樓纵横天下
🕐 2025-4-13 13:49:39
我是老王 发表于 2025-4-13 12:34

免费的一大堆 干什么要这样折磨自己呢