前几天nvidia推出了新模型Llama-3_1-Nemotron-Ultra-253B-v1, 今天我试了一下, 感觉很好. 看测试数据的话, 比deepseek r1还高, 当然数字只能作为参考.

主要它是只有253B的参数, 不用太多的显存. deepseek r1是671B的参数, 本地跑的话要太多的显存了. nvidia的模型和deepseek的模型都是带思考的, 不过 nvidia的模型可以关掉, deepseek的模型不行. deepseek r1是MoE架构的, 这个不是.

要是有条件的话, 可以试一试.

自己部署意义何在？

本帖最后由 kindlecon 于 2025-4-12 19:04 编辑

253b就算就算4bit量化也要170g显存。

如果用CPU和内存跑，那前提是你有多通道服务器主板，否则那速度谁受得了。

我昨天才听说整个，还没弄。 你实际测试了吗？

有llama4 为啥用3.1,而且4需要的显存更少

acm 发表于 2025-4-12 19:27

有llama4 为啥用3.1,而且4需要的显存更少

吊打华伪 发表于 2025-4-12 19:10

我昨天才听说整个，还没弄。 你实际测试了吗？