【人工智能】英伟达发布Nemotron-4 340B通用模型 | 专为生成合成数据设计 | 三个版本 | 性能超越GPT-4/Mixtral/Llama3 | NeMo | TensorRT-LLM

6月14号，英伟达宣布发布Nemotron-4 340B通用模型，专为生成训练大语言模型的合成数据而设计，有可能彻底改变训练大模型时、合成数据的生成方式。这个突破性的进展，可能标志着AI行业的一个重要里程碑，那就是现在无需昂贵的真实世界数据，用合成数据就可以创建出性能强大的、特定领域大模型了，而且，Nemotron-4 340B的性能已经超越Mixtral 8x22B、Claude sonnet、Llama3 70B和Qwen 2，甚至可以和GPT-4一较高下。今天我们就来聊聊这个模型。
技术报告链接：d1qx31qr3h6wln...
#nvidia #nemotron #gpt4

[@白酒书生2]

我是医学行业的，每次听你讲专业术语，我都是把你的视频扣下来，转录成语音文字，发给GPT4，进行解释。

[@franklei9348]

少数量的高质量的数据远远比一大堆低质量的数据重要，比如，一个国家在制定政策的时候，肯定是主要参考专家的建议，对于个人，我们做重大决定之前，往往参考的意见，要么是来自知心的朋友，而不是嫉妒和想毁灭你的朋友，是来自专业的朋友的建议，而不是找市面上那些杠精的言论来做参考依据。

[@taijistar9052]

老黄是在探索方法，并非每一次的结果。

[@limjuroy7078]

4k context window length 也太少了吧😂

[@yuli.kamakura]

合成数据可能成为一种主流，想象下，未来我们看到的是机器生成的内容，也可能机器生成的是错误的

[@laniakealee]

我倒觉得现在的通用性大预言模型的路子走得有点偏. 应该让各类AI专注于专业化能力的训练, 比如专业处理视觉或者声音, 代码或者法律等等, 然后会激励相关领域专业性公司训练自己的专业性权威性AI模型. 然后应该将各领域专业的AI模块化,像零件和积木一样堆叠组合,就能合成适用于用户自己的AI模型. 关键字就是: 专业化, 模块化, 可组合. 然而目前一个更大的市场, 我认为是应该有公司去专门训练专注于机械臂路径规划和动态生成的AI模型, 抛弃什么PID算法之类的. 一旦这种能让AI掌控机械运动的AI落地, 其影响力不亚于推动又一次工业革命.

[@dongpan6728]

不对，PID是高精度控制类，跟AI是相反的路线，不能互相代替。就像大脑聪明的人，不一定对身体的控制比运动员强一样。

[@laniakealee]

@@dongpan6728 可能我的表达有问题。我的意思是，让AI利用高精度传感器以及图像设备，实时生成机械运动路径以达到现有工业控制的精度，从而替代各类PID负反馈，伺服闭环，运动补偿等算法优化数据生成机械运动路径。比如基于摄像头的智能小车，可以靠算法生成路径，也可以让训练后的AI直接生成路径。

[@Toyota3014]

人工智能还是走娱乐路线比较好

[@rogerroan7583]

340b出了個寂寞

[@looploop6612]

就听懂了开始和结尾 中间部分都没听懂

[@RyanPan-r3y]

使用合成数据，怎么突破原有模型的效果上限？

[@catchfishattexas]

大模型肯定不能靠合成数据，不然和模型蒸馏没人任何区别

[@haohsuanfu3019]

我的理解是，不完全相同，模型蒸餾強化重點特徵提取，合成數據強化重點特徵辨識/校準

[@mark708090]

老黃這是想要軟體通殺了嗎？

[@bestpartners]

一直是软硬通杀

[@back_to_the_future9187]

nvda now combine all the theories of super alignment, self generate traning data, RLHF, GPT, scaling law, plus his cuda, nvlinks, and power gpus.. AGI, ASI is coming🤖

[@simonpeter9617]

是要和openai 直接pk么

[@gpt-newbie]

如果我的理解是正確，這不是pk , 是打算「賣合成材料」的demo,

[@feifeishuishui]

有一点无法理解的是，从理论上来说，合成的数据不会增加任何新的信息，不知道如何让训练数据变大的

[@paipaiwei9602]

是的 我也是这么理解 还有就是信息密度也可能会提高但是不一定会新增吧。

[@悟空悟强]

2016年Google的围棋AI软件Alphago自我对弈产生的数据，远远超过人类所有的对局数。这应该是合成的新数据吧。

[@eaglezhou1243]

那如何解释alpha zero自己跟自己下棋，没有外界的输入， 自己的水平提高了一大截呢？我觉得合成数据的最大优势是label, 你知道生成的是啥东西。

[@feifeishuishui]

@@eaglezhou1243 那是在棋类这种规则非常确定的，评价也是输赢这种电脑一算就100%确定的知识类型，相当于电脑可以自己在虚拟平台上做实验来产生真实的新数据。实际生活里这样的数据只占很小一部分。比如动植物分类，写唐诗，判断一幅画的好坏，股市的走向等等

[@paipaiwei9602]

@@eaglezhou1243 谢谢分享 这个方面我没注意到

[@rogerroan7583]

8塊h100才跑得起來

[@牢大-x9v]

门槛直接劝退绝大多数人

[@deter3]

过眼云烟的模型。

[@lanx0652]

340B > 70B ......

[@王大大-f7u]

抠搜的老黄连个demo试玩一下都没吗

[@ypaid]

說到底還是得拼算力，玩兒花活兒沒用，無法實現AI霸權

[@牢大-x9v]

对的，如果按照常规竞争肯定是这样；但你知道有些人专攻下三路，它自己没算力可以偷，还可以抄，虽然抄不到真正的心法，但是可以抄到一个结果。就像去年帮一家国内上市公司完善大模型的数据集上的积累，直接挂着vpn去用国外AI，以英文形式去提问，再用翻译软件转成简体中文，把问题的中英双语都记录下来，再得到AI的英文反馈，并且将反馈翻译成中文后再将双语反馈信息记录下去，就这样做人工的数据采集。。。这项目持续了大概6个月...可想而知某国的大模型到底是个什么dog shit。

[@michaelzap8528]

​任何国家都有骗子。但不能高估现在人工智能的算力和算法。算力高，学习几个月就能取得最优参数权重。算力低一点，三个月不行就搞六个月，一年，最后肯定会得到同样的参数权重。 至于算法，大的框架都是公开的，大同小异，不会有多大的出入。 现在的AI,说白了就是砸钱。谁钱多，能够持续砸大钱，谁肯定胜出。

[@paipaiwei9602]

@@牢大-x9v😂狗讯旗下的就是这样做 当时收购了大量gpt4账号 榨干账号的token和额度。

[@xiaowukong]

即当裁判又当选手，nvdia真是犯规

[@RelaxWorld975]

首先除了它没别的人有能力当裁判，其次裁判也能玩球😂

[@linlin-ik7zh]

盛极而衰 ，否极泰来，才是永恒不变的

[@CJC1119]

是的，一支票不可能一直涨，好几年nvda都是在8月的时候达到了最高点，今年你怎么认为？至少现在还处于热潮中

[@linlin-ik7zh]

@@CJC1119是的，现在还有谁不看好nvidia？一致性预期非常明显了。老黄也是非常聪明的，看得出他在拼了命保持领先，非常努力。其实这也侧面印证了东亚人是十分优秀的，也是十分有创新精神的，以前的什么只会做题缺乏创新的看法是非常错误的。btw我也很看好Nvidia😅

[@linlin-ik7zh]

现在有点疯狂第五波的意思，反而apple那种不断有负面消息的上涨才是稳健的

[@linlin-ik7zh]

@@CJC111923年前是元宇宙，挖矿等等，这两年是ai，将来我预计还会有AR的发展，但一家独大不太可能，apple将是非常强的对手，我预计Nvidia的最强对手将在中国诞生

[@linlin-ik7zh]

还有最最关键的是我认为现在的AI严格来说是“超级软件”。而Altman想赚钱，而一个想赚钱的公司是产生不了AGI的

[@chunchengxu419]

大概是 人工智能开始有想像能力了

[@Toyota3014]

人工智能还是走娱乐路线比较好

[@sonygodx]

没有多模态，没有长上下文，吹上天都没用，实用性不大

[@michaelzap8528]

模型本身可以训练多模态，最后形成统一的embedding。 没有上下文，怎么可能呢。attention的就是基于上下文，这是它的第一原理。 老黄这个模型的厉害之处是，它可以批量制造成千上万的爱因斯坦，钱学森，等等科学家。批量设计制造成千上万的人类闻所未闻的各种新的诸如窝散发动机，导弹，无人机，高铁。。。

[@ngovincent495]

他家的产品不便宜，买了一块后期要升级还要被逼买回他家的产品。

[@kmkwong]

👍👍💪💪👏👏