深度解读英伟达B200 GPU

黄仁勋还有多少「核弹」没释放？深度解读英伟达B200 GPU 大刘科普 120K subscribers Subscribe 2.1K Share Download Clip Save 139,304 views Mar 23, 2024 这期视频，我们来深入了解下英伟达前不久发布的最新算力「核弹」，B200。我们要解决的关键问题是，英伟达是如何唰的一下子，给到了这么强大的AI加速器。首先，我们来看下英伟达历代的架构。在这些架构中，英伟达率先从Kepler开始，打响了数据中心GPU的第一枪。早在2012年就推出了基于Kepler架构的Tesla K系列GPU。随后，在Pascal架构中推出了Tesla P100，在Volta架构中推出了Tesla V100。从Ampere架构开始，英伟达取消了Tesla前缀，推出了A100；在Hopper架构中推出了H100。这些是英伟达针对数据中心，也就是AI加速和高性能计算领域推出的GPGPU。而如今我们迎来了最新一代的架构，Blackwell，是以美国一位数学家命名的。 Nvidia Blackwell GPU In Depth, Artificial Intelligence Meets The Most Powerful Accelerator On Earth. 大刘科普 120K subscribers Videos About 225 Comments rongmaw lin Add a comment... @DiedLiu 2 months ago 最後的一段話是重點，訓練部分目前看來Nvdia GPU是可預見未來內看不到對手，但是推理部分，不同架構競爭對手是有機會搶市場的。 15 Reply @yu-mingchang2256 2 months ago 大劉真的牛，謝謝你的解說 16 Reply @jammiec.4612 2 months ago 8:15 总之就是一个字——大力出奇迹 21 Reply @dragonfuintw88 2 months ago 老黃說了~~新的GB200的能力~~ 訓練即是推理~~上季財報推理能力的市占40%以上~~加上輝達自家開發已久~~越來越多功能的軟體服務的護城河~~別家要做出比的過輝達GB200的推理能力~~是有可能? 但是要花多久時間~~花多少錢完成? 使用上順不順? 穩不穩定? 有多少客戶能冒險接受輝達以外的產品? 10 Reply 1 reply @cywei3529 2 months ago 非常有幫助的視頻 感謝分享 3 Reply @weiyi0609 2 months ago B100 根據黃的說法是訓練推理都能用 而且nvda也有能力為顧客客製晶片（ASIC) NVDA成本那麼低利潤那麼高 到时就算有竞争，只要降一降價競爭者也難存活 当然各大云计算业者也会想养第二个供应商（AMD 或自家ASIC) 不能让NVDA随意开价 14 Reply 6 replies @Wanise1987 2 months ago 非常清楚 5 Reply @gomask 2 days ago 所以黃仁勳的強大不完全在於他的GPU晶片比起其他各種新創AI晶片例如Cerebras WSE-3是否領先，而在於他掌握結合了台灣相關供應鏈廠商來形成強大的台灣隊，沒有這群台灣廠商共同的合作，其他的AI晶片再強也無法組合成規模龐大的AI算力工廠。 Reply @vvikimo 2 months ago 厲害， 超流暢啊。 7 Reply @hzm779 2 months ago 看到有的视频评价老黄其实是个营销高手，他很喜欢追逐前沿技术，并且不予余力地推销自己的产品，有点像巅峰期的孙正义，或者巅峰期的苹果 39 Reply 8 replies @johnroberts5225 1 month ago 真心希望大刘聊聊看好的ai 公司，万分感谢 1 Reply @user-xe7vt1uj1f 2 months ago 谢谢分享！ Reply @Mems12342 2 months ago (edited) 這種兩個die整合成一個晶片是基於台積電的封裝技術!以前的AMD 的64核CPU,是由8個８核die與1個IO die整合而成, 台積電的CoWoS技術能整合Chiplet技術發展很久了，以後８個互連對台積電來說也可以克服．．． 5 Reply 3 replies @paklulu5218 2 months ago 认真学习 2 Reply @ngweisoon4809 2 months ago 其实如果AI的能力持续非线性成长，CUDA 的护城河是不是也没有那么深了， 因为大厂能用比较短的时间写出CUDA 的替代品？ 如果不能， 是不是代表其实AI 离真正落地其实还有很远？ NVIDIA 的成长可能不是那么sustainable? 3 Reply @yangminghuang1509 2 months ago 挺有深度的技术分析!能否分析一下英特尔的制程技术现状和竞争力？ Reply @user-nu9vj4hg6p 2 months ago 可能到後來AI處理架構的解決方案也會類似之前CPU的複雜指令和精簡指令之爭一樣-架構合併，一處理器中含有多種處理單元，各自在擅長領域運行，共同完成運算。 Reply @boonsingthia2336 2 months ago 希望大劉可以cover推理部分，能够和nvida競爭的是那些架構。 2 Reply 1 reply @wpgc2 2 months ago Congrats for surpassing 100k subscribers! 1 Reply @licson0729 2 months ago 不知道怎麼看待新的 Cerebras WSE-3 呢？他耗電量是 DGX GB200 NVL72 的 1/5 但是算力基本上一樣呢 模型訓練能力最高能到 24T 參數的 1 Reply @kerwinliao8641 2 months ago 長遠來看，輝達的瓶頸也是人類的瓶頸；目前看來，短期內也沒別家廠商能超越，輝達還不需我們旁人替他們擔心，其他想追上的廠商才更需擔心自身的瓶頸呀！ 4 Reply @user-id5oz3me1s 2 months ago 阿婆主,以你的专业解读,5090游戏卡是否也到了一种瓶颈,未来不采用拼接方式的话,50系60系最高阶是否能完成比上代提升50%以上的提升?单从游戏性能或者结合ai算力性能?求解答,谢谢 1 Reply @BiyaPayUsstocktrading 2 months ago 赞 Reply @OAAGOD 2 months ago 下一步量子计算训练大模型突破时间瓶颈 1 Reply @annecylevieux8965 2 months ago 我ㄧ個字都聽不懂但欽佩黃仁勛的堅持。 3 Reply @HJKO2 2 months ago Transformer 本身在處理 long sequence 內容太沒效率，且會佔用大量的記憶體空間，新出的deep state space model (MAMBA)模型看有沒有機會改善這種只有有錢人才能玩得起的訓練方式。 3 Reply @son0011 2 months ago 感覺和蘋果的很像！都是一個思維方式 3 Reply @jobelou2805 2 months ago 建议结果用图表对比 1 Reply @user-cp6es5oq6t 2 months ago 有看到應用了嗎 2 Reply @taieric8978 2 months ago 對比下是否量子電腦快過英伟达B200 GPU 1 Reply @tangtienji 2 months ago 有人能告訴我，，那個用一片12吋wafer只做一個晶片成品的事是怎麼做到的？ Reply @user-kx9yq6nr4f 2 months ago 一个Tensorcore 不就是一组cudacore吗 那多用几个cudacore不也一样吗 Reply @HONG-ow2kh 2 months ago 推理沒有定案，因為不像nvda一樣有獨有市場 1 Reply @user-nt7rq1po9r 2 months ago 我是英伟达的投资人之一，如果英伟达赚钱了，我的身价也会跟着水涨船高。 1 Reply @candygirl0223 2 months ago Nvidia可能單獨開發類似TPU的晶片嗎？ Reply 1 reply @atehe9589 2 months ago 意思就是技术上没有什么进步，但是设计变了，可以做大一些，可以把2个组在一起。看样子半导体的制造技术的确接近到头了。 1 Reply 1 reply @ntr1381 2 months ago 戰略核顯卡 2 Reply @yifter4043 2 months ago 下一代應該是NV第一次使用Si-Pho Reply @Willdragon2008 2 months ago 老黄将来会是比肩Steve jobs 的行业领跑者。他的气势现在已经天下第一，超越了苹果的库克和巨硬的印度籍CEO 2 Reply 1 reply @lphiro5602 2 months ago 类似tesla 道场架构 Reply @linlinhe9864 2 months ago 再讲一期AMD吧 1 Reply @user-ej2tv6zh2t 2 months ago (edited) 聊聊未来端到端全视觉方案如果接近完美。会怎么样 3 Reply @minglu7598 2 months ago (edited) 5:36 擺拍 Reply @user-yx1bf8wv5z 2 months ago 老黄是营销高手 2 Reply 1 reply @user-tr1zf7gi6s 2 months ago 应该多谈谈AI应用。 4 Reply @jerry51311 2 months ago 推理領域是負責什麼的？ Reply @zohar6006 2 months ago 兩個die之間就是靠NVLink連結的 Reply @user-wm3hw6jy5l 2 months ago 以推理來說 通用GPU的架構 肯定比不上專項發揮的電路 2 Reply 3 replies @Dixx10046 2 months ago NV向aaple的M係cpu學習堆料技術 Reply @florentj9456 2 months ago 我只關心nvda還能漲多少 1 Reply @mjk7530 2 months ago 算力決定 AI Reply @tianchudang6242 2 months ago 请问推理芯片有什么公司/股票值得关注呢？ 3 Reply 3 replies @caocaohehe 2 months ago 历史证明游戏产业的重要性 1 Reply @user-xi8kf5wy9k 2 months ago 说话能不能严谨一点，MVlink switch的连接速度是1.8T不是1800t Reply @xiongdes 2 months ago 总结：差不多可以卖了 2 Reply @dl0_0 2 months ago 可以添加英文字幕吗？ Reply @bopan6857 2 months ago mi400有的打吗 Reply 2 replies @shaoyingwang 2 months ago 英伟达同特斯拉比较，相对应的在汽车自驾应用的水平差距如何? 在这方面，特斯拉同英伟达从最初的合作伙伴关系，渐发展成竞争关系: 特斯拉不断地向上游深挖，英伟达带领着特斯拉的竞争对手不断地向下游深挖。 做为特斯拉的投资者，很关心特斯拉的fsd, 比较英伟达支持并参与下的竞争对手的自驾系统，其领先地位如何? 尽管马斯克去年说其fsd的下位竞争者还看不到影子. 今年三月，在特斯拉fsd12.3版及英伟达blackwell的B系列 脚跟脚地launch之后，特别是英伟达与比亚迪及众多新能源车企在此方面日益紧密的合作下，很关心特斯拉fsd的competitive strength 到底有那些，还可以维持多久，这将是决定特斯拉命运的一个关键要素之一。请大刘客观地谈一下。 3 Reply 5 replies @QuirkMovieExplore 2 months ago 再下去都不能称为显存了 3 Reply @user-kb6lt3hw6w 2 months ago add disk to gpu Reply @idontknooo188 2 months ago 大刘说说 B200这种东西Apple公司能做吗 Reply 1 reply @syletie 2 months ago 估计华为又傻眼了 5 Reply @user-fh9vy3th8x 2 weeks ago 哈哈，单核到头了，开始搞双核了 Reply @PeterPan-rr6qg 2 months ago 大刘：黄总打钱…… 1 Reply @suningtech 2 months ago 是不是核弹不知道，反正以后在后面不接个核电站是会自动降频的 2 Reply 2 replies @lionsham8181 2 months ago 据说gpu的难度没有制程大，各位大佬说说看是这样吗？ 2 Reply 1 reply @henrygu6149 2 months ago 大刘聊聊在算力方面，华为如何实现弯道超车？ Reply 2 replies @yl8698 2 months ago 謝謝分享！門外漢去買相關美股就對了。公司儘管去燃燒無數的肝和腦，我還是好好當股東坐收其利就好了。 1 Reply @fsteam2176 2 months ago 有听懂的吗 Reply @user-we3om3ek1z 2 months ago 不明觉厉。 Reply 1 reply @georgechang4163 2 months ago 數據搬運限制？那是你的知識不足。OPT 的矽光片會與GPU 結合在同一個 Die 裡面，而 Die 與 Die 也可用矽光片互連。SOT-MRAM 也備妥了。 6 Reply 1 reply @taieric8978 2 months ago 英伟达 遲早要用核電廠先能供電 Reply @candygirl0223 2 months ago 下次是超過一兆個電晶體的晶片嗎？ Reply 1 reply @haoosc5017 2 months ago 天天载入史册，震惊人类，类人之光，改变世界。 Reply @timh3365 2 months ago 之前一直觉得NVIDIA的东西太贵了不值得，但是看到视频里面芯片的面积后，我觉得价格可以接受了。。。。 那么那么大，良率必然高不了，买那么贵是有道理的。虽然就算如此他们利润非常非常高，但是。。。。 真的很难，利润不高也支撑不了后续研发了。 Reply 1 reply @DULENSHK 2 months ago 還沒看到現在所謂的AI有什麼革命性作用 Reply 1 reply @paulyi729 2 months ago 有什麼實用的產品嗎？ChatGPT and Sora 的用途是？ 1 Reply @Ocean-nz3cg 2 months ago tsmc，3nm=Fin Fet，2nm=GAA Fet，1nm=C Fet Reply @user-fi1bv3xo2y 2 months ago 如果你認真研究顯卡產業，你就會發現，老黃永遠留2手，非常可怕 Reply 1 reply @xiaolong174 1 month ago 为什么不这代就四个Die拼接？下代就八个Die。。。 Reply @lokiice 2 months ago switch 是交换，不是路由（route） 3 Reply 1 reply @WuJackme-ui4kg 2 months ago 最新的B200還是四奈米，而不是三奈米制程 7 Reply 6 replies @user-bz6hg1pt1r 2 months ago 算力這麼'強 比特幣會跌嗎 Reply 2 replies @user-rr9to7lm5u 1 month ago 让天网去开发天网吧 Reply @waffenss1234567 2 months ago (edited) 據估算B200是華為昇騰AI晶片910B效能的14倍, 不過實際差距可能更大，是能與不能， 因為910B集群能力只能滿足GPT3水準的訓練參數 理論上算力可以用數量彌補，功耗可用補貼彌補，但集群規模就是不可改變的差距 所以黃仁勳說： 就算競爭者的晶片都免費，它們依然不夠便宜 趨勢不夠強就是”0” 你訓練AI不可能縮小參數,也不可能拉長時間來做. 因為強者沒在等你 Reply @haoransheng6916 2 months ago 10分钟听完脑子都烧干了还是只理解了皮毛 Reply @leehuat5945 2 months ago 4np其实还是5纳米 1 Reply 3 replies @johnchen6783 2 months ago 不用3nm是因為輝達用4np就能屌打所有對手，根本用不上相對貴的3nm， 而輝達在3nm也早就開始跟台積電合作了，從開始研發到量產，過個一年都算正常的時程 1 Reply 4 replies @hsujack-sl4wu 1 month ago 講話真的很快 聽起來有點吃力 Reply @user-br8kk3nz8d 2 months ago 大刘，能不能说说这对中国的影响？ 1 Reply 4 replies @twgreenplus 2 months ago (edited) 高耗電是AI的敗筆，也是結束人類的開始 Reply @chenchen8173 2 months ago $$$ 大錢出奇蹟, NVDIA 繼續強大 Reply @user-wl5nl8gr5p 2 months ago 叫meta不要買太多B200要不最近老當掉 Reply @weizhongshi4820 2 months ago 每次听大刘聊完技术都会陷入深深的焦虑感觉自己马上就会被淘汰了 2 Reply 3 replies @junlee9153 2 months ago open ai要投资7万亿美元搞芯片，这对英伟达可不是个好消息 Reply @Angiela522 2 months ago 我们是台湾公司销售英伟达全系列产品，需要的请私我，谢谢。 Reply @hectord4693 2 weeks ago "Promo SM" Reply @user-rh8kv4mc9n 2 months ago 感觉完全听不懂，要能通俗易懂一点就好了。 Reply @cmLing 2 months ago 就算有再高的科技，也要孤芳自賞了！ Reply @user-fr3vs4ub9s 2 months ago 说了等于没说 还是不懂 Reply @user-wr5yp3mm8q 2 months ago 你任為AI何時會統治人類？ Reply @user-lu6lz6rc7z 2 months ago 二年后过来鞭尸 1 Reply @user-lx1hk5pu3s 2 months ago 華為遙遙領先 Reply @fisher5376 2 months ago “断崖”是对下跌的形容 1 Reply @taijistar9052 2 months ago 中国追上西方技术有可能，但追上华人加西方难度巨大！ 9 Reply 3 replies @user-ds1yg2of2k 2 months ago 說說大陸 有哪產品是這類呢? 1 Reply 2 replies @user-qu9yy5ew9m 2 months ago 肯定的是，屎册 Reply @MoveCax 2 months ago 过时还尚早。问题是现在没有一个公司可以取代超越代英伟达。 Reply @karlshomekitchen 1 day ago 關於推理競爭對手基本就是正確廢話 Reply @wayne92600 2 months ago 又被中國學過去了，中又贏 Reply @Army-8888 2 months ago 一点屁用没有的ai Reply @user-urwedfvftgfr228 2 months ago 台積電最大的問題是外資占比太重,沒有屬於自己的核心技術,說白了,台積電就是顆韭菜,美資隨時都可以收割,台灣年輕人都看懂了,所以才紛紛離開台灣,前往柬埔寨打工,倒是台灣老人看不清形勢,將外企當成自己的,真是有夠可悲 Reply @bglabgla 2 months ago 我看英特爾真的要完蛋了，唯一最賺的伺服器市場已經被AMD吃掉一大塊了，現在又有NVIDA背刺 Reply @habo168224 2 months ago 說不定他已經有一個鋼鐵人了 Reply @georgechang4163 2 months ago 講這麽多，不如 Jensen Huang 一句話，只有台積電能生產製造出來。 5 Reply 4 replies @mm2242ww 2 months ago 黄仁 Reply @kenwong2307 2 days ago 算個吊，華為瞬間能超越Nv Reply