新闻中心
新闻中心

英伟达H100海外租金大降 但说“算力泡沫决裂”为时过早

来源:新闻    发布时间:2024-10-28 12:05:23

  H100 GPU海外租金价格降至2美元/小时”的文章敏捷在国内传达开来,商场也纷繁环绕“算力泡沫是否开端决裂”“H100算力不香了”等论题进行评论。

  此前美国一家AI推理服务供货商Featherless.AI的联合发起人Eugene Cheah撰文表明,最近频频收到算力租借商的广告邮件,称单张H100 GPU的租借价格降至大约2美元/小时,乃至更低,比较2023年5美元/小时左右的商场均价几近腰斩。

  上一年时,曾猜测,4美元/小时的GPU价格会在4年内坚持不变,但不到1年半就走向了降价。

  Eugene Cheah在文中称,像AWS、Meta、谷歌这样的大型与中型AI模型公司,已经过长时刻租借榨取了算力价值。眼下,除非是要树立大型智算集群的公司,不然不要购买全新的H100,“租算力”是更经济适用的挑选。

  商场遍及认同H100海外降价的趋势,但以为“2美元/小时”,乃至“1美元/小时”,首要是Lambda Labs等单个草创算力租借公司为招引客户搞促销,不能反映商场均匀价格水平。

  界面新闻记者阅读亚马逊AWS云服务途径官网时发现,依照短租和长租不同条件,以一台服务器8张GPU换算下来,H100的最新价格有12美元/小时(按一年长租签约)、5美元/小时(按三年长租签约)两种不同的档位。另一家云厂商谷歌云相似产品的价格也在10美元上下。

  国内一位从事AI算力租借事务的职业人士告知界面新闻记者,海外H100降价的逻辑很简单了解——跟着英伟达的GPU新品H200、B200本年连续开端上市,新品功能更强,均匀算下来H100算力本钱相对更低,本来的旧产品天然需求降价,差别只在于降价起伏和速度。据他了解,5到8美元/小时,更能代表现在海外干流途径的价格水平,也契合英伟达此前猜测的产品价格走势。

  该公司CEO黄仁勋本月在参加一场研讨会时泄漏,B200 GPU近期开端量产交货后备受客户喜爱,未来12个月的Blackwell架构GPU订单已悉数售罄,任何新客户要比及2025年才干收到产品。

  “国内的状况与海外不同,因为英伟达高端显卡禁售,很难拿新品,走的是另一条不同的路。”上述的人表明,海外降价对国内基本上没有影响,现阶段,国内算力租借商场最大的问题仍在于供需失衡,“国内算力资源极度涣散,大多时分都是卖家找不到买家,买家也找不到卖家。”

  据界面新闻记者了解,国内用于练习AI模型的算力资源,除了AI GPU H100、A100之外,还有英伟达的消费GPU产品4090,以及不同厂商的国产AI算力。

  一起,国内从事算力租借的公司稠浊,产品服务与价格缺少一致规范,罕见像海外的AWS、谷歌云那样,可以向客户供应规范化租借服务的公司。

  还有多位商场人士向界面新闻记者表明,国内算力资源租借的服务器价格本年确有动摇。一台H100服务器,年头的商场报价在12万元/年左右,现在的市价大概在7万元。

  一家曾参加国内某地方政府建造智算中心的科技公司CEO说到,因为字节跳动、阿里、腾讯这些互联网巨子把握的算力资源首要供自家大模型运用,很少能面向揭露商场供应租借服务。现在商场上绝大多数从事算力租借的厂商都是在卖服务器硬件,没办法做到像曩昔的云核算厂商相同,供应规范服务、一致定价。

  “这些算力租借服务商大多数是因上一年算力需求暴升囤了一定量的AI服务器现货,然后把算力硬件当作‘期货’炒。为了可以更好的确保硬件回本,他们极罕见能真实按小时计价来灵敏地供应服务,许多订单都要按1年乃至更长时刻起租,折算下来是一笔不小的本钱。”这位CEO以为,国内商场降价首要影响的是这批“投机客”,他们手中的硬件财物在价值降低。

  另据两位AI服务器的出售人员泄漏,现在国内非揭露途径流转的少数H100服务器,现货每台价格在240万元-250万元上下,比较上一年近300万元的价格有所跌落。

  在上述科技公司CEO看来,仅经过H100的价格起浮就预言“算力泡沫决裂”为时尚早。

  就供应而言,与Meta、微软、特斯拉这样已具有数十万张H100 GPU,且仍持续加大收购的海外算力巨子比较,国内算力总量有限,各地仍在赶紧投入建造智算中心。政府本年对算力建造的投入方向仍是建议“适度超前”来添加供应。

  而从需求视点看,无论是AI大模型练习仍是推理,以及支撑传统企业经过AI探究事务转型,先进的算力资源始终是商场上的“抢手货”。

  “商场上真实有资源、有实力建造算力中心的客户仍是很少数,本年触摸的很多客户关于平价、安稳且按需调用的算力仍是极度渴求。”该CEO说道。