雨天周末， 不念念念书不念念学习好色， 就念念扯淡.
先吐个槽， 最近看到某DPU厂商80亿估值然后因为各式原因玩不下去了的公众号著作， 然后还有一个会还在商酌DPU怎样怎样的....我还记起三四年前和某个机构一皆基本上把这些厂家都调研过， 那时就抑止的diss这群东谈主没念念明白， 但似乎几年已往依然没念念明白.
不外最类似乎念念明白了极少为啥叫DPU了， 从Pradeep在互联网泡沫时期创建的Juniper， 到背面下野创建Fungible， 其实DPU的真义是从收罗需要处理数据的视角界说的， 关联词到自后闲隙演进的历程中， 老黄把DPU的看法发达光大后， 发现这词依然有问题， 这不又SmartNIC和DPU都无法界说， 又运行造出了一个SuperNIC了么?
倒是Tesla东谈主间认识的一个DumbNIC讲的很显露， 正途至简趁便还把HBM-Disaggragation搞了...
回到正题， 在算力通缩情况下， 老黄如何督察或者进一步冲高到五万亿市值是一个很真义的话题，是以今天从经济学的角度扯个淡...渣B也没庄重的读过经济学的书， 另一方面关于建模的量化数据因为合规原因， 没出奇据也没专门愿去了解数据， 因此也不作念过多的分析了， 仅仅单纯的扯个淡远程.
1. 什么是算力通缩上周一篇《把GPU当成一个金融居品如何加杠杆?》谈到了算力通缩(computility deflation，以下简称CD)， 最初咱们来给CD一个界说:
算力通缩(computility deflation，CD):在经济学中， 通货紧缩是指商品和劳动总体价钱水平的下落. 从算力的角度来看， 咱们也不错界说平均1GFLOPS的价钱算作GPU和算力劳动的总体价钱水平.
就算力劳动价钱(以租用H100等GPU)的价钱来看， 总体价钱是不才降的. 举例H100的房钱价钱从4好意思元一小时如今降到2好意思元一小时一下. 而从GPU自身的商品价钱来看， 国内一些H100的整机价钱也从早期的300多万降到了220万.
2. 经济学的悖论一般来说， 咱们简便的以经济学中的IS-LM模子来看， 也就是说供给加多或者需求下落或者两者同期发生引起的. 简便来说就是供给过量(过量坐褥)，需求低迷(消费减少)， 或者是信贷紧缩等带来的货币供应减少而产生的.
天然有另一种不雅点是， 通缩和经济中的技巧向上联系， 跟着全身分坐褥率的栽种， 商品资本会下落. 也就是老黄期待的需要一年一代新卡来训斥算力架构.
有一个悖论的场地是H100售价3万好意思金，而物料资本能够只须3000好意思金， HBM资本占了2000. 在算力通缩配景下， 如何能够合手续性的督察高Margin， 同期还能通过抑止的迭代加多营收来冲高市值?
归根结底依然要回话一个问题: 好色钱从哪儿来， 钱盼愿的收益率弧线是什么?
从货币供应的角度来看， 针对AI的投资并莫得减缓， OAI这一轮的融资还算往往， 然后H100/H200的需求还在合手续， 国内各地的“智算中心”模样也还在合手续的树立中. 然后众人来看Blackwell也供不应求.
关联词反过来看有一个很真义的不雅点， 到底是谁在为这些投资买单? 钱从哪儿来的?投资酬谢率怎样臆想? 杠杆率是些许?止境是从算力提供方来看， 算力自身由于技巧迭代产生贬值非常快(算力劳动价钱和算力商品价钱都在加速下滑)， 既然算力通缩配景下， 为什么不延长消费， 再等等新卡? 另一方面关于基础智商干涉的杠杆加在什么场地? 使得智算中心树立的ROI如何筹办?
最近还有一种不雅点是在互联网泡沫时期的基础智商为自后互联网蕃昌发展奠定了基础，止境是巨额的海底光纤的资本在后期是完成收转头了的. 关联词关于智算中心的资本， 偶而要在几年后收回从投资酬谢率的角度是很难， 对此我一直合手相比负面的魄力， 只须少数几家范围大有可能收回一部分， 关于它们来看， 算力投资的风险并不是太大.
巨乳动画azure， 微软通过OAI投资和更表层的copilot业务收入不错填补， 同期也在布局我方的推理芯片Meta，巨额的H100通过Llama的生态以及里面的推选系统不错摊薄资本， 同期也有我方的推理芯片AWS Trainium/Google Trillium(TPU)的供应量具体数值不显露， 关联词至少Google自家的搜索等业务依然有巨额的算力消费的.Tesla的自动驾驶， 字节等企业的搜广推以及视频生成等业务上， 巨额的H100的消费试验上也不会带来很大的亏蚀.至于各地树立的各式智算中心， 是不是过两年要运行不良钞票处置了呢? 不良的界说和订价还分两种情况
1. 不良算力(空格) 钞票处置
2. 算力(空格)不良钞票处置
即不良算力自身的评估: 先还不要说那些各式以DSA卡树立的算力集群了...简便的以NV H系列卡为例， 初期许多东谈主以为买点机器转头插上电给个照顾口IP地址就不错卖了， 然后发现收罗树立也需要跟上， 还有就是踏实性和故障运维， 紧接着发现淌若要寻推一体， 又要搭一个存储集群， 然后还有互联网带宽...
另一个问题是: 算力通缩和不良算力以及算力不良自身是否有很大的关系， 需要验证一下?
3.算力的杠杆杠杆的产生常常是在时代维度上带来的， 举例在期货商场上通过保证金来对远期交割物杀青一个条约， 另一方面就是关于大型基础智商树立通过融资租出的神情. 实质上依然要在近期创造出一个巨大的需求， 然后通过远期相对详情的现款流来完成.
而实质上惩处通缩的步调能够就是: 加多货币供给， 以及扩大总需求.
3.1 Scaling-Law: 需求的创设
最简便昭彰的需求创设就是老黄经济学中的“The More You Buy， The More You Save”.
从pre-train scaling-law构造了一个雄伟叙事: 从千卡的A100到万卡的H100再到10万卡的锻练， 但很光显的是OAI在GPT-5的锻练上遭遇了蛮大的艰难. 但在总共这个词杠杆赌局里， 莫得一方会那么容易的平仓认输， 甚而于Inference Scaling-law的出现.
另一方面这样的杠杆也在吞并着商场里的玩家， 花一个亿预锻练的模子成了贬值最快的商品， 更大的模子有几家跟? 国内所谓6小虎的情况以及前几天刚爆出ST的裁人..
3.2 供应端的流动性紧缩
关于供给过量的问题， 最初来谈一谈存量商场. 其实H100的存量商场会清洗出一巨额玩家， 关于H100的估值可能还存在争议， 那么咱们以现阶段对一些A100/A800算力中心的不良钞票估值该怎样作念? 这些需要沟通算力的时代价值和资金的时代价值. 咱们单独放一章来谈.
那么咱们来谈另一个话题， 为什么新卡的供应上， 微软等几个巨头要疯抢GB200? 一方面是后一节讲的算力的时代价值， 新卡出来的前几个月的需求是曲常隆盛的， 同期带来的流动性溢价会产生更好的短期现款流. 这对算力商品提供方(NV)和算力劳动提供方(Azure等)都是成心的， 关联词前提是要构造出满盈的需求来支付这样的短期现款流，那么也就只可进一步的找一个算力消费方， 然后通过更远的现款流预期在惩处期限错配的问题.
4.算力的时代价值既然上了杠杆， 那么资金的资本和对应的算力通缩下算力的时代价值就是一个咱们值得探讨的问题.实质上许多机构对大范围投资的短期酬谢闲隙产生质疑和丧失耐性了， 毕竟ChatGPT也出来快满两年了， 关联词巨额的投资似乎还暂时看不到酬谢.
另一方面跟着时代的荏苒， 当年抢购的H100闲隙出现商品价钱和劳动价钱的快速下滑， 这也让一些算力投资方闲隙感受到了风险， 接下来跟着Blackwell的出现， H100的贬值速率还会进一步加速， 总共这个词H系列的资本摊销周期似乎和两年前量度的周期也在训斥.
也就是说试验上算力价钱的TimeDecay速率远止境了当初投资的现款流模子， 这种期限错配产生的不良钞票处置， 是一个非常真义的话题， 关联词就点到死心吧.
5. 谈谈货币投放受限下的算力通缩其实写了这样多并不是说在反对Scaling-Law或者说是看空AIGC， 其实任何新技巧的出现都是丑陋且反直观的， 关联词算力的问题除了基础智商迭代外，更多的依然需要算法去惩处. 渣B以前的量化算法复杂度从刚运行商酌的时候亦然因为筹办复杂度基本上一次全量筹办需要30天傍边， 因此从阿谁时候运行就在折腾一些并行筹办的框架， 关联词自后依然算法上的优化惩处的问题.
而关于这一次AIGC来看， 从根柢上我合手有一个怀疑魄力是新的数学用具并莫得利用于模子之上， 这个凯旋决定了面前生成式大模子的天花板， 固然面前的天花板满盈高满盈容纳许多念念象空间. 但老是以为那边隔离， 举个例子吧， 举例为了收罗范围和深度承袭LayerNorm等带来的探望内存压力，是否有更好的算法来惩处?
另一方面是基础智商上， 是否有不需要NVLink， 不需要CoWoS， 不需要HBM的基础智商， 哪怕是锻练不可， 先撸一下对算力需求相对较低一些的推理场景? 举例苏妈出一个多带极少PCIe接口的多带一些GDDR的家用级显卡， 况且放开GDR， 让一些买不起H100又要作念大模子商酌的中小范围团队先用起来，放低一下姿态委果是生态不可， 不谈rocm， 光拿来给NV作念内存池的二奶都行? 在NV带来的流动性紧缺上绕开CoWoS和HBM， 从而翻开一个冲破口， 即就是数据中心卖的不好， 撸掉NV家用卡RTX的商场亦然功德?
能够就瞎扯这样多吧， 其实蛮但愿若干年后， 咱们能对这一场杠杆局作念一些总结和追思， 止境是监管层的视角.历史固然不会简便的叠加， 关联词每次都会押韵.
本文开头：zartbot，原文标题：《算力通缩下的“老黄经济学”》。
风险指示及免责条目 商场有风险，投资需严慎。本文不组成个东谈主投资提出，也未沟通到个别用户特殊的投资宗旨、财务景况或需要。用户应试虑本文中的任何意见、不雅点或论断是否合乎其特定景况。据此投资，背负自夸。