ごみため(ー日ー膳!)マイナス

不連続都市伝説シリーズ:データセンターのGPUは6年も使える?

お米の国の巨大テック企業(マイクロソフト、グーグル、尼損)の決算書を眺めていると、実に興味深い数字が目に留まります。

AIデータセンターに並んでいるサーバーや半導体(GPU)の「耐用年数(減価償却期間)」を、これまでの3〜4年から「最長6年」へと、こっそり延長しているのです。

耐用年数を伸ばせば、1年あたりに費用処理する減価償却費がガクンと減りますから、帳簿上の営業利益が何千億円もポーンと跳ね上がります。

「半導体チップにはモーターもファンもついていない(可動部がない)のだから、6年くらい平気で動くのだ」というのが、ウォール街に向けたもっともらしい解説だそうです。

ほんとうにそうなんですかね?

9年前にも、似たような世迷言を見かけて半導体の寿命について書いたことがあります。以下をオオサンショウウオ。

不連続都市伝説シリーズ:半導体部品に寿命はない

***

ここで、昔ながらの電気屋の常識と、中学校の物理を思い出していただきたいのです。

半導体素子というのは、電気を食って熱くなったり冷えたりするたびに、シリコンと基板がミクロの単位で膨張・収縮を繰り返します(熱サイクル)。

チップの裏側には何千個もの微細なハンダボール(BGA)が並んで基板にくっついているわけですが、消費電力700W(H100)だの1000W(Blackwell)だのという電気ストーブ並みの熱密度で24時間フル稼働させられ続ければ、ハンダに疲労クラックが入るのは時間の問題です。

おまけにナノメートル単位の極細配線に超大電流を流し込めば、電子の衝突で金属原子が物理的に吹き飛ばされて配線が切れる「エレクトロマイグレーション」も確実に進みます。

実際、メタ(Meta)が大規模言語モデル(Llama 3 405B)を事前学習させたときのインフラ報告書を素直に公開していますが、1万6,384基のH100を並べた巨大クラスタにおいて、わずか54日間の学習期間中に 419回もの予期せぬハードウェア障害 が起きていました。

割り算をしてみてください。

54日間 × 24時間 = 1,296時間。
1,296時間 ÷ 419回 = 約3.1時間に1回 です。

およそ3時間に1回のペースで、どこかのラックのGPUが物理的に煙を吹いてクラスタから脱落している計算になります。

しかも故障原因の約6割(220回)は、GPU本体と、横に積層されている高帯域メモリ(HBM3)の物理的な不具合でした。同じ期間中に壊れたCPUは、数千台の中でたった2個だけです。

3時間に1回どこかで死んでいる機械を指して、「可動部がないから6年持ちます」というのは、ずいぶんとファンタジーな算数ではありませんかね。

***

「いやいや、最先端のモデル学習で使い物にならなくなっても、型落ちしたGPUは軽い推論タスクやバッチ処理に回せば、6年間しゃぶり尽くせるのだ」

という、もっともらしい反論もあるようです。

しかし、そこには物理的な故障の前に、もう一つの冷酷な法則が立ちふさがります。

14年前に書いた「ムーアの呪い」です。以下をオオサンショウウオ。

富の源泉2010年末特別編:ムーアの呪いとの闘い

AIデータセンターの最大のボトルネックは、建屋の床面積ではなく「受電できる電力容量(メガワット枠)」です。

エヌビディアは2年ごとに新しいアーキテクチャ(Hopper → Blackwell → Rubin)を投入し、消費電力あたりの推論性能(FLOPs/Watt)を2倍、3倍へと引き上げていきます。

受電枠がカツカツのデータセンターにおいて、「電気ばかり食って処理の遅い3年前の旧型GPU」をラックに居座らせておくこと自体が、同じ電気で何倍ものトークンを吐き出せる最新GPUを設置できないという莫大な機会損失(逸失利益)を生み出します。

物理的にはかろうじて通電していたとしても、毎月の電気代の請求書を見た瞬間に「ラックから引っこ抜いて捨てた方がマシ」になる。

これがハードウェアの「経済的寿命」です。

つまり、耐用年数を6年に引き伸ばすというのは、いずれやってくる減損損失を遠い未来へ先送りにして、今期の営業利益を綺麗に見せかけているだけの会計手品にすぎない気がします。

#まあ、AIバブルの真っただ中に減価償却費を正直に計上して利益を減らす経営者はいませんからな 笑

ツイッキー:

映画『マネー・ショート』のモデルになったマイケル・バーリ氏も、ハイパースケーラーのGPU減価償却6年延長を「過大評価による見かけの利益水増し」と警告していましたが、決算書の数字はエクセルでいくらでも引き伸ばせても、シリコンの微細配線と熱力学の法則は人間の都合に合わせてくれません。

脚注:

Over the course of the 54-day training period, the cluster experienced 466 total job interruptions (47 planned maintenance, 419 unexpected failures). More than half (58.7%) of the unexpected interruptions were directly tied to GPU-related hardware issues, including general GPU/NVLink hardware faults (148) and HBM3 memory failures (72). In contrast, only 2 CPUs failed during the entire run.

Meta AI: The Llama 3 Herd of Models (Section 3: Infrastructure and Scaling)

りんくる:
・不連続都市伝説シリーズ:半導体部品に寿命はない
・富の源泉2010年末特別編:ムーアの呪いとの闘い
・SoCの時代

モバイルバージョンを終了