【LLM】世界最速でLLMを学習させることを競い合う人達

NanoGPTは、もともと教育用途を念頭に開発されたオープンソース実装で、TeslaやOpenAIでその名を馳せたKarpathy氏によって、シンプルなPyTorchコードでGPT‑2相当のモデルが再現できるようになりました。学習やファインチューニングが手軽に行える点が高く評価され、注目を集めています。

そのNanoGPTをベースに、世界最速を目指す人々が改造を加えたのが「modded‑nanogpt」プロジェクトです。この派生プロジェクトでは、従来45分かかっていたGPT‑2の学習時間を、Muonオプティマイザの採用により驚異の2分59秒まで短縮することに成功。世界記録更新を目指し、世界中の猛者たちが次々と挑戦しています。

さらに、中国のAIユニコーン企業であるMoonshot AIも注目の的です。彼らは、modded‑nanogptで採用されているMuonオプティマイザを活用し、大規模言語モデルの開発に成功しました。これにより、必要な計算リソースが従来の半分にまで削減され、modded‑nanogptの知見が大規模言語モデルの効率化にも活かされ始めています。

この高速学習レースは、単なる記録争いにとどまらず、小規模な実験から大規模LLMの効率化へと応用可能な技術革新の源泉となっています。今後もさらなる高速化を追求する新たなアプローチが生まれることは間違いなく、世界最速を目指す人々から目が離せませんね！