llama.cpp

2023年3月10日、Georgi Gerganovがllama.cppの最初のコミットをGitHubにプッシュしました。C言語とC++で書かれたこのライブラリは、MetaのLLaMAモデルをGPUなしでラップトップのCPU上で実行するという一つの目的を掲げていました。数週間のうちに数千のスターを獲得し、その能力をさらに押し広げる開発者コミュニティが成長しました。

中核となる革新は量子化です。GGUF形式を使用してモデルの重みを32ビット浮動小数点から4ビットまたは8ビット整数に圧縮することで、llama.cppはメモリ要件を75パーセント以上削減します。GPU上で28 GBのVRAMを必要とする70億パラメータモデルが、6 GB未満のシステムRAMで動作可能になります。GGUF形式はまた、トークナイザー、語彙、チャットテンプレートを単一のファイルにバンドルし、モデルの配布を簡単にします。

llama.cppは異常に幅広いハードウェアをサポートしています：AVX2対応のx86 CPU、Metal経由のApple Silicon、CUDA対応のNVIDIA GPU、hipBLAS対応のAMD GPU、SYCL対応のIntel GPU、さらにはVulkanまで。プロジェクトには、生成、ベンチマーク、モデル変換のためのコマンドラインツールと、軽量なHTTPサーバーが含まれています。2025年時点で、900人以上のコントリビューターと69,000のGitHubスターを有しています。OllamaやLM Studioなどのツールはllama.cppを直接ベースにしており、非技術者でもローカルLLM推論を利用可能にしています。このライブラリは、コンシューマーハードウェア上で大規模言語モデルを実行するための事実上の標準となり、クラウドに依存しないプライベートでコスト効率の高いAI実験を可能にしました。[編集]