PC用のメモリの値段が急騰しているらしい。AIブームでデータセンターでのメモリ需要が凄まじく、これに応じてメーカーが利幅が大きなデータセンター用メモリに注力した結果、PC用のメモリが極端な品薄になっているとか。どこかで、これを機に我々は、あらゆるアプリケーションのさらなるクラウド移行を検討してはどうかと提言する記事を読んだ。

そんな世界は嫌だ。

いや、クラウドコンピューティングを毛嫌いしているわけではない。AWSをはじめとしたクラウドサービスは今や無くてはならないソリューションであり、便利なマネージドサービスを組み合わせて可用性の高いシステムを組むことは、自分的にももはや定番、ファーストチョイスとなっている。

でもね、やっぱり手元で動くシステムには格別の臨場感がある。ラズパイの上で動くプログラムや、リアルロボティクスの世界はやっぱりロマンがある！そう思いませんか？笑

他方、今やなくてはならないソリューションとなっているものに生成AIがあります。ほんの一、二年で驚異的な進歩を遂げた最新のChatGPTやGeminiの有能さは今更語るまでもなし。プログラムの作成から恋愛相談まで、あらゆる質問にそつなく答えてくれる。もうほんとにすごい。

こうしたAIサービスはネットワークの向こうにある巨大なデータセンターで、膨大なコンピュータリソースを使って実現されていると言われています。その具体的な実装構成が公開されていないこともあって、AIをクラウドサービスとして利用するしかない一般ユーザにとっては、なにやらネットワークの向こうにいる神？のような存在であって、その実体は手の届かない闇の中。

でも、そういうものだってあきらめるのは悲しいではないですか、、、なんとしてもChatGPTのようなチャットボットを手元のコンピュータで動かしたい！

というわけで、実際にやってみたのです。そしてそのインパクトは自分にとって驚くべきものでした。ちょっと大げさに言うなら自分の人生観が変わったほどに。

最初に用意したコンピュータの話をしましょう。コストは120万円くらい、大枚はたいた自慢のゲーミングPC程度の構成です。

CPU: AMD Ryzen9 7950X
Memory: DDR5 128GB
GPU1: NVIDIA GeForce RTX5090
GPU2: NVIDIA GeForce RTX4090

RTX5090は32GB、RTX4090は24GBのVRAMを持っています。それぞれ3スロットを専有するので普通のATXマザボには直接組み込めません。なのでライザーケーブルで筐体の外に引き出して設置しました。ブサイクだけど仕方ない！


このマシン上にチャットボットを実現するLLMを載せていきました。その経緯は別にしてとりあえず結果だけ。現状で最終的に動かせたのはMetaが公開しているLlama4 Maverickモデルを圧縮したものです。(以下Maverickくん)

緑色の部分がわたしが入力したもので、白い部分がMaverickくんの返答です。秒間20トークンを超えるまったくストレスのないスピードで、それなりな会話が進行します。実はMaverickくんの隠れた実力はまだまだこんなものではなかったのですが、自分は不覚にもこの段階で感動してしまったのです。

思えば初めてコンピュータに触れた高校生の頃から、研究者となって人のように会話できるAIを実現するのが夢でした。「人のように」を突き詰めれば今のAIはまだまだだし、自分はその実現に何も貢献してませんが、でもやっぱり自分の手元のコンピュータでこれが動いていると思うと感慨深い。そして、この人工の知能を支えるモデルのサイズがわずか150GB程度であることに驚愕するのです。だって、このMaverickくんがわずか150GBのデータに詰め込まれているんですよ？

このままいけば、あと10年、20年したら、、、

そう思ったら長生きしたくなりました。

次の記事でMaverickくんのさらなる実力を紹介するとともに、そのセットアップと技術的な解説を試みます。