ここ最近、ローカルLLMを普段の開発フローにどう組み込むかを試しています。最初は「WSL側に全部寄せたほうがきれいかな」と考えていたのですが、実際はパスや接続先の扱いで細かく詰まる場面があり、作業の勢いが途切れがちでした。
そこで方針を変えて、OllamaはWSLではなくWindows側にインストール。VSCode拡張のClineから使う構成にしたら、想像以上に快適でした。導入後の確認もシンプルで、プロンプトを投げて返答を受け取るまでが安定しています。何より、エディタ内で往復できるので、ターミナルや設定ファイルを何度も行き来しなくていいのが助かります。「ちょっと試すか」がすぐできるようになったのは大きいです。
一方で、次の壁はモデル選定でした。Hugging Faceで候補を眺める時間は楽しいのですが、正直なところ選定基準がまだ曖昧です。ベンチマークの数字だけでは決めきれず、日本語の自然さ、応答速度、長文コンテキストでの安定性、コード補助での破綻しにくさなど、見たい軸が増えて判断がぶれます。
なので今後は、ここをもう少し深掘りして調べる予定です。用途を「文章整理」「コード読解」「小さな実装相談」に分け、同じプロンプトで複数モデルを比較して記録していくつもりです。品質だけでなく、待ち時間や再現性も含めて見ていけば、自分の環境で本当に使いやすいモデルが見えてくるはず。ローカルLLM運用を一段階実用寄りにするための、次の宿題です。