Ubuntu サーバで LLM 構築へ：（1）事前学習

だいぶ生成 AI を使うことに慣れてきたので，そろそろ自前で LLM サービスを構築することを考えてみる。

いや，既にもうメジャーな AI サービスプロバイダってメタクソ化（enshittified）し始めてるぢゃん。 企業サービスに完全にロックインされないうちに自前で構築できるようになっておかないと，と思ってさ。

今回は，以下の要求で Kagi Assistant にサービス構成を提案してもらった。

1. 家庭内 LAN 上の Ubuntu サーバ機に LLM サービスを構築する
2. クライアントは Windows 機と Ubuntu 機を想定
3. 主な用途はプログラミング支援とブログ作成補助
4. VS Code で使えるようにする

以降に Kagi Assistant からの提案を載せるけど，まだ内容の検証をしていない。 なので嘘や間違いが紛れている可能性があるのでご注意を。 私としては，この提案を学習の起点（trigger）とするつもりである。

アーキテクチャ

Kagi Assistant が最初に推奨してきた構成：

推論エンジンとして Ollama を提案した理由は以下の通りらしい：

LiteLLM は Ollama の前に置く OpenAPI 互換 API プロキシ。 Ollama だけでなく OpenAI や Anthropic などの外部 API も統一的に扱えるらしい。 図では LiteLLM に PostgreSQL がぶら下がっているが，これは API キー管理・使用量トラッキング用とのこと。

• What is stored in the DB | liteLLM

Nginx はリバースプロキシとして HTTPS 終端，セキュリティ（Ollama/LiteLLM への直結ポートをサーバの外に晒さない），ストリーミング対応を担っている。 注意点は以下の通り：

nomic-embed-text については後述する。

LiteLLM と Nginx は入れなきゃダメ？ と訊いてみたら，もう少し簡単な構成もあるらしい。

クライアントの用途ごとの使い分けは以下の通り。

VS Code の拡張機能である Continue は Ollama API に対応しているそうなので（セキュリティの問題を除けば）直結で OK。 ターミナルエミュレータ等で CUI チャットを行う場合はクライアント側にも Ollama をインストールして接続先をサーバ機に向ければいいらしい。

OLLAMA_HOST=http://192.168.x.x:11434 ollama run qwen3.5:9b

さらに簡単に Ollama API を直に叩く方法もある（自作ツール向け？）。 こんな感じ。

# ワンショット質問
curl http://192.168.x.x:11434/api/chat -d '{
  "model": "qwen3.5:9b",
  "messages": [
    {"role": "user", "content": "ブログのタイトル案を5つ提案して"}
  ],
  "stream": false
}'

# ストリーミング（リアルタイム出力）
curl http://192.168.x.x:11434/api/chat -d '{
  "model": "qwen3.5:9b",
  "messages": [
    {"role": "user", "content": "PythonでFizzBuzzを書いて"}
  ]
}'

Ollama API って素の RESTful API でやり取りするのか。 確かにこれは（セキュリティ的に）ヤバいな。 LiteLLM/Nginx を噛ませろって言う筈だわ。 LAN 内に他人（のデバイス）が入ってくる余地がないならギリ大丈夫かな。 まぁ，どのみち malware に侵入されたらアウトだけど。

Open WebUI は Web ベースのチャットインターフェースで，以下の特徴があるらしい¹。

OpenAI の API キーを持っていれば Open WebUI から OpenAI のモデルも使えるそうな（以下は Docker 上に Open WebUI をインストールした場合の起動例）。

# Open WebUI起動時にOpenAI APIも設定
docker run -d \
  --name open-webui \
  --network host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  -e OPENAI_API_KEY=sk-your-openai-key \
  --restart always \
  ghcr.io/open-webui/open-webui:main

用途別の使い分けについてまとめてもらった。

普段の調べ物は Kagi Assistant で必要十分なので Open WebUI はあまり使わないかもしれないけど。 Open WebUI が不要なら入れない構成もありだな。

モデル選択

Ollama で選択可能な LLM モデルで Kagi Assistant が勧めてきたのは以下のもの¹。

あー。 そういや，サーバ機のスペックを教えてなかった。 手持ちの空いてるミニ PC をサーバ機にする予定なのでスペックは高くないのよ。

というわけで Ryzen 5 7430U, RAM 16GB, 外付け GPU なしの構成で再提案してもらった。

Ryzen 5 7430U には内蔵 GPU (Radeon Graphics) があるが LLM 推論には非力なので CPU-only 推論となる。 そうなるとメモリ帯域幅が重要になるんだけど DDR4-3200 デュアルチャネルは DDR5 半分以下の帯域幅（〜51GB/s）しかない。 RAM のサイズも 32GB 以上は欲しいらしい。

なかなかに貧弱な構成と言われてしまった（笑）

しょうがないぢゃん orz

nomic-embed-text について

テキスト入力 → nomic-embed-text → 768次元ベクトル出力

ベクトルデータはデータベース化して RAG (Retrieval-Augmented Generation; 検索拡張生成) に使用する¹。 Open WebUI および Continue は自前でベクトルデータベースを持っている。 規模が大きくなれば PostgreSQL + pgvector などのベクトルデータベースが別途必要になる。

今回はここまで

とりあえず Ollama と RAG についてはちゃんと勉強せなあかんなぁ，というのは分かった。 あとは実際に組んでみて評価していく感じかな。

薄々わかってはいたが，どうも手持ちの環境は貧弱すぎるみたいだけど，どの程度足らないのかの感覚がわからない。 これは使ってみて確かめるしかないだろう。

仕事が絡むなら vLLM も気になるところだが，そういう仕事が貰えるなら考えるということで（笑）