ローカルLLMは製造現場に置けるか

置けます。図面や顧客との取引条件のようにクラウドに出せない文書を扱うなら、社内に言語モデルを置くのは現実的な選択肢です。ただ、必要な機材は「どの大きさのモデルを、何人で、どれだけ長い文書に使うか」で一桁変わります。最初に用途を決めずに機材を買うと、足りないか、使い切れないかのどちらかになります。

以下の価格と製品構成は2026年10月時点のものです。処理速度は今回測っていないので書きません。

メモリの見積もり方

言語モデルを動かすのに一番効くのは、GPU（またはそれに相当する装置）のメモリの量です。Hugging Face のブログは、モデルの重みを読み込むだけで要るメモリを次のように示しています。

16ビットなら1パラメータあたり2バイト、8ビットなら1バイト、4ビットなら約0.5バイトです。4ビットや8ビットにすること（量子化）でメモリは減りますが、vLLM の公式文書が書くとおり、精度と引き換えです。

これに、読ませる文書の長さに比例するメモリ（KV キャッシュ）が加わります。同じブログの表では、8B のモデルに16ビットで12.8万トークンを読ませると、KV キャッシュだけで15.62GB。ブログは、小さいモデルでは文脈が上限に近づくと、キャッシュが重みと同じくらいのメモリを使うと書いています。

Qwen の公式文書には実測値があります。入力1トークンで動かしたときのメモリは、Qwen3-8B が16ビットで約15.9GB、4ビット（AWQ）で約6.2GB、Qwen3-32B が16ビットで約62.8GB、4ビットで約19.1GBでした。

もう一つ、同時に使う人数も効きます。Ollama の FAQ は、並列で処理するリクエストの数だけ文脈のメモリが増えると書いています。現場の10人が同時に使う構成と、品質担当1人が使う構成では、必要なメモリが違います。

2026年10月時点の機材

社内に置ける機材を、メーカーの公式ページで確かめました。

DGX Spark と Mac Studio は、CPU と GPU が同じメモリを使う構成です。GPU カード1枚より大きなモデルを載せられます。NVIDIA は DGX Spark 1台で2,000億パラメータまでのモデルの推論ができるとしています。Mac Studio の M5 Ultra の512GB メモリは10月下旬発売で、この時点では価格が出ていません。

用途ごとの構成

メモリの見積もりと機材を突き合わせると、製造現場で現実的な構成は三つに分かれます。

1つ目は、8B〜14B 級のモデルを1台の PC で動かす構成です。4ビットや8ビットなら32GB の GPU に収まり、少人数で不具合報告の分類や作業日報の要約、社内文書の検索に使えます。

2つ目は、30B 級のモデルを8ビットで、または70B 級を4ビットで動かす構成です。重みだけで30〜40GB になり、長い文書や複数人での利用を考えると、96GB〜128GB のメモリを持つ機材が要ります。技術文書を読ませて回答させるような、言葉の扱いが難しい用途はここからです。

3つ目は、社内に置くのを機密の文書を扱う部分だけにして、それ以外は国内リージョンのクラウドで大きなモデルを使う構成です。社内機材の負担を小さく保てるので、中小の工場ではこれが最も無理がない形です。

数百B を超える最新のモデルを社内で動かすのは、中小の工場では現実的ではありません。

日本語のモデル

社内で動かせる大きさで、商用利用しやすいライセンスの日本語向けモデルが増えています。

• LLM-jp（国立情報学研究所が中心）の llm-jp-4.1 系は、8B、32B-A3B、33B の思考型モデルを Apache 2.0 で公開しています（2026年9月）。
• 東京科学大学と産業技術総合研究所の Qwen3 Swallow は、Qwen3 の日本語能力を強化したもので、Apache 2.0 です。
• ELYZA は llm-jp-4 の 33B をもとにした ELYZA-Thinking-1.0 を Apache 2.0 で公開しています（2026年10月）。
• SB Intuitions の sarashina2.2 は、0.5B〜3B の小さなモデルを MIT ライセンスで公開しています。

海外のモデルでは、OpenAI の gpt-oss-20b（Apache 2.0）が、モデルカードで16GB のメモリで動くとしています。Google の Gemma 4 は Apache 2.0 になりました。ひとつ前の Gemma 3 は独自の利用規約なので、版ごとに確かめてください。

どのモデルが自社の文書に合うかは、公開されている評価からは分かりません。正解を用意できる課題を50件ほど作り、候補を並べて比べてから機材を決めるのが確実です。

運用の手間

機材を買ったあとも仕事は残ります。

• モデルの更新。数か月ごとに新しい版が出ます。入れ替えるたびに、自社の課題で比べ直す必要があります。
• 文脈の長さと同時利用数の設定。Ollama は既定で文脈を4,096トークンに抑えています。長い文書を読ませるには設定を変える必要があり、そのぶんメモリを使います。
• ライセンスの確認。版によってライセンスが変わることがあります。
• 置き場所と電力。GPU カード1枚で数百W を使います。事務所の机の下に置くか、サーバー室に置くかで、電源と熱の対策が変わります。
• 誰が面倒を見るか。社内に担当者がいないと、止まったときに誰も直せません。

ローカルに置けば、データは社外に出ません。Ollama の FAQ も、ローカルで動かしているときはプロンプトやデータを見ない、と書いています。ただし、社内に置いたモデルにどの文書を読ませ、誰が使えるようにするかの管理は自社の責任になります。社内の決まりを作るときは、経済産業省と総務省の「AI事業者ガイドライン（第1.2版）」（2026年3月）が出発点になります。

判断の順番

ローカル LLM を検討するときは、次の順番で決めると無駄が出ません。

1. 社外に出せない文書は何か、を決める。出せる文書は国内リージョンのクラウドで足ります。
2. その文書で何をさせるかを決め、正解つきの課題を50件ほど作る。
3. 候補のモデルを2〜3に絞り、課題で比べる。
4. 選んだモデルの大きさ、文書の長さ、同時に使う人数から、必要なメモリを見積もる。
5. 最後に機材を選ぶ。

機材から選び始めると、この順番が逆になります。