メインPCのメインメモリを32GBから64GBに増やしました。目的は、Qwen3.8-Flash-Nextを手元のR9700で動かしてみたかったからです😊
これまでR9700ではLM Studioでいろいろなモデルを動かしてきました...LLM-jp-4.1 32B-A3BのQ4_K_Mは165tps、Qwen3.8-27BのQ4_K_Mは50tpsくらいの生成スピードでVRAM 32GBに収まるモデルであれば十分快適な状況にはなってきています。
ただ、Qwen3.8-Flash-Nextは非常に大きなモデルの約125BパラメータのMoEモデルなので、VRAM 32GBにはどうやっても載りません。そこで使うのが‘Strata‘という推論エンジンです。GPU、メインメモリ、SSDに役割を分けてモデルを置くことで、VRAMより大きなモデルを普通のPCで動かせるようにしてくれます。
ただ、Strataではモデルのエキスパートの大部分をメインメモリに置くので、メインメモリの量で選べるサイズが決まります。メインメモリが32GBのときは、現実的に選べるのはエキスパートを半分削ったコード特化のCoder版くらいまでとなっていました。Coder版は日本語が弱いとされているので、壁打ちをメインにしている自分の使い方には合わないんですよね😅
また、年末あたりにQwenの新しいバージョンが出てくるのでは🤔という期待です(完全に自分の希望的観測ですが)。そのときに慌てないように大きめのMoEモデルが動かせる環境を今のうちに整えておきたいということもあります。年末はに向けてメモリの価格はまた上がりそうなので、メモリを買うなら今かなと思ったのも正直なところです。
実は自分のメインPCはDDR5ではなくDDR4のメモリなので、まだ価格帯がマシということもあります😅
というわけで、今回はメモリ64GBの環境で、‘Strata‘と‘Qwen3.8-Flash-Next‘のIQ3_XXSモデルを導入してみました。
⚠️ この内容は2026年10月時点のものです。Strataは0.2.3(2026年10月23日公開、エンジン0.1.48)を前提にしています。Strataは更新がとても速いプロジェクトなので、手順や画面が変わっている可能性が十分考えられるのでご注意ください。
関連情報
この記事では、MoE、量子化、GGUF、VRAMとメインメモリの関係といった言葉がたくさん出てきます。このあたりは以前QA形式で整理しているので、「そもそもMoEって何?」「IQ3_XXSのような量子化の名前は何を表しているの?」という方は、先にこちらを読んでおくと分かりやすいと思います。
- 関連情報
- 1. Strataとは
- 2. 自分の環境
- 3. なぜIQ3_XXSを選択したのか?
- 4. 導入方法を選ぶ
- 5. ソースから導入する
- 6. 動かしてみる
- 7. 速度を測ってみる
- おわりに
- 参考リンク
1. Strataとは
Strataは、Qwen3.8-Flash-Nextを普通のPCで動かすための推論エンジンです。今回の主役はあくまでQwen3.8-Flash-Nextで、Strataはそれを動かすための土台という位置づけです。オープンソース(MIT License)で、WindowsとLinuxに対応しています。

llama.cppやLM Studioはいろいろなモデルを動作させることができる推論エンジンですが、StrataはQwen3.8-Flash-Nextに特化したような存在です。そのため、いろいろなチューニングが含まれて高速化を図ることができるということになります。
Qwen3.8-Flash-Nextは約125BパラメータのMoEモデルで、たくさんの小さな「エキスパート」で構成されています。1トークンを生成するときに使うのはそのごく一部だけです(MoEの仕組みは関連記事のQAでも触れています)。Strataはこの性質を利用して、モデルを次のように分けて置いています。
| 置き場所 | 役割 |
|---|---|
| GPU(VRAM) | 毎トークン使う部分と、よく使われるエキスパートを置く |
| メインメモリ | 全エキスパートを置く。GPUにないエキスパートはCPUで計算する |
| SSD | 大きなルックアップテーブル(約29GB)を置き、必要な行だけ読む |
GPU、メインメモリ、SSDにモデルを分けて置くStrataの構成図

さらに、MTPと呼ばれるモデル内の小さな補助層が次の数トークンを予想し、本体がまとめて検証する投機的デコーディングも使っています。公式の説明では、これで1トークンずつ生成するより1.6〜1.8倍速くなり、出力内容は変わらない仕組みになっているようです。
自分にとって助かるのは、StrataはAMDのGPUにも対応していて、R9700(gfx1201)は公式に検証済みのカードとして名前が挙がっている点です😍
2. 自分の環境
| 項目 | 内容 |
|---|---|
| CPU | Intel Core i7-13700F |
| メインメモリ | 64GB(今回32GBから増設) |
| GPU | AMD Radeon AI PRO R9700(VRAM 32GB) |
| OS | Windows 11 |
| GPUドライバ | AMD Software Adrenalin Edition 26.10.1 |
| モデル置き場 | DドライブのNVMe SSD(容量1.86TB、空き1.71TB) |
Strataで必要なのは、最新のGPUドライバだけです。Python、エンジン、モデルなどはStrata側で用意してくれます。
ディスクはモデル本体に70〜80GB、MTP層に約6GB(画像入力を使うならさらに約1GB)が必要となります。初回起動の速度に大きく影響するので、公式ではNVMe SSDが強く推奨されています。
自分はCドライブをあまり圧迫したくないので、Strataもモデルも丸ごとDドライブに置くことにしました。Dドライブは空きが1.71TBあるので、モデルを何種類か入れても余裕があります。

3. なぜIQ3_XXSを選択したのか?
Strataでは同じQwen3.8-Flash-Nextを、圧縮率の違う複数のサイズから選べます。
| サイズ | 必要なメモリ(RAM+VRAM) | 速度 | 品質 |
|---|---|---|---|
| Q2_0 | 37.6GB | 最速 | good |
| IQ2_XS | 39.2GB | 速い | better |
| IQ3_XXS | 47.0GB | やや遅い | great |
| IQ3_S | 54.8GB | 最も遅い | best(公開テストでフルモデルと同等) |
大事になってくるのは、エキスパート部がメインメモリに置かれる点です。公式の目安は「エキスパートのサイズ+Windowsや他のアプリ用に約10GB」で、エキスパートのサイズはIQ2_XSが35.5GB、IQ3_XXSが43GB、IQ3_Sが50GBです。
メインメモリ64GBに当てはめると次のようになります。
- IQ3_XXSは43GB+10GBで約53GBなので、余裕を持って収まる
- IQ3_Sは50GB+10GBで約60GBなので、収まるものの他のアプリはほとんど開けない
公式ドキュメントでも64GBなら全サイズが入るものの、IQ3_Sは「他のアプリをほとんど開かない前提」とされています。自分はブラウザを開いたまま作業することが多いので、品質と余裕のバランスを取ってIQ3_XXSにしました。
⚠️ 公式の推奨サイズの判定は「RAM+VRAMの合計」となっています。0.2.2からはWindows用の余裕として、合計から5GBを引いて判定するようになりました。自分の環境は64GB+32GB−5GBで91GBになるので、セットアップではIQ3_Sが勧められるようです。そのため、IQ3_XXSを使いたい場合は自分で選ぶ必要があります(実際操作は5.4にて)。
4. 導入方法を選ぶ
0.2.3の時点で、Windowsへの導入方法は3通り用意されています。
| 方法 | 内容 | Dドライブへの置きやすさ |
|---|---|---|
| デスクトップアプリ | インストーラー(.exe)を実行してGUIで操作する |
インストール先は選べるが、モデルの保存先は別に確認が必要 |
| Terminal | PowerShellで1行実行し、strata launchで操作する |
モデルはstrata models moveで移せるが、本体はユーザーフォルダ側 |
ソースから(START-HERE.bat) |
GitHubからクローンしてバッチファイルを実行する | フォルダごとDドライブに置ける |
この中から、今回はソースから導入することにしました。決め手はDドライブへの置きやすさです。公式のINSTALL.mdによると、Python環境(.venv)、エンジン、third_partyはすべてStrataのフォルダの中に作られ、モデルはその隣にできるStrata-dataフォルダに格納されます。つまり、Dドライブにクローンするだけで、ほとんどのファイルがDドライブに収まります。
手順がドキュメントに一番詳しく書かれているのもソースからの方法でした。Python環境の準備にはuvを使っています。
5. ソースから導入する
5.1 事前に準備するもの
- Git
uv- 最新のAMD Software Adrenalin Edition
Strataが自分で用意できないのはGPUドライバだけなので、念のため最新版かどうかを確認しておきました。検証を始めた時点では26.8.1で、AMD Softwareの画面上でも最新と表示されていました。なお、検証の途中で26.10.1(2026年10月18日公開)に自動更新されたので、それ以降の結果は26.10.1でのものです。
AMD Software Adrenalin Editionのバージョン画面

ドライバのバージョン

GitとuvのバージョンはPowerShellで確認しました。
PS> python -V Python 3.13.15 PS> git -v git version 2.55.0.windows.3 PS> uv self version uv 0.12.13 (0ebbd9274 2026-09-10 x86_64-pc-windows-msvc)

システムに入っているPythonは3.13ですが、今回のStrata用の環境はuvで3.12を用意するので、システム側のPythonには手を付けずに済みます。
5.2 リポジトリをクローンする
Dドライブに移動して、GitHubからクローンします。
PS> cd D:\ PS> git clone https://github.com/Niko1221/Strata.git PS> cd Strata
実行するとこんな感じです。リポジトリは約72MiBで、すぐに取得できました。

フォルダの中には、START-HERE.bat、SETUP.bat、UPDATE.bat、BENCH.batといったバッチファイルと、本体のsetup.py、requirements.txtなどが入っていました。README.ja.mdもあるので、日本語で概要を確認することもできます。

5.3 uvでPython環境を作る
START-HERE.batは、最初に.venv\Scripts\python.exeがあるかどうかを確認します。確認して存在すればPythonの検索と環境の作成を飛ばして、そのままセットアップに進む作りになっています。先にuvで.venvを作っておけば、START-HERE.batはそれを使ってくれるはずです。
PS> uv venv .venv --python 3.12 --seed PS> uv pip install -r requirements.txt
ポイントは2つあります。
--python 3.12START-HERE.batが要求するのはPython 3.10以上の64bit版です。Pythonが見つからないときに入れるのが3.12なので、それに合わせました。uvならシステムにPythonをインストールしなくても、指定したバージョンを用意してくれます。--seeduv venvで作った環境には、標準ではpipが入っていません。Strataのセットアップスクリプトが中でpipを使っている場合に備えて、--seedでpipを入れておきます。
⚠️ このuvを使う方法は公式の手順ではありません。公式のSTART-HERE.batは、Pythonを見つけてpython -m venvで環境を作る作りです。うまくいかない場合は、.venvフォルダを消してSTART-HERE.batだけで進めれば、公式どおりの手順に戻せます。
実行結果はこんな感じです。画像は大きすぎるので以下抜粋。
PS D:\Strata> uv venv .venv --python 3.12 --seed
Using CPython 3.12.14
Creating virtual environment with seed packages at: .venv
warning: Failed to hardlink files; falling back to full copy. This may lead to degraded performance.
If the cache and target directories are on different filesystems, hardlinking may not be supported.
If this is intentional, set `export UV_LINK_MODE=copy` or use `--link-mode=copy` to suppress this warning.
+ pip==26.2.2
Activate with: .venv\Scripts\activate
PS D:\Strata> uv pip install -r requirements.txt
Resolved 15 packages in 123ms
Prepared 6 packages in 530ms
(中略)
Installed 15 packages in 404ms
実行後、Python 3.12.14の環境が出来、--seedでpipもいれてくれました。requirements.txtのパッケージ15個は、0.4秒ほどでインストールが終わっています。このあたりの速さは、やはりuvならではですね😊
(インストールされたパッケージの一覧はuv pip listで確認することができます。
導入されたパッケージ

5.4 START-HERE.batでセットアップする
ここまで準備ができたら、START-HERE.batを実行します。質問に答えながら進めることもできますが、オプションを付ければ対話なしでIQ3_XXSを指定することができます。
PS> .\START-HERE.bat --model IQ3_XXS --context 32768 --yes
実行すると、Step 1からStep 7まで順番に進んでいきます。全体で25分ほどかかりました。時間のほとんどはモデルのダウンロードになります。
START-HERE.batのセットアップ進行状況

以降ではセットアップ結果から、その状況を確認してみます。
Step 1 PCのチェック
最初にGPU、メインメモリ、CPUを確認してくれます。R9700はきちんとgfx1201として認識されていました。
=== Step 1: checking your PC ===
Your AMD GPUs:
GPU 0: AMD Radeon AI PRO R9700, 32 GB VRAM - can be used
[ok] GPU: AMD Radeon AI PRO R9700, 31.9 GB VRAM, gfx1201 (AMD: docs/AMD_HIP.md)
If Windows resets the AMD driver (VIDEO_ENGINE_TIMEOUT_DETECTED, flicker, the engine dies mid-answer): docs/TROUBLESHOOTING.md, "Windows AMD: the driver resets"
[ok] RAM: 64 GB
[ok] CPU: 13th Gen Intel(R) Core(TM) i7-13700F (AVX2)
AMDのGPUの場合は、ドライバがリセットされたときの対処法の案内も出ます。
Step 2 モデルとサイズの選択
--model IQ3_XXSを指定しているので、ここは自動で進みます。サイズの一覧を見ると、予想どおりIQ3_Sに「(recommended)」が付いていました。
1) Q2_0 2-bit, the fastest; download 66 GB, uses ~34 GB of RAM 2) IQ2_XS 2-bit i-quant, a little better quality, close in speed; download 68 GB, uses ~36 GB of RAM 3) IQ3_XXS 3-bit i-quant, better quality, slower (more CPU work per token); download 76 GB, uses ~43 GB of RAM 4) IQ3_S (recommended) 3.5-bit i-quant, the best quality (matches the full model), the slowest; needs a 64 GB PC with little else running; download 84 GB, uses ~50 GB of RAM [ok] size: IQ3_XXS [ok] context: 32768 tokens [ok] KV cache: 8-bit [ok] images: on
画像入力は何も指定しなくてもオンになっていました。
Step 3 Pythonのパッケージ
ここで、uvで作った.venvがきちんと使われているかが分かります。
=== Step 3: Python packages === Installing numpy, jinja2, regex, pyyaml, tqdm, requests, pillow, psutil ... > D:\Strata\.venv\Scripts\python.exe -m pip install --quiet --disable-pip-version-check numpy==2.5.3; ...(省略) [ok] numpy, jinja2, regex, pyyaml, tqdm, requests, pillow, psutil installed
D:\Strata\.venv\Scripts\python.exeが使われていて、Pythonを探したり新しく仮想環境を作ったりする処理は飛ばされていました。狙いどおりです😊
注目したいのは、セットアップの中でpython.exe -m pip installが実行されている点です。5.3で--seedを付けてpipを入れておいたのは、まさにここのためでした。--seedを付けずにuv venvで作っていたら、ここで止まっていたはずです。パッケージ自体はuv pip installで入れてあるので、すでにそろっている状態の確認だけで終わっています。
Step 4 エンジンの取得
次に、Strataのエンジン本体を取得します。
=== Step 4: the Strata engine === [ok] llama.cpp source downloaded [ok] llama.cpp 3cf0325 (gguf-py, ggml, mtmd) No ready-made AMD engine for v0.1.48.1 (HTTP Error 404: Not Found): the latest release instead [!] no ready-made AMD engine at https://github.com/Niko1221/Strata/releases/latest/download/ (HTTP Error 404: Not Found) Fetching the ready-made engine from the signed update feed ... [ok] ready-made engine 0.1.48 from the update feed (0.1.48-windows-x86_64-hip-rx9070) [ok] engine: D:\Strata\engine\strata.exe
この結果でちょっとびっくりしたのですが、GitHubのリリースからAMD用のエンジンを取得しようとして、404エラーが出ていることがわかります。リポジトリのバージョン(0.1.48.1)に対応するエンジンがまだリリースに置かれていなかったようです。
ただ、そのあと署名付きの更新フィードから取得し直してくれて、最終的にR9700用のhip-rx9070のエンジン(0.1.48)が入りました。0.2.2のリリースノートで「WindowsのAMD環境ではエンジン取得をテストできていない」と書かれていた部分ですが、少なくとも今回はきちんと動いてくれました。[!]の行が出ても、慌てずに最後まで見守るのがよさそうです。
5.5 モデルのダウンロードと準備
続いてモデルのダウンロードに移行します。保存先はきちんとDドライブのD:\Strata-dataになっていました。
=== Step 5: downloading Qwen3.8-Flash-Next IQ3_XXS === The model files go in D:\Strata-data\models\IQ3_XXS Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf: 47.04 / 47.04 GB (100%) checking Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf (SHA-256, 47.0 GB) ... [ok] Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf downloaded Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00002-of-00002.gguf: 28.80 / 28.80 GB (100%) checking Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00002-of-00002.gguf (SHA-256, 28.8 GB) ... [ok] Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00002-of-00002.gguf downloaded [ok] model files present vision encoder: 0.91 / 0.91 GB (100%) [ok] vision encoder: D:\Strata-data\models\mmproj-Qwen3.8-Flash-Next-BF16.gguf
ダウンロードしているファイルは次の3つでした。どれもダウンロード後にSHA-256でファイルが壊れていないかを確認してくれます。
| ファイル | サイズ | 中身 |
|---|---|---|
...IQ3_XXS-00001-of-00002.gguf |
47.04GB | モデル本体(エキスパートなど) |
...IQ3_XXS-00002-of-00002.gguf |
28.80GB | SSDに置くルックアップテーブル |
mmproj-Qwen3.8-Flash-Next-BF16.gguf |
0.91GB | 画像を読むためのエンコーダー |
続くStep 6では、ダウンロードしたモデルをStrata用の形式に変換し(D:\Strata-data\packs\iq3_xxs)、投機的デコーディング用のMTP層を取得します。MTP層は元のQwenのチェックポイントから必要な部分(約5.21GB)だけをダウンロードし、さらに小さく変換していました。
=== Step 6: preparing the model for Strata === [ok] model prepared: D:\Strata-data\packs\iq3_xxs The MTP draft layer (speculative decoding, ~2x faster output) comes from the original Qwen checkpoint: only its ~5 GB of MTP tensors are downloaded. ...(省略) [ok] MTP draft layer: D:\Strata-data\mtp\rt === Step 7: writing the start script === [ok] hipBLASLt tuning table: gfx1201-hipblaslt-100500.txt (faster prompts) [ok] start script: run-iq3_xxs.bat
最後のStep 7では、gfx1201向けのチューニング表(hipBLASLt)も自動で設定されていました。次回からの起動用にrun-iq3_xxs.batも作られます。
ダウンロードに必要な時間は、PCやネットワークの環境によって依存すると思いますが、自分の環境では30分程度だったと思います。
5.6 初回の読み込み
セットアップが終われば、そのままモデルの読み込みが始まります。
All set.
API (OpenAI): http://127.0.0.1:8080/v1 (any API key; model name: anything)
API (Anthropic): http://127.0.0.1:8080/v1/messages
Next time: just run START-HERE.bat (or run-iq3_xxs.bat) - it starts right away
[ok] GPU: AMD Radeon AI PRO R9700 (32 GB, AMD)
Settings (strata-iq3_xxs.json): --expert-cache auto --prefill auto --spec 4 --spec-min-p 0.5
--max-context 32768 --kv int8 --vision --vram-reserve-mib 700; server 127.0.0.1:8080
loading the vision encoder ...
loading the model (the first start takes a minute or two) ...
[strata] starting the engine: reading the model's weights ...
[strata] loading the experts into RAM (about 47 GB) and locking part of them for the GPU.
YOUR PC CAN BE SLOW OR STOP RESPONDING FOR 1-3 MINUTES NOW - this is normal.
Please wait and don't close this window; the browser opens when it is ready.
[strata] still starting (27 s) - please wait ...
[strata] experts loaded: 39.97 GiB at 2.58 GiB/s (30 s so far)
[strata] filling the GPU's expert cache (10770 experts, 17.46 GiB of VRAM) ...
[strata] almost ready ...
ready: http://127.0.0.1:8080/v1 (OpenAI: /v1/chat/completions, Anthropic: /v1/messages, context 32768 tokens, images on)
⚠️ 画面にも大きく出ているとおり、モデルの読み込み中は1〜3分ほどPCの反応が極端に遅くなったり、止まったように見えたりします。メインメモリにエキスパートを読み込み、その一部をGPU用に固定するためです。ここで慌ててウィンドウを閉じないのがポイントです。
ログを見ると、Strataの仕組みがよく分かります。
- メインメモリ エキスパート約40GiBを、NVMe SSDから2.58GiB/sで30秒ほどで読み込んでいます。
- GPU よく使われるエキスパート10,770個(17.46GiB)を、VRAMのキャッシュに載せています。
1章の表のとおり、メインメモリに全部のエキスパートを置き、よく使うものだけGPUに載せていることが、ログからも確認できました。
[✍️ 検証コメント: 読み込み中のPCの固まり具合]
5.7 2回目以降の起動と停止
2回目以降の起動ではオプションを付けずにSTART-HERE.batを実行するだけです。(👉セットアップの最後に作られたrun-iq3_xxs.batでも同じように起動できます)
PS> .\START-HERE.bat
実際に起動し直してみたところ、すぐにモデルなどの読み込みが始まりました。
PS D:\Strata> .\START-HERE.bat Strata - Qwen3.8-Flash-Next on a normal PC (a GPU + system RAM + CPU) [ok] GPU: AMD Radeon AI PRO R9700 (32 GB, AMD) ...(省略) [strata] still starting (25 s) - please wait ... [strata] experts loaded: 39.97 GiB at 2.94 GiB/s (26 s so far) [strata] filling the GPU's expert cache (14318 experts, 23.29 GiB of VRAM) ... ready: http://127.0.0.1:8080/v1 (OpenAI: /v1/chat/completions, Anthropic: /v1/messages, context 32768 tokens, images on)
初回と比べると、次のようになりました。
| 項目 | 初回 | 2回目 |
|---|---|---|
| エキスパートの読み込み | 39.97GiB、2.58GiB/s | 39.97GiB、2.94GiB/s |
| 読み込みまでの時間 | 約30秒 | 約26秒 |
| GPUにキャッシュしたエキスパート | 10,770個(17.46GiB) | 14,318個(23.29GiB) |
2回目の起動であれ?と思ったのはGPUに載せるエキスパートの数が3割以上増えていた点です。Strataはエンジンの起動時に空いているVRAMの量を見て、キャッシュの大きさを決めています。初回はセットアップの直後だったので、他の処理がVRAMを使っていた可能性があります。GPUに載るエキスパートが多いほどCPUで計算する分が減るので速度にも効果がありそうです。
モデルを止めるときはバッチファイルの実行を停止すればOKです。
ちなみに、モデルを追加したりコンテキスト長などの設定を変えたりするときはSETUP.bat(START-HERE.bat --setupと同じ)を使います。また、Strataだけを更新したいときはUPDATE.batを使用します。
5.8 失敗したときは?
セットアップがうまくいかなかった場合は、リポジトリのフォルダを丸ごと消してクローンからやり直せます。Python環境、エンジン、設定ファイルはすべてフォルダの中にあるからです。
このとき、隣のStrata-dataは消さずに残しておくのがおすすめです。新しくクローンしたStrataは隣のStrata-dataを見つけて、改めてモデルを再ダウンロードせずに使ってくれます。70GB以上のダウンロードをやり直さずに済みます。
完全に消したいときは、Strata-dataと%APPDATA%\Strataもあわせて削除することになります。uvのキャッシュは%LOCALAPPDATA%\uv\cacheに残るので、気になる場合はuv cache cleanで消すこともできます。
6. 動かしてみる
セットアップが終わるとモデルが自動で読み込みが行われます。そして、ブラウザでhttp://127.0.0.1:8080が開くことで、Strataの画面から会話できます。画面にはChat、Monitor、Aboutの3つのタブがあり、Chatの画面には「qwen3.8-flash-next-iq3_xxs runs on this PC. Nothing leaves it.」と表示されています。
Strataのチャット画面(Ask anything)

6.1 日本語で質問してみる
最初の質問は、この記事のテーマでもあるMoEの説明にしてみました。ある程度の長さを書かせたほうが、生成速度の数字も安定します。
プロンプト
MoE(Mixture of Experts)の仕組みを、LLMに詳しくない大学生向けに800字程度で説明してください。
MoEの説明に答えたチャット画面

返ってきた回答はこちらです。
MoE(混合専門家)は、LLMの一部を「専門家」の集合で構成する仕組みです。通常のLLMは文章を読むとき、巨大な計算ネットワーク全体を一度に動かし、次に出てくるべき言葉を決めます。MoEでは、その大きなネットワークを多数の小さなブロックに分け、各ブロックが得意分野を持ちます。ある文章では要約に強い専門家、別の文章では数学に強い専門家のように役割が偏るわけです。
ここで重要なのは「ルーター」です。ルーターは、その入力に対してどの専門家を使うかを選びます。専門家が100個あっても、全部を動かすのではなく、上位の少数だけを選びます。選ばれた専門家だけ計算に使われるため、全体を大きくしても実際の計算量は増えにくく、大容量と低コストを両立しやすくなります。
実際には、MoEは近年のLLMの各層の中で使われることが多いです。通常なら、文章を数値表現に変換し、一つの大きな処理ブロックを通します。MoEでは、この処理ブロックが複数あり、ルーターが専門家への重みを出し、選ばれた専門家の出力を足し合わせて次へ渡します。
大学に例えると、図書館に数百人の教授がいる大きな大学でも、ある質問には関連分野の教授だけを会議に呼ぶようなものです。教授数は増えますが、毎回全員が講義するわけではないため、計算コストを抑えられます。一方で、教授の得意分野が重なりすぎると選別が難しくなるため、ルーターの学習が重要です。
ただし、訓練では「偏り」に注意します。特定の専門家だけ人気で、他がほとんど使われなくなると、性能や効率が落ちます。そのため、どの専門家も一定量働くように調整し、ルーターの選択を学習させます。さらに、専門家への配分や、訓練中に使われなかった専門家へ更新を回す工夫も大事です。
結局、MoEは「全員を働かせる大きな頭脳」ではなく、「必要に応じて専門家だけを招集する」ことで、大きなモデルを効率的に動かすための発明です。
ルーター、上位の専門家だけを選ぶ仕組み、学習時の偏り(負荷分散)まで押さえていて、内容はしっかりしています。大学の教授会議にたとえているのも、大学生向けという指示にきちんと合わせてくれています。ただ、そもそもの話になりますが800字にしたのは結構難題だったかもなと思いました。
6.2 思考にかなり時間がかかった
回答が出てくるまでにはかなり待たされました。チャット画面には「Thought for 322.1 s」と表示され、生成したトークンは12,187、生成速度は37.0tok/sでした。
回答の本文は800字ほどなので、トークンにすると多く見積もっても1,000トークン前後です。つまり、12,187トークンのうち1万トークン以上を思考に使っていた計算になります。37tok/sで1万トークン以上を書けば、5分以上かかるのも当然です。
0.2.1からは、チャット画面の下に表示される速度が「出力トークン数÷生成時間」になっています。待ち時間が長かったのは生成速度が遅いからではなく思考の量が多かったからだと分かります。
実は思考の量は、チャット画面のメニューからoff、low、medium、high(デフォルト)の4段階から選択ができます。日常的に使うなら、このあたりの設定が大事になりそうです。

そこで、思考の深さをlowにして、以前LLM-jp-4.1でも試した「Raspberry Piとは?」を聞いてみました。
Raspberry Piとは?
思考lowでRaspberry Piについて答えたチャット画面


思考は1.6秒で終わり、20秒ほどで回答が出そろいました。体感はまったく別物です。
回答は、概要、特徴の表、主要モデル、用途、魅力、まとめと、かなり整理された形で返ってきました。ただ、内容をよく見ると気になる点もあります。
- Raspberry Pi 4を「最新の高性能モデル」と書いた直後に、Raspberry Pi 5を挙げている
若干のハルシネーションてぽい内容もありそうな文面が生成されましたね。「思考をlowにすれば解決」と思ったのですが、話はそう単純ではなさそうです。
6.3 lowでもMoEの説明は長く考えた
同じく思考をlowにして、最初のMoEの質問をもう一度聞いてみました。
思考lowでMoEについて答えたチャット結果

結果は、思考が446.5秒、生成したトークンは16,785と、既定の設定のときよりむしろ長くなってしまいました。lowにしたのに、Raspberry Piは1.6秒、MoEは446.5秒と、質問によって思考の長さがまったく違います。
別の要因もありそうですね…🤔
6.4 犯人は「800字程度で」だった
MoEの質問とRaspberry Piの質問の違いとして思い当たったのは、MoEの質問に付けた「800字程度で」という条件です。推論モデルは、文字数の指定があると下書きを書いては文字数を数え調整し直すということを思考の中で繰り返すことがあります。
そこで、思考はlowのまま、文字数の条件だけを外して聞いてみました。
MoE(Mixture of Experts)の仕組みを、LLMに詳しくない大学生向けに説明してください。
文字数の条件を外したMoEの質問への回答


思考はわずか5.6秒で終わりました。予想どおり、文字数の制限が思考を長引かせていたようです。
念のため、思考を一番深いhighにして、文字数の制限なしでも聞いてみました。
思考highで字数の条件なしのMoEの質問への回答


それでも思考は8.2秒です。highにしても、文字数の制限がなければ思考はすぐに終わることが分かります。
回答は、Denseモデルとの違いから、Router、Expert、メモリ使用量、「Expertは人間が想像するような分野ではない」という話まで、13の見出しに分かれた長い解説になっています。メモリについても「計算は少しのExpertしか使わなくても、Expert全体の重みは保持する必要がある」と正しく説明していました。
MonitorのRecent requestsには、ここまでの5回分の記録が残っていました。
MonitorのRecent requests(5回分)

| 質問 | 思考 | 字数 | 出力 | Decode | VRAMヒット率 | かかった時間 |
|---|---|---|---|---|---|---|
| MoE | 既定 | 800字 | 12,187 | 37.0t/s | 98.8% | 329.9秒 |
| Raspberry Pi | low | なし | 595 | 29.7t/s | 97.0% | 20.8秒 |
| MoE | low | 800字 | 16,785 | 37.0t/s | 98.8% | 454.7秒 |
| MoE | low | なし | 1,530 | 27.4t/s | 98.3% | 56.5秒 |
| MoE | high | なし | 3,100 | 27.3t/s | 99.2% | 114.0秒 |
同じMoEの質問でも、文字数の制限があると5〜8分、なければ1〜2分です。思考の深さをlowにするよりも、字数の条件を外すほうがずっと効いています。同じモデル、同じGPUでも、質問の書き方でここまで変化するようです。
ちなみに、プロンプトのトークン数を見ると面白いことが分かります。同じ質問文でも、highはlowより12トークン多くなっていました(字数なしでlowが63、highが75)。思考の深さの指定が、プロンプトの一部としてモデルに渡されているためだと思われます。
ここまでの実験から分かったことは2つです。
- 思考の長さは、設定よりも質問の書き方に大きく左右される 字数などの細かい条件を付けると、lowにしても思考が長くなります。逆に条件がなければ、highでも思考は数秒で終わります。チャットで気軽に使うなら、条件を付けすぎないほうが快適です。
- 生成速度は、思考が多いときのほうが速い 思考が中心だった2回は37.0tok/s、回答が中心だった3回は27.3〜29.7tok/sでした。VRAMヒット率はどれも97〜99%台なので、エキスパートの置き場所による差ではなさそうです。思考の文章は似た言い回しが続きやすく、MTP(次の数トークンの先読み)が当たりやすいのかもしれません。表や見出しの多い日本語の回答は、先読みが外れやすいのだと思います(このあたりは推測)。
VRAMヒット率が97〜99%台というのも注目したい数字です。使われたエキスパートのほとんどが、GPUのキャッシュに載っていたことになります。全体で125Bもあるモデルでも、実際によく使われるエキスパートは限られていて、R9700の32GBのVRAMでかなりの部分をカバーできているようです。
Prefill(プロンプトの読み込み)が62〜126t/sと低く見えるのは、プロンプトが45〜81トークンと短すぎるためです。Strataはプロンプトをまとめて読むほど速くなる作りなので、この数字は長いプロンプトでの実力とは別物と考えるのがよさそうです。
6.5 Monitorで様子を見る
Monitorのタブでは、モデルの状態とGPU、CPU、メモリの使用状況を確認できます。
StrataのMonitor画面

ただ、R9700の環境では、GPU load、VRAM、GPU temp、Power、PCIeの値がすべて「-」の表示になっていました。公式ドキュメントによると、サーバーが取得できない値は0ではなく「値なし」として扱われるようです。WindowsのAMD環境では、GPUの使用率や温度を取得する手段がまだ用意されていないようです。
一方で、Strata自身が把握している値はきちんと表示されています。
| 項目 | 表示 |
|---|---|
| Experts in VRAM | 14,318個、23.3GB |
| System RAM | 54.4GB/64GB |
| CPU | 2%(16コア、24スレッド) |
GPU側の様子は、以前作ったgputopとタスクマネージャーで補いました。
起動後のgputopの表示

| プロセス | VRAM |
|---|---|
strata(エンジン本体) |
29,547MB |
strata-vision-hip(画像エンコーダー) |
1,518MB |
画像エンコーダーもGPU上で動いていることが分かります。VRAMが24GB以上あるとGPUで画像を読むという公式の説明どおりです。
タスクマネージャーのGPUの画面

タスクマネージャーを見ると、専用GPUメモリは31.6GB/32.0GBとほぼ使い切っていて、共有GPUメモリも42.0GB使われていました。この共有GPUメモリは、メインメモリに置いたエキスパートをGPUから直接読めるように固定した分だと思われます。メインメモリの使用量も53.8GB/63.8GB(84%)なので、IQ3_XXSでも64GBのうちかなりの部分を使っています。
7. 速度を測ってみる
7.1 公式の参考値
公式ドキュメントには、IQ3_XXSについて次のような値が載っています。
| 環境 | 生成(短い会話) | 生成(128Kコンテキスト) | プロンプト読み込み |
|---|---|---|---|
| RTX 5070(12GB)+メモリ64GB | 62tps | 49tps | 1,750tps |
R9700の値はIQ3_Sのものがあり、物語系のプロンプトで75tps、コード系で95tpsとされています。ただし、どちらも0.2.0より前のエンジンでの値です。
VRAMが大きいほどよく使うエキスパートをGPUに載せられるので、R9700の32GBは有利に働くはずです。
7.2 R9700での実測
ソースから導入した場合は、BENCH.batで速度を測れます。会話、4Kと16Kのプロンプト、エージェント的な使い方までまとめて計測し、レポートが出るそうです。
PS> .\BENCH.bat
BENCH.batが文字コードのエラーで止まった
ところが、モデルの読み込みが始まったところで止まってしまいました。
PS D:\Strata> .\BENCH.bat
Quick speed check. For results other people can compare with (the standard benchmark, a few minutes), run: .venv\Scripts\python.exe strata.py bench run
Starting strata-iq3_xxs.json on port 8080 (loading takes 1-3 minutes; the PC may be slow meanwhile) ...
still loading (2 s) ...
still loading (32 s) ...
Traceback (most recent call last):
...(省略)
File "D:\Strata\tools\strata_bench.py", line 566, in project_version
m = re.search(r"project\(strata VERSION ([\d.]+)", (ROOT / "CMakeLists.txt").read_text())
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
...(省略)
UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 0: illegal multibyte sequence
日本語のWindowsではおなじみの、文字コードのエラーです😅
原因を調べてみると、次のような流れでした。
CMakeLists.txtは、先頭にBOM(EF BB BF)が付いたUTF-8のファイル- Pythonの
read_text()は、文字コードを指定しないとWindowsの既定の文字コードで読む - 日本語のWindowsでは既定がcp932(Shift_JIS)なので、先頭の
0xEFを読めずにエラーになる
実はSTART-HERE.batではこの問題が起きていません。batファイルを見ると、START-HERE.batには次の1行が設定されていて、PythonをUTF-8モードで動かしていました。
set "PYTHONUTF8=1"
コメントによると、ロシア語などの文字コードの環境で文字化けする問題(#3202)への対策として入ったもののようです。ところが、BENCH.batにはこの1行がなく日本語のWindowsでは文字コードのエラーになってしまうようです。
対処は簡単で、PowerShellで同じ環境変数を設定してからBENCH.batを実行します。
$env:PYTHONUTF8 = "1" .\BENCH.bat
ちなみに、この環境変数は起動後のBENCH.batとPythonにも引き継がれますが、このウィンドウを閉じれば設定も消えるので、他の環境への影響もありません。
これで、BENCH.batが最後まで動きました。
PS> $env:PYTHONUTF8 = "1" PS> .\BENCH.bat Starting strata-iq3_xxs.json on port 8080 (loading takes 1-3 minutes; the PC may be slow meanwhile) ... still loading (2 s) ... still loading (32 s) ... Running the suite (about 3-10 minutes) ... ...(省略) Results (median, range over the runs): chat decode tok/s 92.60 (81.50 - 129.90, n=9) chat first token (s) 0.29 (0.25 - 0.33, n=9) 4K prompt tok/s 1662.40 (1650.60 - 1666.00, n=3) 4K first token (s) 2.45 (2.45 - 2.47, n=3) 16K prompt tok/s 1716.00 (1715.70 - 1719.70, n=3) 16K first token (s) 9.39 (9.38 - 9.40, n=3) agent cache hit % 69.53 (69.44 - 69.53, n=3) agent re-read tokens/session 73.00 (73.00 - 75.00, n=3) agent turn first token (s) 2.21 (1.78 - 2.56, n=15) agent decode tok/s 99.90 (87.90 - 119.60, n=15) Report: bench\results\2026-10-24-community-ai-pro-r9700-qwen3-8-flash-next-iq3-xxs\README.md

結果をまとめると、次のとおりです。ベンチマークの結果はbench\resultsのフォルダにレポートとして保存されます。
| 項目 | 結果 |
|---|---|
| 短い会話の生成速度 | 92.6tok/s(81.5〜129.9) |
| 短い会話の最初のトークンまで | 0.29秒 |
| 4Kトークンのプロンプトの読み込み | 1,662tok/s(最初のトークンまで2.45秒) |
| 16Kトークンのプロンプトの読み込み | 1,716tok/s(最初のトークンまで9.39秒) |
| エージェント的な使い方の生成速度 | 99.9tok/s |
| エージェント的な使い方の最初のトークンまで | 2.21秒 |
公式の参考値(RTX 5070、メモリ64GB)と並べてみます。
| 項目 | RTX 5070(公式) | R9700(今回の動作環境) |
|---|---|---|
| 短い会話の生成速度 | 62tok/s | 92.6tok/s |
| プロンプトの読み込み | 1,750tok/s(32K) | 1,716tok/s(16K) |
生成速度は公式の値を大きく上回りました。VRAMが32GBあるので、よく使うエキスパートの多くをGPUに載せられているのが効いているのだと思います。プロンプトの読み込みも、16Kトークンを10秒かからずに読み込めていて公式の値とほぼ同様です。
チャットとベンチマークで速度が3倍違うのはなぜか
ここで気になるのが、6章のチャットでの生成速度(27〜37tok/s)と、ベンチマークの92.6tok/sの差です。3倍近く違います。
tools/strata_bench.pyの中を見ると、チャットとは測る条件がかなり違っていました。ベンチマークは次の条件で測っています。
- 思考はオフ(
reasoning_effortをnoneに設定) - temperatureは0(毎回、一番確率の高いトークンを選ぶ)
- 質問は英語の短い3問(Pythonの関数を書く、冷蔵庫の仕組みを説明する、語学学習のコツを10個挙げる)
Strataは、MTP層が次の数トークンを先読みし、本体がまとめて確かめることで速度を稼いでいます。temperatureが0だと出力が予想しやすくなるので、先読みが当たりやすくなると考えられます。実際、ベンチマークの中でもPythonのコードを書く質問がいちばん速く、最大129.9tok/sが出ていました。コードは次に来る文字の予想が立てやすいからではないかと思います。
いずれにしても、92.6tok/sは「条件がそろえばここまで出る」という上限に近い値で、日本語のチャットでの体感は30tok/s前後と考えておくのがよさそうです。
おわりに
メインメモリを64GBに増やしたことで、Qwen3.8-Flash-Nextを日本語でもまともに使えるサイズで動かせる条件が整いました。VRAMに載るモデルを素直に動かすLM Studioとは違い、GPU、メインメモリ、SSDに役割を分けて動かすStrataは、仕組みを知るだけでもかなり面白いエンジンですね。
今回の検証で分かったことをまとめると…
- R9700とWindowsの組み合わせでも、IQ3_XXSがきちんと動いた Strataのリリースノートでは、R9700を含むRX 9000シリーズのWindowsでの結果はまだ載っていません。そんな中、導入からベンチマークまで最後まで通すことができました。
- 日本語のチャットでは約30tok/s、条件がそろえば90tok/s超 ベンチマークでは92.6tok/sと公式のRTX 5070の値を上回り、16Kトークンのプロンプトも10秒かからずに読み込めました。
- 字数の指定は思考を大きく長引かせる 「800字程度で」を付けるだけで、回答までの時間が1〜2分から5〜8分に延びました。思考の深さの設定よりも、質問の書き方のほうが効きます。
生成品質についてはまだ十分に比較できていませんが、自分が壁打ちで使った範囲では、ローカルモデルとしてはかなり実用的に感じました。これからは生成の速さよりも質が問われる時代になってきているのかもしれません。
WindowsのAMD版は公式では、まだ実験段階という扱いです。今回もエンジンの取得で404エラーが出たり、BENCH.batが文字コードのエラーで止まったりとつまずきはありました。
個人的に年末に期待しているQwenの新バージョンが本当に出てくれたら、この環境でまた試してみたいと思います。WindowsのAMD版はまだ発展途上で、更新のたびに状況が変わっていきそうですね。