AMD GPUでローカルLLMを動かしていると、何度も出てくる疑問があります。 「ROCmとVulkan、結局どちらを使えばいいの？」 自分もRadeon AI PRO R9700を使い始めてから、ROCmとVulkanの両方を行ったり来たりしてきました。 最初は「AMDでAIを動かすならROCmだ…

先日、X（旧Twitter）で「OCRツールは多々あるけれど、精度と費用のバランスを考えるとYomiTokuが素晴らしい」という書き込みを見かけました。日本語特化のOCRというだけでも気になる話題だというのに、Pythonパッケージでローカル完結できるとなると試さな…

8月末にROCm 10.0がリリースされました。7.14からいきなり10.0という大ジャンプで、番号だけ見ると何か大きなことが起きたように見えます。 前回、RTX 4070 TiからRadeon AI PRO R9700に換装してローカルLLMのベンチを取り直したときは、ROCmのバックエンド…

自分のローカルLLM環境がだいぶ実用的になってきたので、Claude Codeのコーディングだけをローカルモデルに逃がせないか試してみました。もちろん、クラウド側のClaudeはもちろん便利なんですが、社外秘のコードやデータを触るときや、不在ときに生成を回し…