「自分のPCの中だけでAIを動かしてみたい」と思って、モデルを探してダウンロードしてみる。ところが、いざ動かそうとしたら重すぎて動かない、あるいはメモリに収まらずエラーで止まってしまう…。 ローカルLLMCPを触りはじめると、わりとよくあるのがこのパ…

コトの発端は、ちょっとした素朴な疑問でした。 Microsoft CopilotからChatGPTを使って画像を生成したとき、ふと「この画像、実際に作ったモデルは何なんだろう？」と思ったんですよね。 Copilotの裏で動いているのはChatGPTのはずだけれど、画像そのものを…

ローカルLLM環境をいろいろ触っていると、必ずぶつかるのがVRAMの壁なんですよね。12Bクラスのモデルをbf16のまま動かそうとすると、重みだけで約24GBのメモリが必要になり、手元のGPUでは厳しい…という場面が多いのではないでしょうか。自分のデスクトップP…

⚠️ この記事の情報は2026.05時点のものです。購入を検討される方は一次情報を必ず再確認してください。自分はまだ実機を入手していないないので、あくまでスペックからの推測をベースにした調査・整理メモとなります。

Google I/O 2026（2026年5月19日(火)〜5月20日(水)開催）が終わりました。例年通り発表数が多すぎて、自分も全体像を整理するのにけっこう時間がかかったんですよね。Gemini 3.5 Flash、Managed Agents、Antigravity 2.0、Searchの刷新、ChromeのWebMCP…どれ…

最近、YouTubeで「予算別ローカルLLM思考実験」的な動画を見かけまして、これがなかなか面白い内容だったので、自分のこれまでの検証経験と照らし合わせながら同じことをやってみようと思っての記事となります 自分の環境は、RTX 4070 Ti（12GB VRAM）のデス…

実は2026年の4月くらいから、長らくメインだったWindowsから少しずつMacも使えるようにする「Macリハビリ」を始めていまして 手持ちのM1 MacBook Air（2020年モデル、16GB）を引っ張り出して、ちょこちょこ環境を整えながら使い慣れているところです。 そん…

先日の記事では、Granite 4.1をRaspberry Pi 5で試していましたが、そのなかでFunction Calling（ツール呼び出し）を初めて使いました。 名前は知っていたけど実際に触ったのは初めてで、やってみたら思っていたより仕組みがシンプルだったので、備忘録とし…

前回の記事ではFoundry Localの調査・考察編として、Microsoftの戦略やOllama/LM Studioとの違いについて書いてみました。 今回はハンズオン編として、Foundry Localを動かしてみようと思います。 前回も書いた点ですが、ポイントは以下の2つです。 Windows…

Ollama、LM Studio、llama.cpp…ローカルLLMのツール、もうお腹いっぱいと思っていたら、MicrosoftがFoundry Localというものを出していました。しかもつい最近GA(一般提供)になったらしい。 初めて名前を聞いたときは「Azure AI Foundryのローカル版かな？」…

ここ最近、ローカルLLM周りの話題の流れがいよいよ早くなってきたなと感じています。新しいモデルが発表されたかと思えば、翌週には量子化版が公開され、その次の週には本家llama.cppにマージされて…というペースで、ちょっと目を離すとすぐ置いていかれそう…

4月に復帰してからというもの、日中は業務に追われてClaudeをじっくり触る時間がほとんど取れていない。Max 5xプラン（$100/月）を契約しているのに、正直もったいない状態が続いている 私は世間的には非エンジニアにカテゴライズされているメモ帳プログラマ…

大学も卒業したので、やっているときにはあまり考えられなかったところを、かじった程度の視点から考えてみました。 RAGってそもそも何？ AI（大規模言語モデル＝LLM）は賢いけれど、社内固有情報や新事実に対してはそのままでは弱い。「うちの会社の就業規…

最近、ローカルLLMの実行環境としてOllamaやllama.cppを使うことが多くなりました。そんななか、「もっとポータブルにできないかな？」と想像してしまいます。出先のPCでサクッとLLMを動かしたい場面って意外とあるんですよ特に、勉強会でのデモや、企業の社…

3月はDELLのアンバサダー・プログラムでIntel Core Ultra 7 268V搭載のPCをお借りしていましたが、せっかくNPUがあるのにあまり活用できていないなーと思っていました。ローカルLLMは、普段llama.cpp、Ollama、LM Studioなどで動かしていますが、これらのタ…

今回でいよいよ最終回、5回目のDell Pro 13 Premiumガチレビューとなります。 本記事は、デル アンバサダープログラムのモニターに参加し、Dell Pro 13 Premiumをお借りしてレビューしています。 #デルアンバサダー #DellPC #DellPro13Premium #ノートPCレビ…

この内容は「なごあずの集い#8」で発表した内容をベースに、さらに詳細な手順や補足情報を加えたものになります。 https://75az.connpass.com/event/383389/ speakerdeck.com Microsoftが開発したマルチエージェントシミュレーションライブラリTinyTroupeを…

OllamaはローカルでのLLM実行ツールとしておなじみですが、2025年9月から「クラウドモデル」がプレビューとして提供されています。手元のPCでは動かせないような大規模モデルを、Ollamaのデータセンター上で実行できる機能です。 ちょっと思ったのは、「ロー…

最近、ローカルLLMを使用していると、いろいろなアプリケーションから使いたいなと思っていて、ふと「Excelから直接ローカルLLMを呼べないかな？」と思ったんですよね。 ExcelからLLMといえばVBAを使う方法が真っ先に浮かびますが、正直なところ新規でVBAを…

2026年2月、ローカルLLMを触っている人にとってはかなり大きなニュースがありました。 llama.cppの創設者であるGeorgi Gerganov率いるggml.aiが、Hugging Faceに合流するというものです。 Hugging Face公式ブログではこう書かれています。 We are super happ…

Windowsでのllama.cppのインストールに関して自分用にまとめておこうと思います。OllamaやLM Studioはインストーラーがありますが、llama.cppはインストールがないので、一旦まとめておきます。 これは、動作させる環境がCPUのみ、CUDAあり、その他環境もあ…

IBM Project Bob（このエントリでは以降 Bob IDEとします）は、IBMが開発したAIエージェント搭載のIDE（VS Codeのフォーク）です。AIエージェントにコマンドを実行させ、プログラムの生成や実行を自動化できる、いわゆるAIコーディングエージェント系のツー…

Raspberry Pi 5がまた値上げになりましたね www.gizmodo.jp 16GBモデルが60ドルアップで205ドル（約3万円）。しかも2025年12月に値上げしたばかりで、わずか2カ月での再値上げです。原因は世界的なRAM不足とのこと。 このニュースを見て真っ先に思ったのが、…

2026年1月27日、「IBM Elite Support for Docling」の一般提供（GA: General Availability）について発表がありました。 community.ibm.com これだけ見るとDoclingは有料になっちゃうの？と感じますが、そうでは無いようです。 この発表の意味するところや企…

以前のエントリなどでも触れていましたが、Raspberry Pi 5（8GB RAM）でリアルタイム対話可能な日本語LLMは実現可能となりつつあります。それも、特別なハードウェアを使用することなしにです。 これは、1B〜3Bパラメータのモデルでもかなり優秀になってきて…

最近、卒業研究の論文で忙しかったのですが、ようやく峠をこえましたそんななかで「Graniteって最近どうなってるんだろう？」と思い立ち、公式サイトやHugging Faceのibm-graniteリポジトリを眺めてみました。LlamaやMistral、Qwenなど選択肢が増える中で、I…

2026/01/21追記：CPU N100、12GBメモリのWindowsPCでllama.cppで動作したところ10tokens/sというスピードでした。 前回はGPUなしで動く！1GB小型LLM「LFM 2.5」の導入方法と実力検証という内容で、軽量なLLMモデルLFM 2.5をGPUのないノートPC環境で動かす方…

2026/01/21追記あり：LM Studioから直接モデルのダウンロードができる様になりました。 2026/01/21追記あり：N100CPUでの動作スピードを追記（約8tokens/s）。 最近、ローカルLLMを動かすためのGPUやメモリの価格が高騰していて、「新しくPC環境を揃えるのは…

修論まだ終わってないのに… 現在、絶賛修論執筆中の身ですが、修論の研究でStreamlitでLLMを使った実験用のアプリを作っていたときに 「複数のLLM APIを呼び出して、結果が返ってくるの遅くない？」から始まった技術検証の話を書きます。 複数のプロンプトを…

この画像はエントリの内容ををNano Banana Proのインフォグラフィックスとなります なぜ今さら"規格"の話が大事なのか 2025年はAIエージェントの年になるって予想がいろいろ出ていましたよね。2026年1月現在の振り返ってみると、少なくともAIエージェントの…