Dockerでコンテナを触っているとdocker run実行後に以下のような表示が出たことはないでしょうか。ここ最近DockerでOllamaを触って、そのころから毎回出力されている状態です。
What's next:
Try Docker Debug for seamless, persistent debugging tools in any container or image → docker debug ollama
Learn more at https://docs.docker.com/go/debug-cli/
情報としてはデバック関連のサジェストみたいなものなので、コマンドの実行自体には問題はありませんが、毎回出るとちょっと勘弁してほしいなと思いました。そこでこの対応策を調べたのでメモしておきます。
続きを読む最近、AIのことは一応触ってはいますが、ちっともわからない状況です🫠
先日までOllamaを使用していたのでローカルLLMについてはなんとなく分かってきた様でもありという状況ですが、OllamaはGGUF形式のモデルが使えるとはいえ、すべてのモデルがGUFF形式で公開されているというわけはありません。
リポジトリ内には拡張子が無いモデルのファイルがあって…これ何？って感じです。なんとなく分かってきたのはHuggingFaceにで公開されているモデルはHFって呼ばれるモデルのようですが…。どこかに名言されてるんでしょうか🙇
ということで、HuggingFaceに公開されているHFモデルをなんとかしてOllamaでも使用可能なGGUF形式に変換できないかという内容でチャレンジしてみたいと思います。
（2024.09.11）Ollamaに作成したGGUF形式のモデルをpullする方法のリンクを追記
【参考】
これまでOllamaを使用して比較的容易にローカルLLMモデルを使用することをやってきました。ここまで来ると未対応のLLMモデルを使用したくなってきます(よね😊)。
そこで、OllamaのREADMEファイルを読んでいったところ
Import GGUFという項目がありました。
GGUFとは LLMモデルをllamma.cppから使用できるようにしたバイナリ形式のファイルになります。現在はこのファイル形式で使用できる処理系も増えてきています。HuggingfaceでもGGUF形式のファイルが公開されていて、それをOllamaからロードしてすることができるようになります。デフォルトで対応したLLMモデルは少ないのですが、GGUF形式まで含めると数多くのモデルが使用できます。
参考
自分も話題になっていたrinna、楽天、サイバーエージェントのモデルを使ってみたいと思っていたので、今回はこの使い方を含めてまとめてみたいと思います。
先日、オンラインで生成AIと向き合うための準備編 〜watsonx.ai Dojo #1〜に参加しましたので、その内容をレポートとともに次回に向けての環境設定を行ってみます。
今回は知人から紹介を受けて、watsonx.aiに興味があったので参加です。自分のAIの知識は我流なので系統立てて学んでいない分、知識にグラデーションが大きいなと感じていたので、こういうイベントには参加したいと思っています。
初回は予備知識的なことを説明する内容でした。AIの歴戦の勇者たちには「わかってますよ」的なことではありますが、そういう内容も自分には知らないことだらけだったので、学びになっています。
スケジュール的には毎月1回計6回という内容です。自分のwatsonx.aiの知識は2回目と3回目の間ぐらいなのかなと思っているので、ちょうどいいかなと思います。
以前の投稿では、少し古いゲーミングPCにUbuntuをインストールし、Dockerコンテナを使ってOllamaを起動し、ローカルLLM環境を構築しました。
PC上でローカルLLMを動作させていましたが、最近ではモデルサイズが小さく、よりコンパクトなLLMが登場しています。このようなモデルであれば、RaspberryPiのようなエッジデバイスでも動作可能です。少し前には、RaspberryPi5でTinyLlamaというコンパクトなLLMを動作させる記事が話題になっていました。
参考
恥ずかしながら今回の内容はその何番煎じというものです🫠🫠🫠 作業内容は参考サイトでもかなり記載があるので、こちらではある程度にとどめ、私は使用感など見ていきたいと思います。
