毎月開催されているwatsonx.ai Dojoのハンズオンの内容の復習の続きになります。今回は直前に体調を大きく崩してしまい、最新回までに間に合わず😫😫😫
イベントページ
今回のハンズオンではLLMの回答精度を上げる、RAG（Retrieval-Augmented Generation）とは異なるアプローチであるファインチューニングを試してみるという内容。今回の内容はコンピューティングリソースを非常に使用する可能性があるので、前半部分のハンズオンに留めておきたいと思います。
資料はConnpassページにもありますが、念の為こちらにも掲載しておきます。今回は最後にPythonでのコードの実行に関しては、初回参加時のエントリーで行った準備作業が必要になります。自分もやってみようという方はそちらも参考にしてください。
資料
資料（GitHub）
【動画】
続きを読む基本的にはローカルで動くコードを書くほうが好きなのですが、動作環境を渡すことやGPUのVRAMが8GB以上必要なプログラムの場合にGoogle Colabを使っています。あんまり慣れていないので結構な頻度でハマります。
コードによって生成したファイルをzip圧縮してダウンロードしたかったのですが、以下のように実行するとエラーが発生します。
処理としては/content/drive/MyDrive/witty/resultsに格納されているcsvファイルをzipファイルに固めて/content/data.zipに保存するといったものです。圧縮時にディレクトリ構造は不要だったので-jオプションをつけています。
!cd /content/drive/MyDrive/witty/results && zip -j -u /content/data.zip *.csv
どうやってもうまくいかないので調べてみると前半のcdがうまく行っていないことが原因でした。
!cdがうまくいかない理由結構有名な話なのでご存知の方も多いと思いますが、
!は実行が一時的な実行で状態は保持されないということです。今回は&&で区切られている前半コマンドと後半コマンドでパスの変動がないという状態です。ワンライナーであれば大丈夫かなと思ったのですが、&&の前後でプロセスが別れているために発生しているのでした。
もし、実行状態を保持するのであれば%（マジックコマンド）を使用するほうが良いとなります。
!と%の違い2つの差をまとめると…
続きを読む最近はPythonでいろいろなプログラムを書くことが増えてきました。デバッグにprint文をよく使っていたのですが、本番環境でのログ管理となると、もう少しちゃんとした方法を使わないといけないのではと度々思っていました。ただ、変更するのはかなり億劫でもあります😫
2025年となり、そういえばloggingモジュールを使えば、ログレベルとか出力先とかいろいろ制御できるよな～🙄と一念発起し、高機能なログ出力ができるPythonのライブラリを導入してみることにしました。
正直、最初は設定が多くて「やっぱりprintでいいんじゃない？🤔」と思っていましたが、使ってみると結構便利で、特に本番環境でのデバッグやトラブルシューティングが格段にやりやすくなりました！
loggingモジュールってどんなもの？初心者の自分が使ってみて感じたloggingモジュールの特徴を簡単にまとめてみました：
DEBUG、INFO、WARNING、ERROR、CRITICAL）で出力を制御できる（本番環境ではERRORだけ出力とか）【修正】/etc/wsl.confでfmaskの設定を行うとVisual Studio CodeがWSL側のコンソールから起動できなくなるため、fmaskの設定を削除しました（2025.01.10）
WSL（Windows Subsystem for Linux）を使って開発をしていると、Windows側のファイルの所有権やパーミッションで困ることがあります。
また、Visual Studio Codeなどのエディタを使用する際に、新規作成したファイルの所有者がrootになってしまうこともあります。
特に以前書いたエントリでWSLのディストリビューションのイメージをバックアップしたものを使用すると
デフォルトのユーザーネームの設定が削除され、以下のように起動しなければいけませんでした。
また、Windowsターミナル**のタブにある【＋】ボタンを使用するとrootユーザーでのログインとなっていました。
PS C:\> wsl -d <ディストリビューション名> -u <ユーザー名>
【WSLのOSイメージのバックアップとリストア：参考】
そこで今回はその2つの問題を解決するべく、WSLでファイルを作成する際の所有権とパーミッションの設定方法についてまとめます。
続きを読む
最近、音声認識の処理を行うプログラムを作成しています。開発・デバッグの際、マイクの前でテーマに沿った話をして、音声認識の確認を行う必要があるのです。内心これがとても面倒だなと思っています。特にテーマなどに全く関心がない場合には、なんにも頭にうかばない😫😫😫
そんなとき、RaspberryPiで音声合成をしたことを思いだしました。WSL環境でもできないかなと思いやってみることにしました。今回の内容は、WSL上に設定したVOICEVOX COREをPythonから利用する方法のまとめとなります。
以前はRaspberryPiにVOICEVOX COREを導入していましたが、今回はWSL環境への差し替えです。おおよその作業の流れは変わっていないと思います。
参考
再掲となりますが、VOICEVOX COREは、無料で高品質な音声合成が行えるソフトウェアで、特にプログラムを使って音声合成を行いたい方にはおすすめです。
今回は、環境設定・インストールとPythonからの簡単な使用例について解説します。
続きを読む