python
uvというツールを耳にしたことはありますか? 2024年に登場したこのRust製のPythonのパッケージマネージャが、開発者の間で注目になっています。ようやく従来のpipやvenvに慣れ親しんだというのに…「新しいツールって本当に必要?」なんだろうかというちょっ…
「後で読む」と思ってPocketに保存した記事が、気がつけば数百件と溜まっていませんか?私もその一人です興味深い記事を見つけるたびにPocketに保存するものの、実際に読み返すことは少なく、積読状態 しかし、Pocketに大きな変化が起きました。Mozilla(Fir…
RaspberryPiでセンサーデータをクラウド上のIoTサービスにアップロードするプロジェクトはよくあります。ただ、開発やテストの段階では、実際のセンサーを用意せずに、クラウド側との通信の動作確認をしたいことも多いと思います。 そこで、今回はセンサーを…
先日のGoogle I/O 2025で発表された、GeminiとGemmaの新しいモデルをPythonとGoogle Colab環境を使用し、API経由(無料枠内)で実行してみました。 注意事項 本記事の実行結果は特定の時点でのプレビュー版の性能です 正式リリース時には性能や回答品質が変…
メモ、タスク、アイデア、参考資料...日々増え続ける情報の洪水に困ったことはありませんか? メモアプリはたくさん使ってみたけど、続かない... 情報がバラバラで、必要な時に見つからない... 同じ作業の繰り返しに時間を取られている... こんな状況でもPyt…
During my participation in an IBM watsonx.ai Dojo session, I was introduced to an excellent conversion tool capable of handling various file formats. That tool is Docling! It appears to be quite effective for Retrieval-Augmented Generatio…
Linux環境(WSLを含む)でPythonを使用する際、一般的にpython3コマンドでPython3を起動する必要があります。Python2の存在感が薄れている現在であれば、pythonだけで実行できるほうが助かります。そこで、pythonでpython3で動作させるための方法を紹介しま…
前回のエントリーの内容 を他の人も使えるようにハンズオンにしてみました。初めて作ってみたけどどうだろうか はじめに:PythonによるAzure Functionsクイックスタート (所要時間:約5分) このハンズオンでは、Azure Functionsというサーバーレスコンピュー…
以前から「サーバーレス」という言葉をよく耳にしていたのですが、なかなか手が出せていませんでした。サーバーレスの仕組みはサーバーの管理や運用を自分たちで気にしなくていいため、開発に集中できる魅力があり、使ってみたい仕組みの一つではあります。…
音声認識を行っていると、音声と認識された文字起こしデータを比較することが多いと思います。実際はあっている・あっていないは、開発側ではなく別の方に調べてもらうほうが良いのですが、最低限の確認をする必要はあると思います。他にも音声認識の結果が…
子ども向けのレクチャーとしてmicro:bitを使用していますが、IoT系のハッカソンなどでは、複雑になってくるとmicro:bitからRaspberryPiへの変更を余儀なくされることもあります。ただ、micro:bitは電池駆動ができることで、身につけるものにもつけられるとい…
1. はじめに 「自分だけのAIアシスタントがあったら便利だろうな~」と思ったことはありませんか?そんな好奇心から、今更ながらOllamaで動かしている大規模言語モデル(LLM)のファインチューニングに挑戦してみました。プログラミング初心者向けの回答をよ…
最近はLLMを使ったシステム開発を行っているのですが、トークン(Token)数の限界なのか上手く生成ができないといったことがあります。 自分が大概無理なことを行っている事が多いのですがほんとうにどれくらいトークンを使っているのかが体感でわかっていな…
AI界隈の動きで、LLM(大規模言語モデル)に興味を持ち始めた方も多いのではないでしょうか。自分もそんな1人です。今回は、自分のPCに搭載されているGPUがLLMをどれくらい効率よく動かせるのかベンチマークをについてセットアップ方法とベンチマーク結果を…
Hugging Faceは、機械学習・自然言語処理モデルのオープンソースプラットフォームで、「AI界のGitHub」とも呼ばれ、最先端のAIモデルを共有・活用する中心的な場所となっています。Hugging Faceから最新のモデルをダウンロードしてローカルで使用する方法に…
あるプロジェクトではNode.jsを使い、別のプロジェクトではPythonを使う…。最近の開発では、異なる言語を行き来するのが当たり前になってきました。目的に応じて最適な言語を選びたいものですが、それに伴う「環境管理の悩み」も増えてきます。 例えば… 例え…
Google Colab上で簡単に音声を再生する方法を試しました。IPython.displayモジュールのJavascriptの実行の機能を使用することで、ブラウザ上でも音を鳴らすことができます。 例えば、長時間の処理が終わったら音を鳴らすといった処理もできます。 以下のコー…
いつもはてなブログで書いているのですが、QiitaとのMarkdownの違いに戸惑うので作ってみました。 このスクリプトは以下の変換を行っています。 はてなブログの画像記法をQiitaの記法に変換 文字サイズ指定を太字に変換 文字色指定を太字に変換 目次ディレク…
Google Colab(以下Colab)を使っていると、画像表示は比較的簡単なのに、標準出力や標準エラーでのメッセージ表示は少し前時代的に感じていました前回の記事ではtqdmライブラリを使ってプログレスバーの表示にチャレンジしましたが、他の部分もっと見栄えを…
Pythonでプログラムを実行していると、特に長時間かかる処理の場合、「今どこまで進んでいるのか」「あとどれくらいで終わるのか」が分からずイライラした経験はありませんか?私はいつも「イライラ?」というよりも「やきもき?」してます 例えば、大量のフ…
GoogleColab(以下Colab)を無料枠で使っていると、セッションが切断されてしまうことがあります。稼働残り時間には余裕があることで、セッションの切断に気が付かずに、長時間実行する機械学習のトレーニングや、大量データの処理が切断されると、非常に困…
Pythonを使用してLLMのプロンプトを書く中で、わりとPythonの文字列の扱いの奥深さを感じたので、今回はPythonでよく使う文字列処理の便利な小技をメモしておこうと思います。特にf文字列のネストや、r文字列、3重クォート文字列(""")の組み合わせについて…
先日、ビジュアルプログラミングIoTLT vol.19にてLTを行ってきました。IoTLTの中でも、いろいろなビジュアルプログラミングがあつまるスピンオフと位置づけの会です。 iotlt.connpass.com 自分もノーコード・ローコード系をよく触るのでNode-REDなどについて…
前回はDoclingというドキュメントコンバートツールを紹介しました。その後、他の変換ツールを探していた所、MicrosoftさんのGitHubにMarkItDownというツールがある事がわかりました。用途はDoclingと大きく変わりませんが、対応フォーマットが特殊ものもあり…
IBM watsonx.ai DojoでRAGとして様々なファイルのフォーマットを使用するための変換ツールを紹介していただきました。 それが今回紹介するDoclingです Doclingとは? Doclingは、簡単にいうならば様々なドキュメントに対応したHTML、Markdown、JSONへのコン…
最近はPythonでいろいろなプログラムを書くことが増えてきました。デバッグにprint文をよく使っていたのですが、本番環境でのログ管理となると、もう少しちゃんとした方法を使わないといけないのではと度々思っていました。ただ、変更するのはかなり億劫でも…
毎月開催されているwatsonx.ai Dojoのハンズオンの内容の復習の続きになります。 イベントページ ibm-developer.connpass.com 応用編として開催された今回のハンズオンでは、これまでのプロンプトエンジニアリングから一歩進んで、RAG(Retrieval-Augmented …
はじめに イベントなどでXへの投稿を促してもなかなかポストされないので、以下のようなQRコードをスライドに貼り付け、読み取ってもらうとポスト率が爆上がり❤️❤️❤️になります。文章の雛形やハッシュタグを含めればボタンひとつで投稿され便利。 イベン…
Pythonのバージョン3.6から導入されているf文字列(f-string:フォーマット文字列)は普通は便利なので普段遣いしていますが、色々と知らない機能があったのでメモ。 テキストの配置と整形 プログラムで標準出力に途中結果を表示することはあるかなと思いま…
ネットを見ていて、以下の情報を見つけました。入力情報などでURLがあった場合にURL.canParse()メソッドを使用して、その妥当性を判定できます。アクセス前にURLの妥当性を確かめられるのはとても便利です😊 azukiazusa.dev 私は、JavaScriptではなくPythonを…