RaspberryPiでPechatを使用してみる【失敗？】

RaspberryPiでPechatを使用してみる

pechat.jp

（注）今回のエントリーは失敗の記録になります。ただ、デバイスとしては使用できています。最後の方だけみてもらえればいいかなと思います。

以前のエントリーにも書いたダブルドライバーをRaspberryPiでの実現に向けた企画の第2段です。前回はUSBを挿入すると音がなるところまでを実現しました。しかし、RaspberryPiをバックルに入れて更にスピーカーを接続するとなるとかなり本体のサイズが大きくなることが予想されます。また、スピーカーの電源まで考えるとかなり苦労しそうな感じです。 そこで音声デバイスはBluetoothスピーカーの使用を考えてみることにしました。

ネットを調べてみると

サイズも小さく電源が内蔵されているのがかなり助かりそうなデバイスです。

【 主な仕様 】

通信方式：Bluetooth 見通し送信距離：約10m（使用環境による） 電源：3.7V リチウムイオンポリマー二次電池 充電時間：約3時間 連続使用時間：約1.2時間 外形寸法：直径45mm 奥行き21mm（取り付け部含む） 重量：20g 付属品：充電ケーブル 対応OS：iOS9.0以上／Android5.0以上

対応OSはiOS9.0以上／Android5.0以上となっていますが、基本的にはBluetoothスピーカーなので使えないことはないでしょうw。

RaspberryPiでBluetoothスピーカーを使う

参考にしたのは下記になります。 qiita.com

まずはBluetoothドングルをRaspberryPiに接続します。 使用したドングルは以下になります。

ドングルをさしてlsusbコマンドを実行すると

【ドングルを挿す前】

$ lsusb
Bus 001 Device 005: ID 045e:075d Microsoft Corp. LifeCam Cinema
Bus 001 Device 004: ID 0411:01ee BUFFALO INC. (formerly MelCo., Inc.) WLI-UC-GNM2 Wireless LAN Adapter [Ralink RT3070]
Bus 001 Device 003: ID 0424:ec00 Standard Microsystems Corp. SMSC9512/9514 Fast Ethernet Adapter
Bus 001 Device 002: ID 0424:9514 Standard Microsystems Corp.
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

【ドングルを挿した後】

$ lsusb
Bus 001 Device 006: ID 0a12:0001 Cambridge Silicon Radio, Ltd Bluetooth Dongle (HCI mode)
Bus 001 Device 005: ID 045e:075d Microsoft Corp. LifeCam Cinema
Bus 001 Device 004: ID 0411:01ee BUFFALO INC. (formerly MelCo., Inc.) WLI-UC-GNM2 Wireless LAN Adapter [Ralink RT3070]
Bus 001 Device 003: ID 0424:ec00 Standard Microsystems Corp. SMSC9512/9514 Fast Ethernet Adapter
Bus 001 Device 002: ID 0424:9514 Standard Microsystems Corp.
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

Bus 001 Device 006: ID 0a12:0001 Cambridge Silicon Radio, Ltd Bluetooth Dongle (HCI mode)が認識されたドングルになります。

ソフトウエアの確認

音声の出力に関してはPulseAudioを使用します。

PulseAudio

正確にはPulseAudioからBluetoothを経由して音声の出力を行うことになりますのでpulseaudio-module-bluetoothもインストールします。

ただ、最近のRasbianにはインストール済みであることが多いです。今回のバージョン情報は以下のような感じです。

$ lsb_release -a
No LSB modules are available.
Distributor ID: Raspbian
Description:    Raspbian GNU/Linux 8.0 (jessie)
Release:        8.0
Codename:       jessie

念のためパッケージの確認すると

$ dpkg -l | grep pulse
ii  libpulse0:armhf                       5.0-13                                    armhf        PulseAudio client libraries
ii  libpulsedsp:armhf                     5.0-13                                    armhf        PulseAudio OSS pre-load library
ii  pulseaudio                            5.0-13                                    armhf        PulseAudio sound server
ii  pulseaudio-module-bluetooth           5.0-13                                    armhf        Bluetooth module for PulseAudio sound server
ii  pulseaudio-module-x11                 5.0-13                                    armhf        X11 module for PulseAudio sound server
ii  pulseaudio-utils                      5.0-13 

インストールが必要なパッケージはほぼ入っています。この状態のインストール作業をすると

$ sudo apt-get install pulseaudio-module-bluetooth
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています
状態情報を読み取っています... 完了
pulseaudio-module-bluetooth はすでに最新版です。
以下のパッケージが自動でインストールされましたが、もう必要とされていません:
  ax25-node libax25 libllvm3.7 openbsd-inetd
これを削除するには 'apt-get autoremove' を利用してください。
アップグレード: 0 個、新規インストール: 0 個、削除: 0 個、保留: 161 個。

最新の状態なのでインストールのやり直しはありません。（心配ならapt-get upgradeするのがいいと思います。）

Bluetoothの状態を確認する

bluetoothctlコマンドを使用すればBluetoothのペアリングなどを操作する事ができますので、設定の前に確認してみます。

$ sudo bluetoothctl -a
[NEW] Controller 00:1B:DC:06:XX:XX raspberrypi [default]
[NEW] Device CC:30:80:00:XX:XX Pechat-00F8A1
Agent registered
[bluetooth]# scan on
Discovery started
Discovery started
[CHG] Controller 00:1B:DC:06:XX:XX Discovering: yes
[NEW] Device CC:30:80:00:XX:XX Pechat-00F8A1
[CHG] Device 75:66:AC:C7:XX:XX RSSI: -75
[CHG] Device CC:30:80:00:XX:XX RSSI: -57
[DEL] Device 75:66:AC:C7:XX:XX 75-66-AC-C7-90-25
[DEL] Device CC:30:80:00:XX:XX Pechat-00F8A1
[NEW] Device 75:66:AC:C7:XX:XX 75-66-AC-C7-90-25
[CHG] Device 3C:77:E6:03:54:C9 UUIDs:
        00001200-0000-1000-8000-00805f9b34fb
[NEW] Device CC:30:80:00:XX:XX Pechat-00F8A1
[bluetooth]# pair 00:1B:DC:06:XX:XX
Device 00:1B:DC:06:XX:XX not available
[bluetooth]# connect 00:1B:DC:06:XX:XX
Device 00:1B:DC:06:XX:XX not available
[bluetooth]# quit
Agent unregistered
[DEL] Controller 00:1B:DC:06:XX:XX raspberrypi [default]

あれ？うまくペアリングができないようです。 正常であれば、pairとconnectのコマンドでデバイスのMAC指定すれば行けるようなんですが…不吉な予感です。 念のためにsyslogを確認すると

$ tail /var/log/syslog
（略）
May  4 14:57:55 raspberrypi bluetoothd[435]: a2dp-sink profile connect failed for CC:30:80:00:XX:XX: Protocol not available

となっていました。プロファイルが違うということのようです。 設定をちゃんと行えればいいのかなと思いましたのでそのまま作業は続行します。

ソフトウエアの設定

あとは参考にしたブログの通り作業を行っていきます。

/etc/systemd/system/pulseaudio.serviceファイルを作成

$ sudo vim /etc/systemd/system/pulseaudio.service

【/etc/systemd/system/pulseaudio.service】

[Unit]
Description=Pulse Audio

[Service]
Type=simple
ExecStart=/usr/bin/pulseaudio --system --disallow-exit --disable-shm

[Install]
WantedBy=multi-user.target

/etc/dbus-1/system.d/pulseaudio-bluetooth.confファイルを作成

$ sudo vim /etc/dbus-1/system.d/pulseaudio-bluetooth.conf

【/etc/dbus-1/system.d/pulseaudio-bluetooth.conf】

<busconfig>

  <policy user="pulse">
    <allow send_destination="org.bluez"/> 
  </policy>

</busconfig>

pulseaudioサービスの設定

サービスのスタートと自動起動の設定を行います。

$ sudo systemctl start pulseaudio.service
$ sudo systemctl enable pulseaudio.service

これで完了です。 あとは先程と同じくBluetoothの状態の確認をします。

再度、Bluetoothの状態を確認する

今度はうまくconnect

$ sudo bluetoothctl -a
[NEW] Controller 00:1B:DC:06:XX:XX raspberrypi [default]
Agent registered
[bluetooth]# scan on
Discovery started
[CHG] Controller 00:1B:DC:06:XX:XX Discovering: yes
[NEW] Device CC:30:80:00:XX:XX Pechat-00F8A1
[bluetooth]# pair CC:30:80:00:XX:XX
Attempting to pair with CC:30:80:00:XX:XX
[CHG] Device CC:30:80:00:F8:A1 Connected: yes
[CHG] Device CC:30:80:00:F8:A1 UUIDs:
        00001101-0000-1000-8000-00805f9b34XX
        0000110b-0000-1000-8000-00805f9b34XX
        0000111e-0000-1000-8000-00805f9b34XX
        00001200-0000-1000-8000-00805f9b34XX
[CHG] Device CC:30:80:00:XX:XX Paired: yes
Pairing successful
[CHG] Device CC:30:80:00:XX:XX Connected: no
[bluetooth]# scan off
[CHG] Device CC:30:80:00:XX:XX RSSI is nil
Discovery stopped
[CHG] Controller 00:1B:DC:06:XX:XX Discovering: no
[bluetooth]# connect CC:30:80:00:XX:XX
Attempting to connect to CC:30:80:00:XX:XX
[CHG] Device CC:30:80:00:XX:XX Connected: yes
Connection successful
[bluetooth]# quit
Agent unregistered
[DEL] Controller 00:1B:DC:06:XX:XX raspberrypi [default]

一応、うまく認識ができたようです。

音声を出力してみる

$ aplay ./sample.wav
ALSA lib pulse.c:243:(pulse_connect) PulseAudio: Unable to connect: アクセス拒否

aplay: main:722: audio open error: 接続を拒否されました

オゥフ…

そういえば？

Xの画面上にもBluetoothの設定のアプリケーションがあったよな気がしますのでそれも確認してみます。

Xの画面上の右上の部分にそれはあります。

このBTのマークがそれになります。

マウスで左クリックをすると接続されているBluetoothデバイスが表示されます。この表示ではPechatも認識されている様です。

続いて、その2つ隣の音声アイコンを右クリックし音声出力の状況を確認します。

正常ならばこの状態で出力するデバイスにチェックが入っているのですが、チェックがありません。これが原因ということなのでしょうか。一応Pechatのところでクリックしてみると、一瞬ダイアログが表示されているようです。

$ aplay sample.wav
再生中 WAVE 'sample.wav' : Signed 16 bit Little Endian, レート 44100 Hz, ステレオ

音声はなりませんが、エラーはなくなりました。うーん…。

どうしようもないので今回は設定を元に戻してみます。

$ sudo systemctl stop pulseaudio.service
$ sudo systemctl disable pulseaudio.service

気を取り直してX側から設定を行います。

まずはBTのアイコンをマウスで左クリックしてメニューを開きます。

その中から【Add Device】を選択します。すると認識されているデバイス一覧のダイアログが開きます。

一覧の中から【Pechat】のデバイスを選択し【Pair】ボタンをクリックします。

うまく行けば、ペアリング成功の旨を表すダイアログが表示されます。（ここでaudioメニューから出力するデバイスを選んでねというメッセージがでます。BTの設定ではないのが謎です。）

もう一度BTアイコンを左クリックしてみるとPechatがメニュー上に現れます。選択してみると

【connect】がでてくるのですが、選択してもコネクションが失敗するメッセージダイアログが表示されるだけです。

次はオーディオメニューを確認してみると、ちゃんとメニューには出力対象のデバイスにチェックがついています。また、こちらにもPechatが表示されています。

先程のメッセージにもあった通りこちらでデバイス選択をしてみます。

接続処理を行い…

接続に成功した様です。

処理がうまく行ったら、音声を鳴らしてみます。

$ aplay sample.wav
再生中 WAVE 'sample.wav' : Signed 16 bit Little Endian, レート 44100 Hz, ステレオ

文字だけではわかりませんが、うまく出力できました。コマンドラインではうまくできませんでしたがXからの設定ではうまく行ったようです。

終わりに

一応、デバイスとしては使用できるようにはなりました。現時点での難点はコマンドラインでの設定変更ができない点です。とはいえ、Pechatは非常にコンパクトで音声を鳴らすことのできるデバイスなので、今後比較的に利用ができそうなスピーカーデバイスではないでしょうか。

えーマジifconfig!!ifconfigが許されるのはオッサンだけだよね!（ifconfigからipコマンドへの移行）

えーマジifconfig!!ifconfigが許されるのはオッサンだけだよね!

また、自戒の念を込めたクソネタです。

ネットで少し前にLinux界隈でIPアドレスを調べたりするときに、ifconfigコマンドは過去のもの（Deprecated）となりipコマンドが推奨されるという記事がでていました。

【参考】 understeer.hatenablog.com

net-toolsパッケージのメンテナンスが行われていないので推奨されないということのようです。 このパッケージに含まれるコマンドはarp, ifconfig, iptunnel, iwconfig, nameif, netstat, route になるそうです。

個人的にはネットワーク関連のコマンドはそうそう打つ人間ではないのですが、ifconfigやrouteぐらいは使用するので結構衝撃的な記事でした。

そして、…月日は流れます。

ふと、ネットワーク関連のコマンドを打とうとしたときに/sbin/ifconf...と打っている自分がいました。頭ではわかっているのですが、体が覚えてしまっています。 そこで反省を込めてブログエントリとして推奨コマンドをまとめたいと思いました。そして、古いコマンドはもう使わない決意をします。

コマンド対比表

今後推奨されないコマンド（Deprecated）	代替のコマンド（Replacement）
arp	ip n
ifconfig	ip a
iptunnel	ip tunnel
iwconfig	iw
nameif	ip link
netstat	ss
route	ip r

netstatコマンドのssが少し違うので注意かなと思いました。

【参考】 Deprecated Linux networking commands and their replacementsdougvitale.wordpress.com

おわりに

使わない宣言したけど大丈夫だろうか

PC版 Rasbian Pixcelにnode.jsをインストールする

PC版 Rasbian Pixcelにnode.jsをインストールする

勉強会でUbuntu系のOSをつかってNode.jsを触る必要があったので、以前設定していたPC版Rasbian Pixelを使用しようと思いました。

ご存知の通りUbuntuベースのデフォルトのNode.jsのバージョンは古いので何とかしなければなりません。RaspberryPiでNode.jsのインストールの関連を何回かやっていたのですが、PC版では初めてということでインストールのメモ。ソースから入れると厳しいのでググるとよく出てくるn packageを使用します。

github.com

インストール手順

n packageをインストールするにもNode.jsが必要なので以下の手順をとります。

1. デフォルトのNode.jsパッケージとnpm（何れも古いもの）をインストール
2. 古いnpmを使用してn packageをインストール（-gでインストール）
3. n packageを使用して比較的新しいNode.jsをインストール（LTSかStableか）
4. 最初に入れたデフォルトパッケージのNode.jsとnpmを削除

デフォルトのNode.jsパッケージとnpm（何れも古いもの）をインストール

他と同様にapt-getを使用してインストールを行います。

$ sudo apt-get install -y nodejs npm

デフォルトのパッケージではコマンドがnodeではなくnodejsになっていました。 バージョンを確認します。

$ nodejs -v
v0.10.29
$ npm -v
1.4.21

古いnpmを使用してn packageをインストール（-gでインストール）

つづいて、n packageをインストールします。

$ sudo npm cache clean
$ sudo npm install n -g

一行目のキャッシュクリアはインストール時にキャッシュが悪さをすることがあるようなので対策になります。

【参考】 qiita.com

n packageを使用して比較的新しいNode.jsをインストール（LTSかStableか）

n packageがインストールできたので、これを使用して新しいバージョンのNode.jsをインストールします。

stableをインストールする場合は以下で

$ sudo n stable

LTSをインストールする場合は以下で

$ sudo n lts

インストールされたnodeをデフォルトとして使用できるように、シンボリックリンクで入れ替えておきます。

$ sudo ln -sf /usr/local/bin/node /usr/bin/node

-fは強制処理フラグです。

処理が終わったらバージョンの確認になります。少数点以下のバージョンでなければ問題ないでしょう。最近のパッケージでは4以上対応になっているものが多いようです。 自分はstableでインストールしたので以下の様になりました。（2017/04/25現在）

$ node -v
v7.8.0
$ npm -v
4.2.0

最初に入れたデフォルトパッケージのNode.jsとnpmを削除

最初にパッケージでいれたNode.jsとnpmは不要になるのでパッケージから削除します。

$ sudo apt-get purge -y nodejs npm

これで終了です。

おわりに

単なる備忘録になってしまいました。ただ、n packageがあればバージョンを簡単に変更できるのでこちらの方が簡単に管理できそうです。 思いなおしてみるとRaspberryPi側もn packageを使ったほうが良かったのかなと思いました。

RaspberryPiでUSBメモリを挿したことをユーザプログラムから認識する

RaspberryPiでUSBメモリを指したことを確認する

つい先日名古屋ではこういうイベントがありました。

geekbar.doorkeeper.jp

発表もいろいろあったので自分ももう少し作品作りをしなければという気持ちになりました。ということで次回のイベント（？）に向けて自分も作ってみることにしました。（過去の焼き直しではありますが）

今回のエントリーでは、仮面ライダーWのダブルドライバーをRaspberryPiで実現に向けたものにしようと思います。昔作ったものはPCベースだったため、ベルト化（小型化）が難しかったのですが、今回はRaspberryPiでの実装ですのでバックル化も可能になると思います。最終ターゲットは腰に巻けるようにすることになります。

Wドライバーは以下のようなものです。

Amazon CAPTCHA

簡単にいうとUSBメモリを挿し、挿したものの種類を判別して音を鳴らすというものになります。Windows版については以下を参照してください。該当の組み合わせであれば変身音がなるというものです。

変身ベルトアプリ謎 from Shigeo Ueda

www.slideshare.net

USBメモリを抜き差しを検出する。

ネットを色々と調べてみるとLinuxではudevを使用することでデバイスの接続を確認することができるようです。

itpro.nikkeibp.co.jp

これによれば

udev（userspace device management）とは，カーネルがパソコンへの接続を検出したデバイスに対して，動的に「デバイス・ファイル」を作成して割り当てるための仕組みです。 Linuxは，システムに存在するあらゆるリソースをファイルとして扱うという特徴を持っています。

事前にlsusbを使用してみる

とりあえずudevを使用する前に、接続しようとする、USBメモリの認識を確認しておきます。USBの接続状況を確認するのは恒例のlsusbコマンドになります。

【接続前の状態】

$ lsusb
Bus 001 Device 005: ID 045e:075d Microsoft Corp. LifeCam Cinema
Bus 001 Device 004: ID 0411:01ee BUFFALO INC. (formerly MelCo., Inc.) WLI-UC-GNM2 Wireless LAN Adapter [Ralink RT3070]
Bus 001 Device 003: ID 0424:ec00 Standard Microsystems Corp. SMSC9512/9514 Fast Ethernet Adapter
Bus 001 Device 002: ID 0424:9514 Standard Microsystems Corp.
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

【接続後の状態】

$ lsusb
Bus 001 Device 006: ID 090c:1000 Silicon Motion, Inc. - Taiwan (formerly Feiya Technology Corp.) Flash Drive
Bus 001 Device 005: ID 045e:075d Microsoft Corp. LifeCam Cinema
Bus 001 Device 004: ID 0411:01ee BUFFALO INC. (formerly MelCo., Inc.) WLI-UC-GNM2 Wireless LAN Adapter [Ralink RT3070]
Bus 001 Device 003: ID 0424:ec00 Standard Microsystems Corp. SMSC9512/9514 Fast Ethernet Adapter
Bus 001 Device 002: ID 0424:9514 Standard Microsystems Corp.
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

以下のエントリーが追加されたUSBメモリの情報になります。

Bus 001 Device 006: ID 090c:1000 Silicon Motion, Inc. - Taiwan (formerly Feiya Technology Corp.) Flash Drive

IDの後につづいている値がVenderIDとProductID（ModelID）になります。もう少し固有の値がほしいのですが、このコマンドではここまでしか表示できませんでした。（後からわかったのですが-vで詳細がでますので、それで詳細をみてもいいかもしれません。）

lsusbコマンドでは認識されたUSBデバイスの状況のみが確認できるため、抜き差しのタイミングでの検知はできません。

udevを使用してみる

次にudevのコマンドインターフェースであるudevadmを使ってUSBデバイスの挿抜状態をモニタリングしてみたいと思います。

udevadmのモニタリングモードでは、KERNEL側の情報とUDEV側の情報をモニタリングできます。イベントとしては接続時のaddイベント、取り外し時のremoveイベントなどが見れます。このあたりはデバイスのクラスに依存するのでその他もありますが、詳細はドキュメントに記載されています。

実際に実行してみます。

$ udevadm monitor
monitor will print the received events for:
UDEV - the event which udev sends out after rule processing
KERNEL - the kernel uevent

KERNEL[1219.983660] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4 (usb)
KERNEL[1219.986476] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0 (usb)
KERNEL[1219.997083] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0 (scsi)
KERNEL[1219.997701] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/scsi_host/host0 (scsi_host)
UDEV  [1220.020340] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4 (usb)
UDEV  [1220.027171] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0 (usb)
UDEV  [1220.031344] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0 (scsi)
UDEV  [1220.035723] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/scsi_host/host0 (scsi_host)
KERNEL[1221.487617] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0 (scsi)
KERNEL[1221.487880] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0 (scsi)
KERNEL[1221.488153] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_disk/0:0:0:0 (scsi_disk)
KERNEL[1221.488541] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_device/0:0:0:0 (scsi_device)
KERNEL[1221.490362] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/bsg/0:0:0:0 (bsg)
UDEV  [1221.491079] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0 (scsi)
KERNEL[1221.493208] add      /devices/virtual/bdi/8:0 (bdi)
UDEV  [1221.496802] add      /devices/virtual/bdi/8:0 (bdi)
KERNEL[1221.504379] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/block/sda (block)
KERNEL[1221.505020] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/block/sda/sda1 (block)
UDEV  [1221.505249] add      /module/sg (module)
KERNEL[1221.505405] add      /module/sg (module)
UDEV  [1221.505879] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0 (scsi)
KERNEL[1221.506146] add      /class/scsi_generic (class)
KERNEL[1221.506620] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_generic/sg0 (scsi_generic)
UDEV  [1221.507040] add      /class/scsi_generic (class)
UDEV  [1221.512906] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_device/0:0:0:0 (scsi_device)
UDEV  [1221.513143] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_disk/0:0:0:0 (scsi_disk)
UDEV  [1221.516441] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/bsg/0:0:0:0 (bsg)
UDEV  [1221.525971] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_generic/sg0 (scsi_generic)
UDEV  [1221.589504] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/block/sda (block)
UDEV  [1221.663788] add      /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/block/sda/sda1 (block)
KERNEL[1242.032388] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/bsg/0:0:0:0 (bsg)
KERNEL[1242.032573] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_generic/sg0 (scsi_generic)
KERNEL[1242.032678] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_device/0:0:0:0 (scsi_device)
KERNEL[1242.040388] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_disk/0:0:0:0 (scsi_disk)
UDEV  [1242.040618] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/bsg/0:0:0:0 (bsg)
KERNEL[1242.040797] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/block/sda/sda1 (block)
KERNEL[1242.040961] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/block/sda (block)
KERNEL[1242.041102] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0 (scsi)
UDEV  [1242.047234] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_generic/sg0 (scsi_generic)
UDEV  [1242.049023] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/block/sda/sda1 (block)
UDEV  [1242.051848] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_device/0:0:0:0 (scsi_device)
UDEV  [1242.053386] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/scsi_disk/0:0:0:0 (scsi_disk)
UDEV  [1242.063650] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0/block/sda (block)
UDEV  [1242.070194] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0/0:0:0:0 (scsi)
KERNEL[1242.074278] remove   /devices/virtual/bdi/8:0 (bdi)
KERNEL[1242.074545] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0 (scsi)
KERNEL[1242.075798] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/scsi_host/host0 (scsi_host)
UDEV  [1242.076003] remove   /devices/virtual/bdi/8:0 (bdi)
KERNEL[1242.076136] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0 (scsi)
KERNEL[1242.076318] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0 (usb)
UDEV  [1242.078805] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/target0:0:0 (scsi)
UDEV  [1242.079279] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0/scsi_host/host0 (scsi_host)
KERNEL[1242.079514] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4 (usb)
UDEV  [1242.085069] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0/host0 (scsi)
UDEV  [1242.089120] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4/1-1.4:1.0 (usb)
UDEV  [1242.099753] remove   /devices/platform/soc/3f980000.usb/usb1/1-1/1-1.4 (usb)
KERNEL[1246.060791] add      /devices/w1_bus_master1/00-980000000000 (w1)
UDEV  [1246.064646] add      /devices/w1_bus_master1/00-980000000000 (w1)

一応、これでUSBメモリを挿抜ときの状態を確認できるようです。これをユーザープログラム上から検出できれば目的はほぼ達成となります。

udevでデバイスの挿抜状態を検出する方法としては、pythonにpyudevというモジュールがあるのでこれを使用することにします。

pyudevとは

pyudev – pure Python libudev binding

https://pyudev.readthedocs.io/en/latest/

libudevの情報をpythonで取得できるようにしたモジュールになります。

pyudevをインストールする

パッケージのインストール方法に従ってモジュールのインストールをしてみます。

$ pip install pyudev
Downloading/unpacking pyudev
  Downloading pyudev-0.21.0.tar.gz (89kB): 89kB downloaded
  Running setup.py (path:/tmp/pip-build-jZcUeV/pyudev/setup.py) egg_info for package pyudev

    warning: no previously-included files matching '*.py' found under directory 'tests/.hypothesis'
    warning: no files found matching '*.c' under directory 'reproducers'
    warning: no files found matching '*.py' under directory 'reproducers'
Requirement already satisfied (use --upgrade to upgrade): six in /usr/lib/python2.7/dist-packages (from pyudev)
Installing collected packages: pyudev
  Running setup.py install for pyudev
    error: could not create '/usr/local/lib/python2.7/dist-packages/pyudev': Permission denied
    Complete output from command /usr/bin/python -c "import setuptools, tokenize;__file__='/tmp/pip-build-jZcUeV/pyudev/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record /tmp/pip-24vQet-record/install-record.txt --single-version-externally-managed --compile:
    running install

running build

running build_py

creating build

creating build/lib.linux-armv7l-2.7

creating build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/_qt_base.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/pyqt4.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/version.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/core.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/__init__.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/_util.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/discover.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/glib.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/_compat.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/pyqt5.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/monitor.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/wx.py -> build/lib.linux-armv7l-2.7/pyudev

copying src/pyudev/pyside.py -> build/lib.linux-armv7l-2.7/pyudev

creating build/lib.linux-armv7l-2.7/pyudev/device

copying src/pyudev/device/_device.py -> build/lib.linux-armv7l-2.7/pyudev/device

copying src/pyudev/device/_errors.py -> build/lib.linux-armv7l-2.7/pyudev/device

copying src/pyudev/device/__init__.py -> build/lib.linux-armv7l-2.7/pyudev/device

creating build/lib.linux-armv7l-2.7/pyudev/_ctypeslib

copying src/pyudev/_ctypeslib/libc.py -> build/lib.linux-armv7l-2.7/pyudev/_ctypeslib

copying src/pyudev/_ctypeslib/libudev.py -> build/lib.linux-armv7l-2.7/pyudev/_ctypeslib

copying src/pyudev/_ctypeslib/_errorcheckers.py -> build/lib.linux-armv7l-2.7/pyudev/_ctypeslib

copying src/pyudev/_ctypeslib/__init__.py -> build/lib.linux-armv7l-2.7/pyudev/_ctypeslib

copying src/pyudev/_ctypeslib/utils.py -> build/lib.linux-armv7l-2.7/pyudev/_ctypeslib

creating build/lib.linux-armv7l-2.7/pyudev/_os

copying src/pyudev/_os/pipe.py -> build/lib.linux-armv7l-2.7/pyudev/_os

copying src/pyudev/_os/poll.py -> build/lib.linux-armv7l-2.7/pyudev/_os

copying src/pyudev/_os/__init__.py -> build/lib.linux-armv7l-2.7/pyudev/_os

running install_lib

creating /usr/local/lib/python2.7/dist-packages/pyudev

error: could not create '/usr/local/lib/python2.7/dist-packages/pyudev': Permission denied

----------------------------------------
Cleaning up...
Command /usr/bin/python -c "import setuptools, tokenize;__file__='/tmp/pip-build-jZcUeV/pyudev/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record /tmp/pip-24vQet-record/install-record.txt --single-version-externally-managed --compile failed with error code 1 in /tmp/pip-build-jZcUeV/pyudev
Storing debug log for failure in /home/pi/.pip/pip.log

あれ？エラーです。内容としてはディレクトリが作成できない感じのメッセージなので、一般ユーザでは権限がないからなのかなと思います。 sudoつきでpipを行えば大丈夫そうなんですが、今回はapt-getでインストールしてみることにします。

一応、パッケージがあるか確認してみます。

$ apt-cache search pyudev
python-pyudev - Python bindings for libudev
python3-pyudev - Python3 bindings for libudev

aptのパッケージではVersion2系と3系があるようですので、今回は2系を入れます。（そろそろ3への以降も考えたいですが。）

$ sudo apt-get install python-pyudev
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています
状態情報を読み取っています... 完了
以下のパッケージが自動でインストールされましたが、もう必要とされていません:
  ax25-node libax25 libllvm3.7 openbsd-inetd
これを削除するには 'apt-get autoremove' を利用してください。
提案パッケージ:
  python-qt4 python-pyside.qtcore
以下のパッケージが新たにインストールされます:
  python-pyudev
アップグレード: 0 個、新規インストール: 1 個、削除: 0 個、保留: 161 個。
31.6 kB のアーカイブを取得する必要があります。
この操作後に追加で 193 kB のディスク容量が消費されます。
取得:1 http://mirrordirector.raspbian.org/raspbian/ jessie/main python-pyudev all 0.16.1-2 [31.6 kB]
31.6 kB を 1秒 で取得しました (29.4 kB/s)
以前に未選択のパッケージ python-pyudev を選択しています。
(データベースを読み込んでいます ... 現在 130447 個のファイルとディレクトリがインストールされています。)
.../python-pyudev_0.16.1-2_all.deb を展開する準備をしています ...
python-pyudev (0.16.1-2) を展開しています...
python-pyudev (0.16.1-2) を設定しています ...

無事にインストールできました。

念のためテストしてみると…

$ python
Python 2.7.9 (default, Sep 17 2016, 20:26:04)
[GCC 4.9.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import pyudev
>>>

エラーがでていないのでインストールは無事に終わったようです。 ドキュメントに出ているサンプルを実行させてみます。

以下のサンプルは認識されているデバイスの一覧を表示させるものになります。

【sample.py】

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import pyudev
context = pyudev.Context()
for device in context.list_devices():
    print(device)

では、実行してみます。

$ python sample.py
Device(u'/sys/devices/armv7_cortex_a7')
Device(u'/sys/devices/breakpoint')
Device(u'/sys/devices/platform/alarmtimer')
Device(u'/sys/devices/platform/clocks')
Device(u'/sys/devices/platform/clocks/clocks:clock@0')
Device(u'/sys/devices/platform/clocks/clocks:clock@1')
Device(u'/sys/devices/platform/clocks/clocks:clock@2')
Device(u'/sys/devices/platform/clocks/clocks:clock@3')
Device(u'/sys/devices/platform/clocks/clocks:clock@4')
Device(u'/sys/devices/platform/clocks/clocks:clock@5')
Device(u'/sys/devices/platform/clocks/clocks:clock@6')
Device(u'/sys/devices/platform/lirc_rpi')
（略）

udevで認識されているデバイスが大量に出てきます。 あとは、USBメモリを指したことがモニタできれば次のステップにすすめます。 udevadmのモニタ機能と同じものができればよいということになります。

メモリの細かい判別を行うために必要なパラメータとしては

• Action(挿した抜いたなどのイベントの種類)
• ID_MODEL_ID（デバイスのModelID）
• ID_MODEL_FROM_DATABASE（ModelIDから得られる製品のモデル名）
• ID_VENDOR_ID（デバイスのVentorID）
• ID_VENDOR_FROM_DATABASE（VentorIDから得られるベンダー（会社）名）
• ID_SERIAL_SHORT（製品の固有値の短縮形式）
• ID_SERIAL（製品の固有値　短縮形にメーカー名、モデル名などが入っていることがあります）

以上だと思います。 ではモニタリングを行うプログラムは以下のようになります。

【pyudev_event.py】

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import pyudev

context = pyudev.Context()
monitor = pyudev.Monitor.from_netlink(context)
monitor.filter_by(subsystem='usb')
monitor.start()

for device in iter(monitor.poll, None):
  print(device.action)
  print('MODEL  : {0} -> {1}'.format(device.get('ID_MODEL_ID'), device.get('ID_MODEL_FROM_DATABASE')))
  print('VENDOR : {0} -> {1}'.format(device.get('ID_VENDOR_ID'), device.get('ID_VENDOR_FROM_DATABASE')))
  print('SERIAL : {0} -> {1}'.format(device.get('ID_SERIAL_SHORT'), device.get('ID_SERIAL')))
  print('---')

pyudevのMonitorオブジェクトを生成し、Contextを監視する様にしたのがサンプルとの大きな違いです。pyudev.Monitor.from_netlink(context) と実行しているnetlinkに関してですがman pageによれば

netlink はカーネルモジュールとユーザー空間のプロセス間で 情報をやりとりするために用いられる。

とのことですので、pyudevはこれを経由して動的にデバイス情報を得ていることになります。

実行して、USBメモリを何本か挿抜してみます。（面倒なのでシリアル値はそのままにしました…）

$ python pyudev_event.py
add
ID_MODEL : 0098 -> None
ID_VENDOR : 0411 -> BUFFALO INC. (formerly MelCo., Inc.)
SERIAL : A000000000095409 -> BUFFALO_SiliconHardDisk_A000000000095409
---
add
ID_MODEL : None -> None
ID_VENDOR : None -> BUFFALO INC. (formerly MelCo., Inc.)
SERIAL : None -> None
---
remove
ID_MODEL : None -> None
ID_VENDOR : None -> BUFFALO INC. (formerly MelCo., Inc.)
SERIAL : None -> None
---
remove
ID_MODEL : 0098 -> None
ID_VENDOR : 0411 -> BUFFALO INC. (formerly MelCo., Inc.)
SERIAL : A000000000095409 -> BUFFALO_SiliconHardDisk_A000000000095409
---
add
ID_MODEL : 1000 -> Flash Drive
ID_VENDOR : 090c -> Silicon Motion, Inc. - Taiwan (formerly Feiya Technology Corp.)
SERIAL : None -> SMI_Corporation_USB_DISK
---
add
ID_MODEL : None -> Flash Drive
ID_VENDOR : None -> Silicon Motion, Inc. - Taiwan (formerly Feiya Technology Corp.)
SERIAL : None -> None
---
remove
ID_MODEL : None -> Flash Drive
ID_VENDOR : None -> Silicon Motion, Inc. - Taiwan (formerly Feiya Technology Corp.)
SERIAL : None -> None
---
remove
ID_MODEL : 1000 -> Flash Drive
ID_VENDOR : 090c -> Silicon Motion, Inc. - Taiwan (formerly Feiya Technology Corp.)
SERIAL : None -> SMI_Corporation_USB_DISK
---
add
ID_MODEL : 5583 -> None
ID_VENDOR : 0781 -> SanDisk Corp.
SERIAL : 4C531001520507123272 -> SanDisk_Ultra_Fit_4C531001520507123272
---
add
ID_MODEL : None -> None
ID_VENDOR : None -> SanDisk Corp.
SERIAL : None -> None
---
remove
ID_MODEL : None -> None
ID_VENDOR : None -> SanDisk Corp.
SERIAL : None -> None
---
remove
ID_MODEL : 5583 -> None
ID_VENDOR : 0781 -> SanDisk Corp.
SERIAL : 4C531001520507123272 -> SanDisk_Ultra_Fit_4C531001520507123272
---
^CTraceback (most recent call last):
  File "pyudev_sample.py", line 8, in <module>
    for device in iter(monitor.poll, None):
  File "/usr/lib/python2.7/dist-packages/pyudev/monitor.py", line 340, in poll
    rlist, _, _ = select.select([self], [], [], timeout)
KeyboardInterrupt

今回の例では3メーカーのUSBメモリを挿してみたのですが、一回抜き差しをするごとに2回のイベントが表示されていました。また、USBメモリに固有値であるとされるID_SERIAL_SHORTと'ID_SERIALが必ずしも入っていないことがわかりました。このあたりはメーカーのポリシーなのかもしれません。（価格が安いからとかそういう感じでもないようでした）

方針としては、値が取得できるときには判別にそれを使用し、無いときにはVenderIDとModelIDを使うことで代用したいと思います。

これでUSBの挿抜の認識の準備はできました。あともう少しですが今回はここまでにします。

おわりに

udevをつかったデバイス検出の部分と、pythonからのudev情報の呼び出し部分を作成の実験を行ってみました。後もう少しですが、次は組み合わせと音を鳴らす部分の処理を追加してプロトタイプを仕上げたいと思います。

やっているうちにもっと違う方法もあるのかなと思い始めたのですが、気が向いたらそれも試したいと考えています。

Node.jsでもOpenCVしてみる

Node.jsでもOpenCVしてみる

少し前のエントリではPythonを使用してOpenCVで顔認識をしていたんですが、モノによってはnode.jsでも同様なことができるかなと思いますので 実験をやってみました。

node.jsでもopencvのモジュールがあります。ただ、OpenCVは2系であることに注意です。

www.npmjs.com

github.com

以前のエントリでRaspberryPiにインストールしたのは2系ですので問題なく動作します。（version 2.4.9）

uepon.hatenadiary.com

opencvモジュールのインストール

node.jsのインストールに関しては

uepon.hatenadiary.com

こちらで取り上げましたのでRaspbianのオリジナルのNode.jsではないことに注意です。npmでopencvをインストールすればOKです。

$ npm install opencv
-
> opencv@6.0.0 install /home/pi/node_opencv/node_modules/opencv
> node-pre-gyp install --fallback-to-build

make: Entering directory '/home/pi/node_opencv/node_modules/opencv/build'
  CXX(target) Release/obj.target/opencv/src/init.o
  CXX(target) Release/obj.target/opencv/src/Matrix.o
  CXX(target) Release/obj.target/opencv/src/OpenCV.o
  CXX(target) Release/obj.target/opencv/src/CascadeClassifierWrap.o
  CXX(target) Release/obj.target/opencv/src/Contours.o
  CXX(target) Release/obj.target/opencv/src/Point.o
  CXX(target) Release/obj.target/opencv/src/VideoCaptureWrap.o
  CXX(target) Release/obj.target/opencv/src/CamShift.o
  CXX(target) Release/obj.target/opencv/src/HighGUI.o
  CXX(target) Release/obj.target/opencv/src/FaceRecognizer.o
  CXX(target) Release/obj.target/opencv/src/Features2d.o
  CXX(target) Release/obj.target/opencv/src/BackgroundSubtractor.o
  CXX(target) Release/obj.target/opencv/src/Constants.o
  CXX(target) Release/obj.target/opencv/src/Calib3D.o
  CXX(target) Release/obj.target/opencv/src/ImgProc.o
  CXX(target) Release/obj.target/opencv/src/Stereo.o
  CXX(target) Release/obj.target/opencv/src/LDAWrap.o
  SOLINK_MODULE(target) Release/obj.target/opencv.node
  COPY Release/opencv.node
  COPY /home/pi/node_opencv/node_modules/opencv/build/opencv/v6.0.0/Release/node-v46-linux-arm/opencv.node
  TOUCH Release/obj.target/action_after_build.stamp
  CXX(target) Release/obj.target/test_nativemat/test/nativemat.o
  SOLINK_MODULE(target) Release/obj.target/test_nativemat.node
  COPY Release/test_nativemat.node
make: Leaving directory '/home/pi/node_opencv/node_modules/opencv/build'
opencv@6.0.0 node_modules/opencv
tqq buffers@0.1.1
tqq nan@2.6.1
mqq istanbul@0.4.5 (abbrev@1.0.9, async@1.5.2, wordwrap@1.0.0, nopt@3.0.6, esprima@2.7.3, once@1.4.0, supports-color@3.2.3, which@1.2.14, mkdirp@0.5.1, resolve@1.1.7, glob@5.0.15, js-yaml@3.8.3, escodegen@1.8.1, handlebars@4.0.6)

比較的長い時間がかかります。（RaspberryPi2では10分ちょっとかかっています） これが終わるといよいよOpenCVの世界に入れます。

静止画像の顔認識

まずは静止画に含まれる顔認識を行ってみます。 認識をする画像はinput.jpg解析に成功した場合には、 顔と思われる部分に赤色の四角形を描画し、output.jpgとして画像を出力します。

若干書きぶりが異なりますが、なんとなくは同じ様です。oencvパッケージに含まれるサンプルを参考にしているので分類機の読み込みが異なるようです。

CascadeClassifierやdetectMultiScaleでの呼び出しではなく、detectObjectで引数での呼び出しとなっています。

【OpenCVサンプルフォルダ】 github.com

【face-detect.js】

var cv = require('opencv');

var RED = [0, 0, 255];
var THICKNESS = 2;

cv.readImage("./input.jpg", function(err, im){
  if (err) throw err;
  if (im.width() < 1 || im.height() < 1) throw new Error('error:画像が不正の様です。');

  im.detectObject("./haarcascade_frontalface_alt.xml", {}, function(err, faces){
    for (var i=0;i<faces.length; i++){
      var face = faces[i]
      im.rectangle([face.x, face.y], [face.width, face.height], RED, THICKNESS);
    }
    console.log('イメージを保存しました');
    im.save('./output.jpg');
  });
})

実行のためには、あらかじめプログラムと同じディレクトリにhaarcascade_frontalface_alt.xmlなど分類機設定のファイルがないとエラーになりますので注意してください。

実行させると…

$ node.js face-detect.js

【input画像】 ライセンス: CC0 Public DomainCreative Commons — CC0 1.0 Universal

【output画像】

Webカメラの画像の取り込み

カメラ画像の取り込みに関しては基本的にpythonと違いはありません。 OpenCVでGUIを使えますが、node.js経由でも同様にGUIを使用することができます。

【camera.js】

var cv = require('opencv');

try {
  var camera = new cv.VideoCapture(0);
  var window = new cv.NamedWindow('Video', 0)

  setInterval(function() {
    camera.read(function(err, im) {
      if (err) throw err;
      console.log(im.size())
      if (im.size()[0] > 0 && im.size()[1] > 0){
        window.show(im);
      }
      window.blockingWaitKey(0, 50);
    });
  }, 20);
  
} catch (e){
  console.log("Couldn't start camera:", e)
}

実行させると…

$ node.js camera.js

【動作画像】

多少のアラームは発生するのですが問題なく動作しました。使用したWebカメラはMicrosoftのLifeCamになります。（以前の動作までに少し時間がかかる挙動に関係するのだと思います）あとpythonからの呼び出しとは異なってデフォルト解像度は320*240ぽいですね。

Webカメラで顔認識を行う

あとはこれら2つを組み合わせていきます。

【face-detect-cam.js】

var cv = require('opencv');

var RED = [0, 0, 255];
var THICKNESS = 2;

try {
  var camera = new cv.VideoCapture(0);
  var window = new cv.NamedWindow('Video', 0);

  camera.setWidth(480);
  camera.setHeight(320);

  setInterval(function() {
    camera.read(function(err, im) {
      if (err) throw err;

      if (im.size()[0] > 0 && im.size()[1] > 0){
        im.detectObject("./haarcascade_frontalface_alt.xml", {}, function(err, faces){
          for (var i=0;i<faces.length; i++){
            var face = faces[i]
            im.rectangle([face.x, face.y], [face.width, face.height], RED, THICKNESS);
          }
          window.show(im);
        });
        window.blockingWaitKey(0, 50);
      }
    });
  }, 500);

} catch (e){
  console.log("Couldn't start camera:", e)
}

実行させると…

$ node.js face-detect-cam.js

【動作画像】

このコードでは動作に関してはかなり遅いと思います。遅延が3秒ほどありそうでした。

今回はsetInterval()を使って周期処理を行っているのですが、直感的には whileでループを回せばいいのかなと思ったんですが、うまくいきません。 javascriptにsleep()とかwait()が無いことに起因してるかなと思います。

あと、setInterval()の周期のパラメータを小さくすると結構な確率でSegmentation faultが発生するので500msec以上にしたほうがいいかなと思います。

終わりに

一応、node.jsでOpenCVを使ったプログラムを組んでみました。今後そういうこともあるかなとは思います。RaspberryPi2では少しパワー不足という印象がありますが、ホストが一般的なPCならもっといいパフォーマンスをだせるのかなと思います。

これが限界なのかなと色々おもっていたのですが、Xを使ってリモートで接続していることに気が付きました。

ダイレクトにモニタに接続するとsetInterval()の周期のパラメータを250程度まで小さくしてもSegmentation faultもほとんど発生せず、遅延も2秒程度まで追い込めました。

ちなみにファイルに一度保存したほうが早いのではないかと思って、以下のコードを書いてみましたが、全然早くはならず、逆に処理が追いつかずSegmentation faultの確率が上がったように感じます。こちらはディスプレイの直接接続でもSegmentation faultが発生するようでした。

var cv = require('opencv');

var RED = [0, 0, 255];
var THICKNESS = 2;

try {
  var camera = new cv.VideoCapture(0);
  var window = new cv.NamedWindow('Video', 0);

  camera.setWidth(480);
  camera.setHeight(320);

  setInterval(function() {
    camera.read(function(err, im) {
      if (err) throw err;

      if (im.size()[0] > 0 && im.size()[1] > 0){
        im.detectObject("./haarcascade_frontalface_alt.xml", {}, function(err, faces){
          for (var i=0;i<faces.length; i++){
            var face = faces[i]
            im.rectangle([face.x, face.y], [face.width, face.height], RED, THICKNESS);
          }
          im.save('./tmp.jpg');
        });
        cv.readImage("./tmp.jpg", function(err2, im2){
          if (err2) throw err2;
          
          if (im2.size()[0] > 0 && im2.size()[1] > 0){
            window.show(im2);
          }
        });
        window.blockingWaitKey(0, 50);
      }
    });
  }, 500);

} catch (e){
  console.log("Couldn't start camera:", e)
}