そろそろ、Node-REDを使ってalexaを発話させてみたいなと思いました。家にはかなりのスマートフォンの第一世代があるのですが、全部つけてしまうと部屋よりも多いのでさすがに部屋に積んであるといった状態です。Node-REDで使用できると、色々な連携もできますし、先日アマゾンさんのSmartPlugも購入したこともあるので、このあたり連携できると面白いなんて思っています。
以下を参考にしながら作業を行いました。参考にしたエントリは完成度が高いので、基本的にはこのリンク通りに行うのであれば問題はなく動作できます。このエントリを読み飛ばしても大丈夫かなと思いますが、うまく行かなかった場合のみてもらえればと思います。
Node-REDの新しいノードを追加する
※事前にEchoデバイスの設定は済ませておいてください。 Node-REDのパレットにはデフォルトでAlexaを操作するノードがインストールされていないので、まずはノードを追加します。
画面、右上の【三】(ハンバーガー)ボタンをクリックします。
プルダウンメニューが表示されるので、その中から【パレットの管理】をクリックします。
すると、ユーザー設定のパレット画面が表示されています。続いて。画面上方のタブから【ノードを追加】をクリックします。
すると、追加ノードの検索画面が表示されます。
ここまできたら、検索ボックスにalexa-remoteを入力します。すると検索画面の以下の2つが検索候補として表示されます。
- node-red-contrib-alexa-remote
- node-red-contrib-alexa-remote2
この2つのノードですが、node-red-contrib-alexa-remoteは最終メンテナンスが一年以上立っているので、比較的最近メンテナンスが行われているnode-red-contrib-alexa-remote2を追加していきます。
node-red-contrib-alexa-remote2側の【ノードを追加】ボタンをクリックします
するとインストール作業が開始されます。
先程の【ノードの追加】の表示がグレーアウトされ【追加しました】になっていればインストール完了となります。ここまで確認したら【閉じる】ボタンをクリックします。
インストールが終わるとパレットにalexa関連のノードが追加されています。
Alexa RoutineノードでTTSを行う
今回は、【injectノード】と【alexa routineノード】をフローエディタにドロップして配置を行います。 配置を行ったら端子を以下の図の様に接続しておきます。
【alexa routineノード】クリックしてプロパティを設定していきます。まずは認証の設定を行います。 Accountのパラメータにある、【編集】(ペンのアイコン)ボタンをクリックします。
新規にAlexa Accountノードの設定を追加
の画面が表示されます。ここでAlexaのアカウント情報を入力していきます。
入力が必要になるのは以下のパラメータになります。
- Name … 認証設定の名前
- Auth Method … 認証方法(Mail/Password、Cookie、Proxyが存在しますが今回はProxyを使用します)
- This IP … Node-REDの動作しているPCなどのIP(今回はRaspberryPiで動作させているのでそのIPアドレスとなります)
- Port … アクセスポートとなります(デフォルト値の3456で大丈夫です)
- Service Host … alexa.amazon.co.jp(alexaの日本ドメイン)
- Page … amazon.co.jp(アマゾンの日本ドメイン)
- Language … ja_JP(日本語)
認証方法に関してはMail/Password
で行っているサイトが多いのですが、この設定値は今後使えなくなる可能性が高いことと、ユーザーによっては認証できないこともあるらしいので、今回はProxy
を設定することにしています。
後述しますが、実はProxy
の認証はこの設定だけではうまくいきません。まあ、ハマりどころです。
とりあえず、設定が終わったら上の方にある【追加】ボタンをクリックします。
すると、【Alexa Routineノードの編集】画面に戻ってきます。Account
のパラメータが先程設定したName
の値になっていれば大丈夫です。
ここでも設定項目するはありますが、認証部分を先に解決させるので【完了】ボタンをクリックしてプロパティ画面を閉じます。
フローエディタに戻ってきたら【デプロイ】ボタンをクリックします。
すると、【Alexa Routineノード】の下の部分にOpen 192.168.0.17:3456 in your browser
と表示されます。まだこの時点では認証はされていません。ブラウザを使用して認証作業を行うことになります。
ブラウザでhttps://【Node-REDの動作しているPCなどのIP】:3456
にアクセスを行います。
例えば、Node-REDが動作しているRaspberryPiのIPアドレスが192.168.0.17であれば、 http://192.168.0.17:3456/ にアクセスしてください。
アクセスすると、Alexaの認証画面が表示されます。Node-REDの動作しているサーバーをプロキシーとしてアクセスしています。ここで認証譲情報を入力してログインをおこなってください。
ユーザー名とパスワードを入力して【ログイン】ボタンをクリックします。
2段階認証を使用している場合には、そのあとに2段階認証の画面もでますので、認証を行ってください。
認証が正常におこなわれると、ブラウザは以下のような画面が表示されます。このアクセスによって通信上のCookieを取得して認証をしてくれます
。なので実質はCookie認証を自動化しているのがProxy認証の正体となります。
ですが、この認証作業を行ってもUnexpected end of JSON input
というエラーが発生します。
依存ライブラリAlexa-Cookie2
のソース修正を行う
このエラーをググってみると、以下のようなエントリがあったので参考にしました。
問題は、依存しているライブラリのバージョンが代わり、変数名などの変更が行われているため、バージョンに合わせて微調整を行う必要がありました。
参考情報ではエラーが発生したライブラリのバージョンはAlexa-Cookie2 v3.2.1版
となっていますが、自分が作業を行った2020.07.22の段階ではAlexa-Cookie2 v3.3.3版
となっていたため、ソースコードの編集箇所が少し違っていまいた。
このライブラリの何が問題かというと、このライブラリのアクセス先のAlexaのサイトにJPドメインのものが設定できないということが問題の原因となります。
では、まず依存しているライブラリのバージョンを確認します。依存しているライブラリの名前はalexa-cookie2
となります。npm list
コマンドでインストール一覧からalexa-cookie
を検索するとバージョンが確認できます。
$ cd ~/.node-red $ npm list|grep alexa-cookie
$ cd ~/.node-red/node_modules/alexa-cookie2/
$ cp alexa-cookie.js alexa-cookie.js.org
$ vi alexa-cookie.js
alexa-cookie.js 編集後260行目あたりに以下のデータを追加
(略) if (typeof __options === 'function') { callback = __options; __options = {}; } _options = __options; _options.baseAmazonPage='amazon.co.jp'; //追加した行 if (!email || !password) { __options.proxyOnly = true; } initConfig(); (略)
編集後のファイルをGitHubに置いておきます。
続いてproxy.jsファイルを編集します。
$ cd ~/.node-red/node_modules/alexa-cookie2/lib/
$ cp proxy.js proxy.js.org
$ vi proxy.js
このファイルはAlexa-Cookie2 v3.2.1版
とは変数名などが変更になっています。また、修正が行われている部分もあるので、直さなくても良い部分もありました。
proxy.js編集後178行目あたりを以下の様に編集
(略) if (url === '/') { // initial redirect //以下が編集場所 //以下の行をコメントアウト //returnedInitUrl = `https://www.${_options.baseAmazonPage}/ap/signin?openid.return_to=https%3A%2F% 2Fwww.${_options.baseAmazonPage}%2Fap%2Fmaplanding&openid.assoc_handle=amzn_dp_project_dee_ios${_options.baseAmazonPageHandle}&openid.identity=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&pageId=amzn_dp_project_dee_ios${_options.baseAmazonPageHandle}&accountStatusPolicy=P1&openid.claimed_id=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.mode=checkid_setup&openid.ns.oa2=http%3A%2F%2Fwww.${_options.baseAmazonPage}%2Fap%2Fext%2Foauth%2F2&openid.oa2.client_id=device%3A${deviceId}&openid.ns.pape=http%3A%2F%2Fspecs.openid.net%2Fextensions%2Fpape%2F1.0&openid.oa2.response_type=token&openid.ns=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0&openid.pape.max_auth_age=0&openid.oa2.scope=device_auth_access&language=${_options.amazonPageProxyLanguage}`; //以下の行を追加 returnedInitUrl = `https://www.amazon.co.jp/ap/signin?showRmrMe=1&openid.return_to=https%3A%2F%2Fal exa.amazon.co.jp%2F&openid.identity=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.assoc_handle=amzn_dp_project_dee_jp&openid.mode=checkid_setup&openid.claimed_id=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.ns=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0&`; _options.logger && _options.logger('Alexa-Cookie: Initial Page Request: ' + returnedInitUrl); return returnedInitUrl; } else { return `https://www.${_options.baseAmazonPage}`; } } return `https://alexa.${_options.baseAmazonPage}`; } (略)
編集後のファイルをGitHubに置いておきます。
2つのファイルの編集が終わったら、ブラウザのCookieを一旦削除します。その後Node-RED再起動させます。Node-REDが再起動できたら
フローエディターでデプロイボタンクリックします。更に、ブラウザによる認証を行います。ブラウザの認証結果はエラーがでてしまうことが多いのですが、その際も
【alexa routineノード】の下にあるメッセージがready
と表示されていれば認証は問題はないようです。
この認証に関しては【デプロイ】ボタンを押す度に認証作業が行われるので注意が必要です。
ready
となったら、ユーザの持っている出力するAlexa(Echoデバイス)のデバイスリストがプロパティとして表示されるので、更に追加で設定を行います。
デバイスと話すメッセージを設定しておきます。
設定が終わったら、【デプロイ】ボタンをクリックし更に認証も行ってください。すべての作業が終わってから【injectノード】をクリックすると、Alexa から発話(音声出力)が行われます。
これでようやくTTSができるようになりました。ただ単純にTTSを使用するというのであれば【play audioノード】を使えばNode-RED単体でもTTSは使用できます。ただ、声のわかりやすさでいうとAlexaの方が聞き取りやすいとは思います。
以下のような、hostname
コマンドを【execノード】で使用すれば、IPアドレスを話してくれます。
IPアドレスを音声出力するフロー (注)AlexaのProxy認証のIPはご自身のもので変更をお願いします
[ { "id": "85e5efde.abce6", "type": "tab", "label": "フロー 1", "disabled": false, "info": "" }, { "id": "f35759ca.5a4e08", "type": "inject", "z": "85e5efde.abce6", "name": "", "topic": "", "payload": "", "payloadType": "date", "repeat": "", "crontab": "", "once": false, "onceDelay": 0.1, "x": 180, "y": 60, "wires": [ [ "c2709e55.ffe76" ] ] }, { "id": "3fae9c80.5d9904", "type": "alexa-remote-routine", "z": "85e5efde.abce6", "name": "", "account": "8c87c383.65b71", "routineNode": { "type": "speak", "payload": { "type": "regular", "text": { "type": "msg", "value": "payload" }, "devices": [ "G090L90971660A16" ] } }, "x": 640, "y": 60, "wires": [ [] ] }, { "id": "c2709e55.ffe76", "type": "exec", "z": "85e5efde.abce6", "command": "hostname -I", "addpay": false, "append": "", "useSpawn": "false", "timer": "", "oldrc": false, "name": "IPアドレスの取得", "x": 410, "y": 60, "wires": [ [ "3fae9c80.5d9904" ], [], [] ] }, { "id": "8c87c383.65b71", "type": "alexa-remote-account", "z": "", "name": "Alexa", "authMethod": "proxy", "proxyOwnIp": "192.168.0.17", "proxyPort": "3456", "cookieFile": "", "refreshInterval": "3", "alexaServiceHost": "alexa.amazon.co.jp", "amazonPage": "amazon.co.jp", "acceptLanguage": "ja_JP", "userAgent": "", "useWsMqtt": "on", "autoInit": "on" } ]
また、vcgencmd measure_temp
コマンドを【execノード】で使用することでCPU温度を音声出力することもできます。
CPU温度を音声出力するフロー (注)AlexaのProxy認証のIPはご自身のもので変更をお願いします
[ { "id": "85e5efde.abce6", "type": "tab", "label": "フロー 1", "disabled": false, "info": "" }, { "id": "f0225aaa.afda48", "type": "alexa-remote-routine", "z": "85e5efde.abce6", "name": "", "account": "8c87c383.65b71", "routineNode": { "type": "speak", "payload": { "type": "regular", "text": { "type": "msg", "value": "payload" }, "devices": [ "G090L90971660A16" ] } }, "x": 760, "y": 60, "wires": [ [] ] }, { "id": "f35759ca.5a4e08", "type": "inject", "z": "85e5efde.abce6", "name": "", "topic": "", "payload": "", "payloadType": "date", "repeat": "", "crontab": "", "once": false, "onceDelay": 0.1, "x": 160, "y": 60, "wires": [ [ "b1ed8cb2.c8cec" ] ] }, { "id": "b1ed8cb2.c8cec", "type": "exec", "z": "85e5efde.abce6", "command": "vcgencmd measure_temp", "addpay": false, "append": "", "useSpawn": "false", "timer": "", "oldrc": false, "name": "CPU温度の取得", "x": 360, "y": 60, "wires": [ [ "14dd345b.a94cbc" ], [], [] ] }, { "id": "14dd345b.a94cbc", "type": "change", "z": "85e5efde.abce6", "name": "", "rules": [ { "t": "change", "p": "payload", "pt": "msg", "from": "temp=", "fromt": "str", "to": "現在のCPU温度は", "tot": "str" }, { "t": "change", "p": "payload", "pt": "msg", "from": "'C", "fromt": "str", "to": "度です", "tot": "str" } ], "action": "", "property": "", "from": "", "to": "", "reg": false, "x": 560, "y": 60, "wires": [ [ "f0225aaa.afda48" ] ] }, { "id": "8c87c383.65b71", "type": "alexa-remote-account", "z": "", "name": "Alexa", "authMethod": "proxy", "proxyOwnIp": "192.168.0.17", "proxyPort": "3456", "cookieFile": "", "refreshInterval": "3", "alexaServiceHost": "alexa.amazon.co.jp", "amazonPage": "amazon.co.jp", "acceptLanguage": "ja_JP", "userAgent": "", "useWsMqtt": "on", "autoInit": "on" } ]
注意点があるとすれば、以下のように【Alexa Routineノード】を連続させると最後のものしか音声として出力されません。(上書きされると言った方がいいかも)
そのため、連続して音声を出力させる場合には、例えば以下の様に適切なウエイトを【delayノード】を使用して作る必要があります。
おわりに
さらっと使えるのかなと思ったらライブラリを編集しないと使えないとは…でも、とりあえずはなんとかなったかな。ただ、認証時にエラーがでるのであんまりいい修正ではないですが。参考にしたリンクの方が、proxy認証時のエラーの対応を依頼されているので、本家側で修正されることを願います。ソースを見た感じでは少し修正している印象でした。
Node-REDの【play audioノード】の声は今ひとつ(たどたどしい印象)でしたが、Alexaを使用できることによってかなり良い品質のTTSデバイスが手に入った感じです。非常に聞き取りやすいです。送信して読み上げてくれる文字数の限界は試してみたところ114字(ひらがな50音で句読点つき)といったところでしょうか。
今度は音声入力にも挑戦してみようと思います。