LINE対応ビーコンを今更ながら使ってみた

今年の大垣でのハッカソンが開催されたので参加しました。今回のエントリーでは使用したLINE対応ビーコン(以下LINEビーコンと表記)に関してメモしたいと思います。

mashupawards.connpass.com

LINEビーコンとは?

f:id:ueponx:20180913131745p:plain

【通販サイトはこちら】 beacon.theshop.jp

LINEビーコンの仕様はこんな感じです。

ハードウエア仕様
サイズ: 約41mm x 79mm x 約27mm
重さ: 約42g(電池取付時:約90g)
BLEモジュール: hosiden社HRM1017

Buletoothなビーコンといえば、以前に使用したMAMORIOを思い出します。昨年のNagoyaハッカソンで使用したのでビーコンのイメージはなんとなく覚えています。

uepon.hatenadiary.com

MAMORIOは単純なビーコンという形で使用するのに対して(検出したらどう処理するかを直接的に記述する)、今回使用する LineビーコンはLINEの機能を経由して(LINEbotなどを介してバックエンドへの通信)通信を行うことになります。機能的には大きく変化はないのですが、距離や電波強度といった部分関してはラッピングされた形でのセンシングなどが行われます。

ビーコンを使用するボットを準備する

基本的にはLINEMessagingAPIを使用したBotを作成し、その機能を拡張するだけでLINEビーコンへの対応ができます。

LINEBotの作り方に関しては過去の2つのエントリーを参考にしてもらえれば問題ないかなと思います。

【参考】 uepon.hatenadiary.com

uepon.hatenadiary.com

まずはLINE Developersに移動して

f:id:ueponx:20180913133735p:plain

ログインを行います。

f:id:ueponx:20180913134122p:plain

すると新規のプロバイダー作成画面またはすでに作成されたプロバイダーのリストが表示されます。自分はすでに作成しているので作成したプロバイダーが表示されています。新規に作成する場合には新規プロバイダー作成ボタンをクリックしてプロバイダーの作成をおこなってください。(詳細は過去のエントリーを参照)

f:id:ueponx:20180913134615p:plain

今回はすでに存在しているプロバイダーであるMashup名古屋というプロバイダーを使用する想定で作業を進めます。プロバイダー名をクリックします。

f:id:ueponx:20180913135254p:plain

するとチャンネルの選択画面に画面が遷移します。ここでは新しくチャンネルを作成するので、【新規チャンネルの作成】ボタンをクリックします。

f:id:ueponx:20180913135356p:plain

ボタンにマウスオーバーするとアクティブになりますのでそのままクリックします。

f:id:ueponx:20180913135520p:plain

次に使用するAPIを尋ねれれるのでそこで【Messaging API】を選択します。

f:id:ueponx:20180913135626p:plain

ここからチャンネル情報の登録を行っていきます。詳細は過去のエントリーを参照してください。

f:id:ueponx:20180913135753p:plain

必要となる情報は * アプリアイコン画像 * アプリ名 * アプリ説明 * プラン(Developer Trialを選択してください) * 業種 * メールアドレス

となります。値の確認を行い、規約への同意を行うとBotが作成できます

f:id:ueponx:20180913140550p:plain

作成したBotは【チャンネル基本設定】画面で以下の項目を設定してください。(設定方法に関しては過去エントリーを参照)

  • メッセージ送受信設定(アクセストークンは再発行してください)
  • LINE@機能の利用

こんな感じになります。(WebhookURLに関してはまだ設定していないので未設定で問題ありません。)

f:id:ueponx:20180913141319p:plain

f:id:ueponx:20180913141427p:plain

Herokuの設定

続いてはBotのバックエンド側の設定になります。ローカルでやってもいいんですが、あえてHerokuを使用します。 以前のエントリーに従ってGitでデプロイしていきます。Git CMDを起動してソースフォルダ(ディレクトリ)まで移動します。

事前に作成するファイルは

  • runtime.txt(Pythonのバージョンを記載)
  • requirements.txt(依存するライブラリの記載)
  • Procfile(プログラムの実行方法を定義)
  • main.py(アプリケーションのプログラム)

となります。

今回は単純なオウム返しbotからビーコン対応のBotに変更することを考えていますので、main.pyに関してはオウム返しのものを使用します。 あとの設定ファイルに関しては過去のエントリーそのままで大丈夫です。

【main.py】

from flask import Flask, request, abort
import os

from linebot import (
    LineBotApi, WebhookHandler
)
from linebot.exceptions import (
    InvalidSignatureError
)
from linebot.models import (
    MessageEvent, TextMessage, TextSendMessage,
)

app = Flask(__name__)

#環境変数取得
YOUR_CHANNEL_ACCESS_TOKEN = os.environ["YOUR_CHANNEL_ACCESS_TOKEN"]
YOUR_CHANNEL_SECRET = os.environ["YOUR_CHANNEL_SECRET"]

line_bot_api = LineBotApi(YOUR_CHANNEL_ACCESS_TOKEN)
handler = WebhookHandler(YOUR_CHANNEL_SECRET)

@app.route("/")
def hello_world():
    return "hello world!"

@app.route("/callback", methods=['POST'])
def callback():
    # get X-Line-Signature header value
    signature = request.headers['X-Line-Signature']

    # get request body as text
    body = request.get_data(as_text=True)
    app.logger.info("Request body: " + body)

    # handle webhook body
    try:
        handler.handle(body, signature)
    except InvalidSignatureError:
        abort(400)

    return 'OK'

@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
    line_bot_api.reply_message(
        event.reply_token,
        TextSendMessage(text=event.message.text))

if __name__ == "__main__":
#    app.run()
    port = int(os.getenv("PORT"))
    app.run(host="0.0.0.0", port=port)

このソースファイルと設定ファイルから、以下のようにGitでpushすればデプロイはできています。

(base) C:\sample> heroku create 【アプリケーション名】
(base) C:\sample> heroku config:set YOUR_CHANNEL_ACCESS_TOKEN="【LineDevelopersのChannelの設定ページで表示されたAccessトークン】" --app 【アプリケーション名】
(base) C:\sample> heroku config:set YOUR_CHANNEL_SECRET="【LineDevelopersのChannelの設定ページで表示されたSECRET】" --app 【アプリケーション名】
(base) C:\sample> git init
(base) C:\sample> git add .
(base) C:\sample> git commit -m 'commit'
(base) C:\sample> git config --global user.email "【メールアドレス】"
(base) C:\sample> git config --global user.name "【名前】"
(base) C:\sample> git remote add heroku https://git.heroku.com/【アプリケーション名】.git
(base) C:\sample> git push heroku master
(base) C:\sample> heroku ps:scale web=1

ブラウザから作成したサービスのURL(https://【アプリケーション名】.herokuapp.com/)にアクセスして

f:id:ueponx:20180913151224p:plain

Hello Worldと表示されればOKです!無事にデプロイがされています。

デプロイがうまく行ったらLINEbot側のチャンネル設定で【メッセージ送受信設定】>【Webhook URL】の設定を行います。 https://【アプリケーション名】.herokuapp.com/callbackになるようにします。

f:id:ueponx:20180913150129p:plain

あとはこのbotと友達登録をおこなってメッセージを送ればBotの雛形は完成です。

f:id:ueponx:20180914082249p:plain

ようやくビーコンのお話

LINE Developerのサイトには以下のURLビーコンを使用するための情報が記載されています。

ビーコンを使う

ボットをビーコンとリンクするには、LINE@マネージャーのビーコン登録ページを開きます。LINE Beacon対応端末とボットをリンクするか、LINE Simple BeaconハードウェアIDを端末に発行できます。

ということなのでLINE@マネージャーにアクセスをします。すると以下のような画面になるので【ビーコン端末とbotの連携】ボタンをクリックします。

f:id:ueponx:20180913153129p:plain

次に【アカウント一覧】の画面に遷移します。ここで作成したBotとビーコンの紐づけを行うことができます。

f:id:ueponx:20180913153747p:plain

今回作成したBotの右にある【選択】ボタンをクリックします。 続いてアカウント連携と連携するビーコン情報を登録します。 Botとは登録したビーコンのみアクセスされる形になりますので、その他のビーコンに近づいてもなにも反応はしません。 また、注意点になりますが、Botに複数のビーコンを登録することができますが、1つのビーコンで複数のBotに重複した登録することはできません。そのためLINE@Managerではビーコンの登録解除することもできます。

f:id:ueponx:20180913153923p:plain

HWIDとCODEを入力して【連携】ボタンをクリックすると連携は完了です。

f:id:ueponx:20180913154948p:plain

連携が完了すると以下のようなメッセージが表示されます。

LINE BeaconのEvent Web hook を受信する方法
1. LINEがインストールされているスマートホンのbluetoothをonにしてください。
2.「LINE Beaconを利用」にチェックを入れてください。
a. 設定 → プライバシー管理 → LINE Beaconを利用。
3. Botアカウントと友達になってください。
a. 連携していないBotアカウントには、ビーコンの情報は送られません。
4. ビーコンの電源が入っていることを確認し、スマートホンを近づけて下さい。
a. LINEアプリがビーコンを検知し、その情報をLINEプラットフォームに送信します。

LINEさんのアプリのUIが変わってしまっているので、この説明では設定できません。具体的には以下の部分は読み替えてください。

(以前のUI)a. 設定 → プライバシー管理 → LINE Beaconを利用。

(現在のUI)a. 設定 → プライバシー管理 → 情報の提供 → LINE Beaconをチェック

2018.09.03時点でのUIは以下のようになっています。

【設定画面】を開きます。【プライバシー管理】をタップします。

f:id:ueponx:20180914082401p:plain

その中から【情報の提供】をタップします。

f:id:ueponx:20180914082413p:plain

【LINE Beacon】のラジオボタンがあるのでタップしてチェックを入れます。

f:id:ueponx:20180914082435p:plain

【同意して利用開始】というダイアログが表示されるのでタップして利用を開始します。

f:id:ueponx:20180914082446p:plain

端末によってはBluetoothをONにするダイアログがでるかもしれません。【許可】してください。 (画面が表示されなくても別途BluetoothをONにしてください)

f:id:ueponx:20180914082455p:plain

これでLINEアプリ上でビーコンが検出されるようになりました。

あとは、LINEBot上でビーコンの検出イベントが通知するようにソースコードを変更することになります。

【main.py】

from flask import Flask, request, abort, send_file
import os

from linebot import (
    LineBotApi, WebhookHandler
)
from linebot.exceptions import (
    InvalidSignatureError
)

from linebot.models import (
    MessageEvent, TextMessage, TextSendMessage, BeaconEvent,
)

app = Flask(__name__)
statusDict  = {}
status = 0

#環境変数取得
YOUR_CHANNEL_ACCESS_TOKEN = os.environ["YOUR_CHANNEL_ACCESS_TOKEN"]
YOUR_CHANNEL_SECRET = os.environ["YOUR_CHANNEL_SECRET"]

line_bot_api = LineBotApi(YOUR_CHANNEL_ACCESS_TOKEN)
handler = WebhookHandler(YOUR_CHANNEL_SECRET)

@app.route("/")
def hello_world():
    return "hello world!"

@app.route("/callback", methods=['POST'])
def callback():
    # get X-Line-Signature header value
    signature = request.headers['X-Line-Signature']

    # get request body as text
    body = request.get_data(as_text=True)
    app.logger.info("Request body: " + body)
 
    # handle webhook body
    try:
        handler.handle(body, signature)
    except InvalidSignatureError:
        abort(400)

    return 'OK'

@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
    line_bot_api.reply_message(
    event.reply_token,[
        TextSendMessage(text=event.message.text),
    ])

@handler.add(BeaconEvent)
def handle_beacon(event):
    print(event)
    line_bot_api.reply_message(
        event.reply_token,[
            TextSendMessage(text='beaconを検出しました. event.type={}, hwid={}, device_message(hex string)={}'.format(event.beacon.type, event.beacon.hwid, event.beacon.dm)),
        ])

if __name__ == "__main__":
    port = int(os.getenv("PORT"))
    app.run(host="0.0.0.0", port=port)

ソース変更部分の説明

LINEBotはビーコンの変化検出するとenter/leaveといったtriggerをもとにイベントバックエンドに送信します。そのため以下のようにBeaconEventをlinebot.modelsからimportする必要があります。

from linebot.models import (
    MessageEvent, TextMessage, TextSendMessage, BeaconEvent,
)

その後にイベントハンドラーをflask側に登録します。

@handler.add(BeaconEvent)
def handle_beacon(event):
    print(event)
    line_bot_api.reply_message(
        event.reply_token,[
            TextSendMessage(text='beaconを検出しました. event.type={}, hwid={}, device_message(hex string)={}'.format(event.beacon.type, event.beacon.hwid, event.beacon.dm)),
        ])

これでBot側でイベントはを受信できるようになります。

f:id:ueponx:20180914090017p:plain

Herokuのログでは以下のようにメッセージが送信されてきます。

(base) C:\sample> heroku logs --tail
2018-09-13T07:42:18.680976+00:00 heroku[router]: at=info method=POST path="/callback" host=【アプリ名】.herokuapp.com request_id=4466883f-6570-4da2-b4ec-c9dcd591cf14 fwd="203.104.146.154" dyno=web.1 connect=0ms service=445ms status=200 bytes=155 protocol=https
2018-09-13T07:42:18.679620+00:00 app[web.1]: 10.95.189.103 - - [13/Sep/2018 07:42:18] "POST /callback HTTP/1.1" 200 -
2018-09-13T07:42:18.238877+00:00 app[web.1]: {"beacon": {"dm": "", "hwid": "00000*****", "type": "enter"}, "replyToken": "248b7d10a5bc4977aab930004cacd320", "source": {"type": "user", "userId": "*********************************"}, "timestamp": 1536824537481, "type": "beacon"}

(注意)
LINEさんのビーコンではビーコンの状態をbotが管理しています。そのため、エリアにはいったり出たりという変化がHerokuで作成したバックエンドのデプロイとは関係ない状態になります。(考えてみれば当然なのですが)つまり、一度Bot側でEnterの状態になると、バックエンドのデプロイをしたからといってEnter状態トリガーが繰り返し発生されることはありません。一般のBeaconでは常に位置情報が取り出されるのでこの部分が大きく異なります。
あとLeaveに関する通知に関しては、ビーコンから離れて、思った以上に遅く送信されます。基本的にはEnterのみを使用する方向で実装したほうがいいでしょう。

イベントで取得するeventオブジェクトに関しては以下のドキュメントを参照してください。

Messaging APIリファレンス

(注意) ドキュメントをみるとJsonのサンプルは以下の様になっていますが

{
  "replyToken": "nHuyWiB7yP5Zw52FIkcQobQuGDXCTA",
  "type": "beacon",
  "timestamp": 1462629479859,
  "source": {
    "type": "user",
    "userId": "U4af4980629..."
  },
  "beacon": {
    "hwid": "d41d8cd98f",
    "type": "enter"
  }
}

このなかでsource.userIdという属性があるように見えますが、これ間違いですsource.user_idが正しいようです。 Githubソースをみると正解だと確信しました。

終わりに

LINEBotの作成をちょっと変更することでビーコンの機能を追加できるのはなかなか便利だなと思いました。(アプリの外装を作らなくてもいいのも便利) ただ、デバックが結構大変だなというのも実感しました。これはBluetoothのビーコン全体の話かなと思いますが、それに加えて状態管理をLINEアプリ側にゆだねているのが LINEビーコン側のデバックを難しくしているような気はします。あと、LINEビーコンを使用可能にする手順ももう少し簡単にしたらいいなあと。

とはいうものの、ここまでLINEが普及しているのであれば何らかの形で使っていくアイデアがあるのであれば積極的に使ったほうがいいですかね。

LINEさんはサンプルが充実しているので興味ある方はこちらのGithubを参考にしてください。

【参考】 github.com

ドキュメントトップ

【参考】 uepon.hatenadiary.com

uepon.hatenadiary.com

アイデア供養会名古屋の陣を開催しました!

今年のMashupAwards(MA作品応募期間:2018/9/6(木)~11/5(月))も開催が決定していますが、その直前の【2018/9/3(月)】に名古屋ではアイデア供養会を開催しました。

イデア供養会 名古屋の陣 【Supported by MA@名古屋ギークバー 】

f:id:ueponx:20180910213415p:plain

イベントの名前もアイデア供養会 名古屋の陣 【Supported by MA@名古屋ギークバー 】です。今年の春に東京では「着手したけどいろいろな理由で放置しているプロジェクトを紹介する(成仏させる)LT大会」という形のアイデア供養会が行われました。

mashupaward.jp

それをきいて名古屋有志でも「開催したいなあ~」という話をしていたのですが、ようやくそれが実現しました!実のところを言うとお盆の時期にできればという話ではあったのですが、 開催場所が時期的に難しいということもあり、お盆の終わった9月3日に行うことになりました。時期としてはお盆は外してしまいましたが、今年のMashupAwardsの開催前にできたのは ギリギリセーフだったなという感じです。

イデア供養会はMA常連さんの@塚谷さんが東京の発起人ということだったのですが、できれば名古屋の供養会にも来たいという話をしていたのですが、残念ながら「今回は来れない」ということでしたが…なんと、当日の会場の準備をしていると急遽東京から名古屋まで駆けつけていただけました!このためだけに東京-名古屋間を移動されたということなので凄すぎ!

今回は名古屋近辺でも有名なGeekbarを会場にさせていただきました。会場のご協力ありがとうございました。

geekbar.doorkeeper.jp

イデア供養会とは?

このアイデア供養会の趣旨は、ハッカソンなどで出たアイデアで着手したけどいろいろな理由

  • 情熱が続かない
  • 技術的に難しそう
  • 物が売ってない

などなどの理由で放置しているプロジェクトを紹介する(成仏させる)LT大会になります。

いつものLT大会とはちょっと異なり、木魚やおりんが響く…いつもとは違う雰囲気の中でのLT大会です。今回の会場であるGeekbarもちょっと雰囲気のある会場(いつもはピアノバーとして運営しています)だったので 思った以上に、それらしく行えたのではないかと思っています。個人的には木魚やおりんは本物だったのでこんなにいい音がするんだという一種の感動もありました。(若干ほしくなったw)

【塚谷さんの手で持ち込まれた木魚とおりん】 f:id:ueponx:20180910220816j:plain

前日に大垣でMAのハッカソンがあったので、伴野さんも参加していただき、今年のMAイベントの紹介もいただけました!豪華!

f:id:ueponx:20180910221407j:plain

今回は募集が一ヶ月前になってしまいましたが、それにもかかわらず10名以上の方がイベントに参加いただき、ほとんどの方がアイデアの供養(LT)を行っていただけました。 通常、この手のLT大会は数人の方のLTを行って、あとはフリータイムのような形になりがちですが、今回は目一杯LTをやったのでむしろ時間がなくなってしまうぐらいで、みんなアイデア供養に飢えているのか(?)とも思えるほどでした。供養に飢えているという表現はなさそうですけど。

今回の目玉!

今回の目玉はやはり…本物の神主さんが供養にご協力いただけたということでしょうか。イベント募集の画像はお坊さんが書いてあったのですが、急遽来ていただくことに成功しました。普通に着ていただけるだけでも嬉しかったのですが、正装で登場したのには驚きです。

f:id:ueponx:20180910221815j:plain

自分たちで考えたアイデアには愛着があるので、やはりLTをの時間もしっかり使って来る感じになりますよね。話を聞いていてもすごく楽しかったです。あと、供養会だとLTにも自然にオチがつくというのもいい効果なのかなと。これまで作ってきた作品の歴史を語る方もいれば、印象に残った作品のことを語る方もいて、いろいろな思い出があったんだろうなというのが読み取れます。

私が気になったアイデアは「うしつり」でしょうか。

f:id:ueponx:20180910223422j:plain

冷静に考えると、絶対に手を出さないというアイデアでも、イベント、締め切り、圧(謎の力)などでなんとなくやってみたくなる雰囲気があったんだろうなと思いました。こういうアイデアが出るのもMashupAwardsの雰囲気の良さなんだと思っています。素敵です!常連の方もいれば、去年から参加したという方まで幅広い方々に参加していただけて、とてもいいイベントになったなと思うとともに、引き続きアイデアを供養するという場があるというのもなかなかいいなと思ってしまいました。

f:id:ueponx:20180910224536j:plain

f:id:ueponx:20180910224558j:plain

f:id:ueponx:20180910224612j:plain

f:id:ueponx:20180910224624j:plain

f:id:ueponx:20180910224638j:plain

f:id:ueponx:20180910224721j:plain

自分は去年個人で作った作品の供養をしました。はじめて体験したボッチアイデアでしたが、ボッチの作業もなかなか楽しかった。やっていく中で、いろいろなところからコメントをもらったりしてヒントを考えさせられることも多かったアイデアで、本当の意味での作りたいにまっしぐらの「俺得」イデアであったともいえます。

f:id:ueponx:20180910224854j:plain

f:id:ueponx:20180910224957j:plain

f:id:ueponx:20180910225113j:plain

f:id:ueponx:20180910225425j:plain

おわりに

イベントを通してアイデアからモノを作るだけでなく、アフターパーティ的に話すこと、後日談のような形で消化させるようなこと、こういうことを面白いなと思っていただいた参加者が多かったのかなと思います。 アイデアにはやっぱり供養する場が必要ですね。今後も年一回ぐらいはアイデア供養会とかできるといいかなと思いました。

イベントの最後には神主さんからお祓いをしていただきました。

f:id:ueponx:20180910225844j:plain

f:id:ueponx:20180910225922j:plain

今回イベントにご参加いただいた方々本当にありがとうございました。今年のMashupAwardsのみならず、ものづくりイベント頑張っていきましょう!

告知

来る9/29,30に名古屋でもMashup名古屋ハンズオン&ミニハッカソン2018を開催いたします。

「自由なものづくり」をテーマに、チャレンジ度、ギーク度、ワクワク度を競い合う日本最大級の開発コンテストであるMashup Aawards。 今年の名古屋のイベントでは、これまでと開催形態を少し変え、技術サポート企業からのハンズオンなどとモノづくりに集中するもくもく会の形式で開催します。

mashup-nagoya.connpass.com

ぜひ、初参加の方もご参加ただければと思います。

大垣にハッカソンにいってきた

f:id:ueponx:20180908133542j:plain

いよいよ9月。ハッカソンなどのものづくりイベントが数多く開催される季節になってきました。 ってことで今回は大垣で開催された「おおがきIoT×AIハッカソン by Mashup Awards 2018」

mashupawards.connpass.com

毎回大垣のハッカソンではロボット関連をテーマとしていましたが、今回はこれまでのテーマに加えてAI・IoTが入った形になっていました。

f:id:ueponx:20180908115816j:plain

今回もPepper登場!

f:id:ueponx:20180908115744j:plain

LINE Clovaも大量にいました!

f:id:ueponx:20180908115800j:plain

大まかな流れに関しては medium.com

d.hatena.ne.jp

こちらを見てもらえればと思います。今回はLINEさんが技術サポートとして来ていらっしゃったので、前から興味のあったLINEビーコンを使用してなにかできないかなと考えました。若干の今更感はあるのですが、ハッカソンでは使ったことが無いデバイスに触れるのも喜びではあるので、ダメ元のチャレンジでした。Bluetoothのビーコンデバイスは実は去年はMAMORIOを使用していたのでなんとなくは分かっていたのですが、LINEビーコンは少し印象が違う感じではありました。

【LINEビーコンの販売ページ】 beacon.theshop.jp

詳細に関しては別のエントリーにしようと思います。

f:id:ueponx:20180908115839j:plain

チームビルディングでいろいろと考えていたのですが、今回も結果的にSeyaさんと組むことに。Seyaさんは大垣ハッカソンでは毎度同じチームになるのですが、どちらかが途中で退場するという感じで最後まで発表にいたことのない感じです。とはいっても、実は大垣の作品がMAのセカンドステージに2回も行っているという点ではなかなかいい感じのチームだったと思います。今回もSeyaさんとチームを組んだのですが、2日目がいないということなので、実質ボッチソンって感じ。そのあと2日目の天候が影響してseyaさんもそのままイベントに残ったのでボッチソンではなくなりました。

2日目のことを考えると、自分がコーディングを、その他をSeyaさんという担当で行うことに。

f:id:ueponx:20180908134228j:plain

最初のアイデアはビーコンを持った人を探す鬼ごっこ(かくれんぼ?)のようなものを考えていたのですが、アイデアがなかなかうまくまとまらず。モテアイデアに近い感じだったのですが、なんとなく今ひとつ。チームでもう少し考えを変えていって、謎解きゲームっぽいものを作っていこうという話になりました。ビーコンに近づくと位置の検知ができるので、部屋などにおいておけば、部屋の入室がわかるので謎を仕掛けておいて、それをクリアしていってゲームにするってことは、なんとなくできるかなと。

【盗撮をするペッパー、この背中はみたことあるw】 f:id:ueponx:20180908115853j:plain

一応以下の画像のようなゲームができました。

歩いていると通せんぼする少年。なにかをあげないと通してくれない。

f:id:ueponx:20180908115913p:plain

ものを探して違う場所へ…

f:id:ueponx:20180908115915p:plain

怪しげな扉と謎の書かれた紙面。

f:id:ueponx:20180908115918p:plain

謎を解いて暗証番号を入力すると…扉があき中にプリンが!

f:id:ueponx:20180908115920p:plain

アイテムをゲットして、もう一度通せんぼの少年のところに行ってプリンを渡す。

f:id:ueponx:20180908115924p:plain

今回は無事に関門をクリア!

f:id:ueponx:20180908115926p:plain

最後は4つある扉の中から正解の扉を選ぶというもの正解を選べば無事にクリア!

技術的には単純なのですが、作り始めてからゲームを組み立てていったりしたのでかなり時間がかかってしまいました。 仕様やストーリーをねってから作ればもう少し時間の短縮ができたかな?

f:id:ueponx:20180908133507p:plain

終わりに

あとLINEビーコンを使ってみての印象ですが

  • 見通しがあれば、距離が離れていてもかなり遠くまで電波は届く。15mぐらいは全然問題ない。(enterのステータスは大丈夫だが、leaveのステータスが使いにくい
  • LineBot側でエリアに入ったか出たかのステータス管理していて、一度エリアに入ったと検出してしまうとバックエンド側を変更してもビーコンのステータスが送信されない(同じ状態を再度送るのは基本できないっぽいのでビーコンの電源のON/OFFまたはがBluetoothのON/OFFが必要です。
  • ドキュメントとGithubの情報が異なっている。Githubにあるソースコードが一番が正しいです。
  • Herokuを使うとログ出力などが限定的になったり・表示に時間がかかるので、開発段階ではngrokでつくってからHerokuにシフトするといいもしれません。

基本的に部屋の中でデバックするにはかなり大変な印象を受けました。自分たちも体を動かしながらデバックしてましたw

protopedia.net

ついでにいうと、プレゼン中に途中で数字を入れる「謎」が難しすぎて、謎の方に気が引かれたのはハプニングでした。

発表の結果はLINE賞をいただきました。商品は開発で使用していたビーコンだったので今後の開発にも使えそうです!(購入しようと思っていたのでラッキーでした!)

f:id:ueponx:20180908134300j:plain

今回は作りたいものを作ったという感じだったので、アイデア的には面白さはなかったかなという感じですが、今後の作品ではぜひWOWを作っていければと思っています。

【今回のMAイスター陣勢揃い写真】 f:id:ueponx:20180908120020j:plain

今年も9月6日からMashupAwardsが始まりました。みなさんもお近くのハッカソンがあれば見学でもいいのでぜひのぞきに来てください。

MA2018 〜 ヒーローズ・リーグ 〜 – Make Wow, Feel Wow

あと、このハッカソンを企画していただいた市川さんお疲れ様でした!

Chrome OS(Chromium OS)を使ってみた

お盆休みということで結構作業時間が取れるなあと思っていたら、胃腸風邪にかかってしまいほぼお盆休みは終わってしまった感じです。使える時間も少なくなったので以前ちょと興味本位で使ってみたChrome OSをもう一回入れてみようと思います。

以前と言っても、リリースされた当初なのでデバイスはほどんどNG、無線LANも使えなかったり、Chromeアプリがあまり整備されていなかったのでGmailChromeでのブラウジングだけだったような気がします。最近はかなり環境も変わっているので様子を見ようという感じです。(いい感じならChromeBookも購入の視野に入りますしね)

ちなみにですが、Chrome OSとは言っていますが、実際はオープンソース版のChromium OSを使用しています。

準備するもの

Chromium OSのインストールにあたって必要となるのは

になります。容量はイメージを作ってみてわかったのですが、8GByteあれば足りそうな気もしますが、16GByteぐらいあれば余裕があると思います。

今回は USBメモリにはSanDiskのものを使用しました。

また、PCにはOSインストールの実験台になっているAspire one 753(2010年製)をしようしました。Windows7時代のPCでしたが、メモリは増設して4GByteにしています。USB経由でRaspberryPi Desktopを起動していますが、Windows10ではかなり重たい動きになりますが、割といい動きをしています。

http://www2.acer.co.jp/catalog/1012/FIX_NBALL_0616.pdf

あと残るはOSのイメージになります。

OSのイメージ

起動に必要なChromium OSのイメージはオープンソースなのでクロスコンパイルしてねって感じになるのですが、さすがにそれは厳しいのであり物のイメージを使用します。

Chromium OS」をビルドしたイメージファイルを配布しているサイトはいくつかあるようです。リリース当初も配布サイトはありました。

Chromium OS Builds

海外有志のChromium OSのビルドイメージサイト。毎日最新版のビルドのイメージファイルを作成しているようです。特別なハード用のドライバを仕込んだイメージもあるようでした。問題点は機械的にbuildを行っているので動作しない可能性もあるそうです。

Directory Listing of . (Chromium OS Builds)

Chromium OS カスタムビルド配布ページ

日本有志の方が安定動作するChromium OSを提供していたサイトのようです。ただバージョンR60で活動を終了しているようです。

Chromium OS カスタムビルド配布ページは活動を終了しました — Chromium OS Custom Biuild

f:id:ueponx:20180814224636p:plain

CloudReady

Neverware社が製品化しているChromium OSとなります。個人利用は無料なのでビジネス用途、教育用途でなければ大丈夫そうです。

www.neverware.com

今回は、Chromium OS Buildsイメージをダウンロードしてみたのですが、うまく起動でき無かったので、CloudReadyのイメージをしようすることにしました。

イメージのダウンロード

Neverware社のホームページに行って 画面に表示されている【GET STARTED】ボタンをクリックします。

f:id:ueponx:20180814230403p:plain

すると、画面がスクロールして以下のような表示になります。

f:id:ueponx:20180814230655p:plain

ここで、個人向けなのかビジネス・教育向けなのかの選択を受けるので、左側の【INSTALL HOME EDITION】のボタンをクリックします。画面が以下のように遷移します。

f:id:ueponx:20180814230909p:plain

このページにはインストールするためのステップが書いてあります。Step2の部分でWindowsユーザはUSBMakerなるソフトウエアが必要なので…という記載がありますが、とりあえず無視します。

f:id:ueponx:20180814231046p:plain

STEP3の部分に進むと

Mac or Chromebook user? No problem!

という、Windowsユーザーをかなり不安にさせる記載がありますが、これも無視しますw画面に【DOWNLOAD 64-BIT】のボタンがあるのでこれをクリックすれば、イメージがダウンロードできます。

f:id:ueponx:20180814231249p:plain

USBへのイメージ書き込み

公式ページにはUSBMakerというソフトがいるよーって書いてありましたが、実際には EtcherとかWin32DiskImagerを使っても起動USBを作成できます。

Win32DiskImagerでは極稀にエラーが発生することもあったのでEtcherのほうがおすすめです。(エラーが発生するとLinux環境からのfdiskなどでUSBメモリをクリーンな状態に戻す必要がありました。かなりめんどくさい)

f:id:ueponx:20180814235716j:plain

f:id:ueponx:20180814235728j:plain

あとは起動だけです。

起動!

ちなみにスクリーンキャプチャのショートカットはCtrl+F5です。

f:id:ueponx:20180814235539p:plain

f:id:ueponx:20180814235556p:plain

無線LANも問題なく使用できますし、ChoromeリモートデスクトップなどでWindowsマシンへのRDP、カメラ・マイクを使用したHangoutなども問題なくできていました。 素晴らしい!

8年落ちのPCでここまで動くなら問題ないです。Youtubeの高画質動画に関してはダメそうな気がしますが、Web系のサービス利用なら難なくこなせる感じでしょう。気になるのはエディタ環境だけかなと思いました。この辺って本格的に使用している人はどう使っているのか聞いてみたいところです。

注意点

自分はUSB起動でRaspberryPi DesktopChromium OSを切り替えていたのですが、RaspberryPi Desktopを自動するときにChromium OSのUSBを挿したままで起動すると、Chromium OSのUSBのイメージが壊れてしましました。(ブート途中で反応しなくなる現象です) こういうこともああるかなと思いましたので、注記しておきます。

おわりに

本当に素晴らしい!こらならChrome BookをメインPCにしても行けるかなという気がしました。ネットワークはほぼ必須ですけどね。

動作のスピードに関してはRaspberryPi DesktopChromium OSはほぼ同等に感じましたが、日本語フォントなどの設定が少なくすぐ使えるという感じではありました。どちらも一長一短があると思いますが、ビギナー向け?Googleのサービスに慣れている人向けであればChromium OSもおすすめできるのではないでしょうか。

ようやくTensorFlowがRaspberryPiを正式にサポート

f:id:ueponx:20180811114152p:plain

おじさんは待っていました。そして正直うれしいです。 これまでも結構設定に苦労していましたが、これでようやく容易に準備できる環境になったと言ってもいいでしょう。

TensorFlow本家がようやくRaspberryPiがサポートしてくれました。

f:id:ueponx:20180811112248p:plain

インストールに関しては以下でFAです。

【本家のリンク参考】 Installing TensorFlow on Raspbian  |  TensorFlow

他にもエントリー書かれている方がいますのでそちらを御覧ください。

shi3z.hateblo.jp

嬉しさのあまり、自分もエントリを書きますが、公式となにも変わらないと思いますので…

一応、今回の作業で

  • TensorFlow → 1.9
  • keras → 2.2.2
  • OpenCV → 3.4.2

となっています。最後にコマンドをまとめてあるので必要があればみてください。

インストールの環境

今回は最新のRaspbianを使用しました。 ダウンロードしたファイルは2018-06-27-raspbian-stretch.zipとなります。ひとしきりインストールの関連作業を行います。 インストールしたバージョンは以下のようになっていました。

$ lsb_release -a
No LSB modules are available.
Distributor ID: Raspbian
Description:    Raspbian GNU/Linux 9.4 (stretch)
Release:        9.4
Codename:       stretch

必要条件としては

Raspberry Pi devices running Raspbian 9.0 or higher

とのことだったので問題はなさそうです。

pipもインストール時にこのようになっているので問題ありません。 Pythonは2系でも3系でも問題はなさそうなので、今回は3系でやってみます。

$ pip --version
pip 9.0.1 from /usr/lib/python2.7/dist-packages (python 2.7)

$ pip3 --version
pip 9.0.1 from /usr/lib/python3/dist-packages (python 3.5)

インストール作業

あとはインストールをするだけです。 TensorFlowのインストールにはATLASというライブラリが必要(依存する)ということなので ライブラリをインストールしてから、TensorFlowをのインストールを行うことになります。

【ATLAS】 Automatically Tuned Linear Algebra Software (ATLAS)

$ sudo apt install libatlas-base-dev
$ pip3 install tensorflow

これで終わりです!自分の環境では有線のネット接続で5分くらいで終わりました。3系のインストールのほうが依存関係のパッケージがprebuildされているので早いということも書いてありましたので3系使ったほうがいいと思います。

実行してみる

REPL環境でimportの実行を行ってみると…おやあ?

$ python3
Python 3.5.3 (default, Jan 19 2017, 14:11:04)
[GCC 6.3.0 20170124] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: compiletime version 3.4 of module 'tensorflow.python.framework.fast_tensor_util' does not match runtime version 3.5
  return f(*args, **kwds)
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: builtins.type size changed, may indicate binary incompatibility. Expected 432, got 412
  return f(*args, **kwds)
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: numpy.dtype size changed, may indicate binary incompatibility. Expected 56, got 52
  return f(*args, **kwds)

自分も以前にこんなメッセージ見たことあるぞw。

ドキュメントにもこんな風に書かれています。

If you're running with Python 3.5, you may see a warning when you first import TensorFlow. This is not an error, and TensorFlow should continue to run with no problems, despite the log message.

Python3.5だとimport時にWarningがでるよって…自分で作業していたときにも同じようなメッセージが表示されていたので、そのときに使用したバイナリと同じものがpip経由でインストールされているものだったのでしょう。ドキュメントには実行に問題ないということが書いてあるのでそのままテストコードを入力してみます。

【参考:pythonがバージョン3.4とかそういう件だった話】

uepon.hatenadiary.com

$ python3
Python 3.5.3 (default, Jan 19 2017, 14:11:04)
[GCC 6.3.0 20170124] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: compiletime version 3.4 of module 'tensorflow.python.framework.fast_tensor_util' does not match runtime version 3.5
  return f(*args, **kwds)
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: builtins.type size changed, may indicate binary incompatibility. Expected 432, got 412
  return f(*args, **kwds)
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: numpy.dtype size changed, may indicate binary incompatibility. Expected 56, got 52
  return f(*args, **kwds)
>>> hello = tf.constant('Hello, TensorFlow!')
>>> sess = tf.Session()
>>> print(sess.run(hello))
b'Hello, TensorFlow!'
>>>

一応問題なく実行してくれたようです。

念の為バージョンを確認すると

>>> tf.__version__
'1.9.0'

最新バージョンのようです。

ついでにkerasもインストールしてみます。

$ sudo pip3 install keras

REPL環境で実行してみますが問題はなさそうです。

>>> import keras
Using TensorFlow backend.
>>> keras.__version__
'2.2.2'

さらについでにOpenCV3.4.2をインストール

$ wget https://github.com/mt08xx/files/blob/master/opencv-rpi/libopencv3_3.4.2-20180709.1_armhf.deb
$ sudo apt install -y ./libopencv3_3.4.0-20180115.1_armhf.deb
$ sudo ldconfig

github.com

Python 3.5.3 (default, Jan 19 2017, 14:11:04)
[GCC 6.3.0 20170124] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import cv2
>>> cv2.__version__
'3.4.2'
>>>

認識なども問題ありません。

f:id:ueponx:20180811140136p:plain

こちらもすんなりインストールできました。以前のTensorFlowとKerasを使用したコードを実行してみます。コードは以下のようなものです。

sample.py

from keras.models import Sequential
from keras.layers import Activation, Dense, Dropout
from keras.utils.np_utils import to_categorical
from keras.optimizers import Adagrad
from keras.optimizers import Adam
import numpy as np
from PIL import Image
import os

image_list = []
label_list = []

# トレーニングデータを読み込む
for dir in os.listdir("data/train"):

    traindir = "data/train/" + dir
    if os.path.isdir(traindir) == False:
        continue

    label = 0              # 正解ラベル

    if dir == "apple":
        label = 0          # りんごの場合は、0
    elif dir == "orange":
        label = 1          # オレンジの場合は、1

    for file in os.listdir(traindir):
        if file != ".DS_Store":

            label_list.append(label)            # 正解ラベルを配列に入れる

            filepath = traindir + "/" + file  # ファイルパス

            resized_img = Image.open(filepath).resize((25, 25))                                                    # 画像を25x25にリサイズする
            image = np.array(resized_img)                                                                       # 25x25の2次元配列にする→[[R,G,B], [R,G,B]...]
            image = image.transpose(2, 0, 1)                                                                 # 配列を次元を変換する→[[R,R,R,...], [G,G,G,...], [B,B,B,...]]
            image = image.reshape(1, image.shape[0] * image.shape[1] * image.shape[2]).astype("float32")[0]     # 1次元配列に変換→[R,R,R,...,G,G,G,...,B,B,B]
            image_list.append(image / 255.)                                                            # 0.0〜1.0までの値にして配列に入れる

image_list = np.array(image_list)       # 画像リストをnumpy配列に変換

Y = to_categorical(label_list)          # 正解ラベルを配列にする(0→[1,0], 1→[0,1])

# 層を構築
model = Sequential()
# 入力層
model.add(Dense(200, input_dim=1875))
model.add(Activation("relu"))
model.add(Dropout(0.2))

# 隠れ層
model.add(Dense(200))
model.add(Activation("relu"))
model.add(Dropout(0.2))

# 出力層
model.add(Dense(2))
model.add(Activation("softmax"))

# オプティマイザにAdamを使用
opt = Adam(lr=0.001)
model.compile(loss="categorical_crossentropy", optimizer=opt, metrics=["accuracy"])
# nb_epoch: 学習回数
# batch_size: 1度に処理する分量(GPUモードの際は、メモリ制限がある場合がある)
model.fit(image_list, Y, nb_epoch=1500, batch_size=100, validation_split=0.1)
# model.fit(image_list, Y, nb_epoch=10, batch_size=100, validation_split=0.1)

total = 0.
ok_count = 0.

for dir in os.listdir("data/test"):
    
    testdir = "data/test/" + dir
    if os.path.isdir(testdir) == False:
        continue

    label = 0

    if dir == "apple":
        label = 0          # りんごの場合は、0
    elif dir == "orange":
        label = 1          # オレンジの場合は、1

    for file in os.listdir(testdir):
        if file != ".DS_Store":
            label_list.append(label)
            filepath = testdir + "/" + file

            resized_img = Image.open(filepath).resize((25, 25))    
            image = np.array(resized_img)
            image = image.transpose(2, 0, 1)
            image = image.reshape(1, image.shape[0] * image.shape[1] * image.shape[2]).astype("float32")[0]

            # 予測する
            print(filepath)
            result = model.predict_classes(np.array([image / 255.]))
            print("label:", label, "result:", result[0])

            total += 1.

            if label == result[0]:
                ok_count += 1.

print(ok_count / total * 100, "%")

実行結果

$ python3 07tf.py
Using TensorFlow backend.
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: compiletime version 3.4 of module 'tensorflow.python.framework.fast_tensor_util' does not match runtime version 3.5
  return f(*args, **kwds)
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: builtins.type size changed, may indicate binary incompatibility. Expected 432, got 412
  return f(*args, **kwds)
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: numpy.dtype size changed, may indicate binary incompatibility. Expected 56, got 52
  return f(*args, **kwds)
07tf.py:65: UserWarning: The `nb_epoch` argument in `fit` has been renamed `epochs`.
  model.fit(image_list, Y, nb_epoch=1500, batch_size=100, validation_split=0.1)
Train on 35 samples, validate on 4 samples
Epoch 1/1500
35/35 [==============================] - 3s 86ms/step - loss: 0.7891 - acc: 0.5143 - val_loss: 0.0169 - val_acc: 1.0000
Epoch 2/1500
35/35 [==============================] - 0s 3ms/step - loss: 2.5033 - acc: 0.4286 - val_loss: 1.6119 - val_acc: 0.0000e+00
Epoch 3/1500

(中略)

Epoch 1500/1500
35/35 [==============================] - 0s 3ms/step - loss: 1.2697e-05 - acc: 1.0000 - val_loss: 1.1921e-07 - val_acc: 1.0000
data/test/orange/8242_1.jpg
label: 1 result: 1
data/test/orange/1152194_orange_isolated_on_white_background.jpg
label: 1 result: 1
data/test/orange/images (1).jpeg
label: 1 result: 1
data/test/orange/DKCcTzZXUAA0ckm.jpg
label: 1 result: 1
data/test/apple/81306024002557.jpg
label: 0 result: 0
data/test/apple/81306024002554.jpg
label: 0 result: 0
data/test/apple/1212043top.jpg
label: 0 result: 0
data/test/apple/1757f226647a6f1.jpg
label: 0 result: 0
100.0 %

こちらも無事に実行されています。

終わりに

過去の苦労がこれで解消されていくのかなと思います。 苦労が無駄だとは思いませんが、このくらい簡単になるとRaspberryPiのこの分野での存在感が高まってくるような気がします。

今回のインストール作業

$ sudo apt install libatlas-base-dev
$ pip3 install tensorflow
$ sudo pip3 install keras
$ wget https://github.com/mt08xx/files/blob/master/opencv-rpi/libopencv3_3.4.2-20180709.1_armhf.deb
$ sudo apt install -y ./libopencv3_3.4.0-20180115.1_armhf.deb
$ sudo ldconfig

【参考】

uepon.hatenadiary.com

uepon.hatenadiary.com