collect, analyze, and visualize data
/ produced by Hiroyuki Shinoda
collect, analyze, and visualize data
Article
2016.9.7
漫画のキャラとシンクロしないと次のコマに進めない「Emotion Sync System」

[出演] ※2023/08/10追記
– NTV「ぐるナイ」システム提供、出演
– TBS「審査員長・松本人志」システム提供、出演


[受賞] ※2016/10/18追記
日経みんなのラズパイコンテスト2016 アイデア賞


[メディア掲載] ※2016/10/24追記
ITpro「みんなのラズパイコンテスト2016」受賞作品決定
日経ソフトウェア(2016年12月号):「みんなのラズパイコンテスト2016受賞作品発表!」


| (0) はじめに


漫画は、キャラクターやストーリーに感情移入すればするほど
面白いことは言うまでもありません。
しかし、普段、どれだけ漫画に感情移入して読んでおりますでしょうか。
漫画を読んで、嗚咽をもらしたり、地団駄を踏んだり、
胸を掻きむしる体験よりも、
満員電車の中で、死んだ魚のような目で読んでいることの方が
多いのではないでしょうか。


そこで本稿では、
RaspberryPi、Node.js、心拍センサ、Google Cloud Visionとカメラモジュールを用いて
漫画のキャラクターと読者の感情を同期させる装置”Emotion Sync System”

を作成しました。
※別エントリで記載しております「RaspberryPiとNode.jsとcreate.jsを使用した心拍数連動漫画システム」の拡張となります。


| (1) 概要


本システムは、感情を”心拍数”と”表情”の組み合わせと仮定し、
漫画のキャラクターと読者の間で、心拍数と表情がマッチするたびに
ストーリーが進行するシステムとなります。


漫画のキャラクターの心拍数と表情は、
あらかじめシーンごとに想定で設定しておきます。
一方、読者の心拍数は心拍センサを用いてリアルタイムに測定し、
読者の表情は、カメラモジュールによる撮影画像を
Google Cloud Visionで画像解析した結果を用います。


上記の処理を、RaspberryPiに接続した各種センサをNode.jsで制御し、
リアルタイムにブラウザでセンサデータを処理・可視化することで
実現しています。


| (2) 全体システム構成・用いている技術

スクリーンショット 2016-08-27 18.11.18

– RaspberryPi
カメラモジュールによる読者の表情撮影、
および心拍センサによる読者の心拍数をリアルタイムに取得するために使用。


– Node.js
RaspberryPiに接続した各種モジュール・センサの制御、
および取得したセンサデータをwebブラウザにリアルタイムに送信し処理するために使用。


Google Cloud Vision API
Googleが提供する画像認識API。今回は「FACE DETECTION」という表情判別機能を使用。
RaspberryPiのカメラで撮影した画像をNode.js経由で
GoogleCloudVisionAPIに送信し、
表情判定結果をブラウザに戻して処理。(※詳細後述)


| (3) アイデア


漫画のキャラクターの感情(心拍数、表情)に応じて、
読者を強制的に制御することは、 現状困難と思われます。
そこで、「読者が、漫画のキャラクターの心拍数、
表情に一致しない 限り、ストーリーが進まない」ことで、
”結果的に”漫画のキャラクターと読者の、心拍数、 表情が一致しながら
ストーリーが進行する
、という状態を実現しています。


| (4) Google Cloud Vision APIについて


Google Cloud Vision APIは下記様々な機能があります。

TYPE_UNSPECIFIED指定なし
FACE_DETECTION顔検出。(および表情判定) 今回使用
LANDMARK_DETECTIONランドマーク認識。
LOGO_DETECTIONロゴ検出
LABEL_DETECTIONラベル(カテゴリ)検出
TEXT_DETECTIONテキスト検出
SAFE_SEARCH_DETECTIONセーフサーチ(不適切コンテンツ判定)
IMAGE_PROPERTIES画像のプロパティ検出


今回使用した「FACE_DETECTION」は、画像をPOSTすると、
目や鼻の位置など様々な判定結果とともに、下記のような表情判定結果を5段階で判別して返答します。

(FACE_DETECTIONの表情判定項目)

joyLikelihood喜び
sorrowLikelihood悲しみ
angerLikelihood怒り
surpriseLikelihood驚き

(FACE_DETECTIONの表情判定結果)

UNKNOWN判定不可
VERY_UNLIKELYとてもそうとは言えない
UNLIKELYあまりそうとは言えない
POSSIBLEややそう言える
LIKELYかなりそう言える
VERY_LIKELYとてもそう言える

| (5) プログラミング


以前のエントリ同様、Node.jsでRaspberryPiに接続する機器を制御しており、
GoogleCloudVisionへのカメラ撮影画像の送受信も、
Node.jsで処理しております。


Node.jsにおけるGoogleCloudVision処理には
“node-cloud-vision-api”というパッケージがありますので、
あらかじめインストールしておきます。
(※ちなみにGoogleCloudVision用Node.jsパッケージは
他にもいろいろあるようです)

下記はサーバ側の処理(のうち、GoogleCloudVision関連のパート)となります。


| (6) 動作イメージ


下記のように、定められた心拍数・表情条件をみたすごとにストーリー(コマ)が進行していきます。
下記動作イメージで使用している漫画は、私個人の描き下ろし作品であります『データサイエンティストたちの黙示録』となります。


以上、今回はGoogleCloudVisionとRaspberryPiを用いた
感情連動漫画システムの紹介となりました。
GoogleCloudVisionによる顔認識は非常に高精度であり、
目、鼻、口などの位置を正確に特定できます。

一方、”笑っている”、”悲しんでいる”などの表情判定は、
おそらくグローバルな画像を元に学習しているように思われ、
日本人的には、相当オーバーな表情をしないと
判定されないという結果となりました。

かといって無闇矢鱈にオーバーな表情をしても、
その心情が掴みづらい表情はもちろん判定されません。
ただし、友人で試すと、それなりに判定されました。


もしかして、私が単体で表情が掴みづらいのか?

人気記事: