ARTICLE

おもちゃに仕込まれた「聞こえない音通信」の正体を探ってみる

初めまして、SSL研究員 池田です。
音通信の、特に技術的な側面について今後解説を行っていきたいと思います。よろしくお願いします。

音通信(音波 によるデータ通信)は、私が勤務するスマート・ソリューション・テクノロジー(SST)が提供しているスマートフォンアプリ「Zeetle」じめ、店舗への来店を促すチェックインサービス、おもちゃ等、いろいろな場面で使用されています。今回は、おもちゃで音通信を行っている事例が見つかったので、その中を覗きながら音通信について考えてみます。

大人気のおもちゃ「ベイブレード」で音通信が使われている!

このおもちゃ「ベイブレード」(写真1,写真2)は、昔ながらの「ベーゴマ」を進化させた対戦型のコマです。1999年に発売されて以来何度かバージョンアップし、最新バージョンでは、コマを回した回数や、コマを回した速度を記録し、それをスマートフォンや携帯ゲーム機に音通信で伝えることで自分の活動記録としたり、それを他のプレイヤーと共有して楽しむことができる仕組みになっています。ぜひ、詳しい遊び方は子供たちに聞いてみてください。今回はその音通信について、実際にどんなことが行われているのか?を調べてみたいと思います。

p02.jpg
p01.jpg

写真左上の白い筐体が、コマのパフォーマンスを記録し、スマホに送ることができる「ベイロガー」というアイテム。ここから非可聴域の高周波を出し、それをスマホアプリが受け取る仕組みになっている。

「聴こえない音」をデータで見てみる

どんな音が使用されているかを調べる方法として最初に思いつくのは、耳で聴いてみることです。しかしこの製品で使用されている音通信は18kHz以上の周波数が使われていたため、直接耳で聴くことはできません(※)。そこで音を波形画像として可視化し、調べてみます。波形は、録音した音声ファイルを波形編集アプリケーションで開くと確認できます(図1)。ただ、この波形を見ても、何か起こっているか、はっきりとはわかりません。レベル(音量)の大きな、低い周波数のノイズに邪魔されているからです。

そこでハイパスフィルタを使用し18kHz以下のノイズをカットしてみたのが図2です。音のレベルは小さくなった様に見えますが、通信で使われている信号が鮮明に見えてきました。波形で音を見ると時間的な変化、タイミングが見やすいのが特徴です。9回の断続音がひとまとまりとなり(パケットと呼びます)、計4回鳴っていることがわかります。

p01.jpg

図1 横軸が時間の経過、縦軸が振幅

p02.jpg

図2 高周波だけを抽出すると、明確に信号が発信されていることがわかる

次に、周波数の特性を見てみます。解析機能から周波数特性スぺクトラムを表示させると、どの周波数が使用されているかを知ることができます(図3)。この音通信では18kHzから20kHzの間で、5種類の周波数が使用されていることがわかりました。

20180906_zu3.jpg

図3 横軸が周波数(音の高さ)、縦軸が音量

ここまで音を時間と周波数という軸で眺めてみましたが、その両方を同時に見るとどうなるでしょうか。それを行ってくれるのが、スペクトログラムです。数学的には短時間フーリエ変換を行い、そのレベル(通常は音量の対数をとったdB値)に応じ色付けを行ったものです(図4)。横軸が時間、縦軸が周波数で、周波数分布の時間変化がわかります。赤い部分が音が強い周波数・時間で、灰色の部分に音はありません。ちょうど楽譜の様なイメージで考えると良いでしょう。

20180906_zu4.jpg

図4

ちょっとマニアックな音声解析のはなし

ここで面白いのは、時間分解能と周波数分解能が両立しないという点です。FFTサイズを32,1024,16384と設定を変えながら表示させてみると、その様子がはっきりわかります。(図5,図6,図7)これは不確定性原理と呼ばれ、「波のような系」に備わっている特性です。量子力学における不確定性原理も同じです。今回は48ksamplingの設定でFFTサイズを1024にした時に一番くっきりと見やすくなりました(図6)。

zu5.jpg

図5

zu6.jpg

図6

zu7.jpg

図7

さて、くっきり表示できたので、より拡大して波形を見ると(図9)、毎回必ず18.5kHzで信号を出してから、一連の音が発生し、そこでは18.7〜19.5kHzの4つの周波数だけが使用されていることがわかります。

20180906_zu8.jpg

図8

どうやら18.5kHzの信号を使用して音通信(パケット)の存在、タイミングを知らせる仕組みになっている様です。
このように同期を知らせる特定の信号を通信の世界ではパイロット信号、特定のパターンの場合プリアンブルと呼んでいます。プリアンブルを使用すると、非常にシンプルにタイミングや周波数の同期を取得できるので、いろいろな分野で使用されています。例えばQRコードで使用されている3隅の四角(位置検出パターン)もプリアンブル的な物と考えることができます。プリアンブルの欠点は、プリアンブルのために、時間やエネルギー、面積が消費されてしまう点にあります。不要であれば、その分情報を含むデータを送り、通信を高速化したり、あるいは小さな音量で信号を伝えることができます。SSTの音通信ではプリアンブルを送らなくても通信ができるよう、様々な工夫を行っています。なお、プリアンブルを使用しなくても信号を復号できる鍵はデジタル信号処理にあります。高速な無線通信ではデジタル処理が間に合わなかったので、電子回路でハード的に信号の同期を実装してきた歴史があります。幸か不幸か音通信は低速なので、デジタル信号処理をソフト的に実行することで解析が可能です。記録されたデジタル信号を総合的に解析することで、プリアンブル無しで同期をとることが可能になったのです。

スペクトログラムを見ると、この事例では4つの周波数(チャンネル)のうち、一つだけの周波数に音を発する、という変調方式になっている様に見えます。信号の有無によってデータを表現する方法はOOK(on-off-keying)と呼ばれています。振幅差を使用しているので、AM(ASK)変調の一種という事もできます。

変調方式にはAMの他にも周波数をずらすFM(FSK)、位相をずらすPM(PSK)が良く知られています。変調方式によって特徴があり、得手不得手があるため、適した変調方式を使用することも音通信の技術要素の一つとなっています。

また、この例では和音は使用せず、単音だけでメロディーを作るイメージの変調方式になっていました。4つから1つを選択する方法は4C1=4で4種類、2bitの情報量を含むことがわかります。1パケットに8音ありますので、16bitの情報を含めることが可能であることがわかります。なお、和音にすることで、同じチャンネル数のまま一回(1シンボルと呼びます)に送る情報量を増やす方法も良く使われています。

ASKやFSKを使用したものはスぺクトログラムを見ただけで、通信方式を判別しやすいという特徴があります。一方、PSKを使用したものはここまで簡単に変調方式を判別することは難しく、秘匿性はやや高い傾向があります。とはいえ、だれもが録音することができる音通信ですから、そもそも変調方式で秘匿性を保つのには無理があります。高い秘匿性が求められる場合には適宜暗号化が必要と言えるでしょう。

それにしても、なぜ「音通信」なのか?

・・かなり技術的な話になってしまいましたが、そもそもベイブレードの通信になぜ、音が採用されたのでしょうか。実はこれ、iPhoneがきっかけのようなのです。

というのも、このベイブレードとスマホ(およびNintendo DS)との通信機能、初めはステレオミニプラグ(一般的なイヤフォンケーブルに使われているもの)でのケーブル接続を採用していたのですが、AppleがiPhone 7以降イヤフォンジャックを廃止してしまったために、それに代わる接続方法として音通信をつかう方法に変わったという経緯があります。

今や日本国内だけでなく、世界中で遊ばれているベイブレードですから、製品の仕様を外部機器の影響で変えるのには大変な手間とリスクが伴うでしょう。今後しばらくなくなることはないであろう「マイクとスピーカー」を使った音通信は、こうしたリスクを回避できる方法として、もっとも評価できる選択肢であった、ということですね。

※周波数変換を行い、人間の耳に聞こえる周波数に変換すれば聞くことができます。周波数変換はラジオ受信機など色々なところで使用されています。弊社のスマートフォンアプリでも信号処理の演算量を減らす目的で周波数変換の技術が使われています。

本リリースやSmart Sound Labに関するお問い合わせは下記、またはホームページの「CONTACTフォーム」からお願いいたします。

Smart Sound Lab
(スマートサウンドラボ)

URL: https://smartsoundlab.com
所長:安田 寛 Hiroshi Yasuda

こちらの記事もどうぞ: