ARTICLE

「人の声」のつくりかた:「声に聞こえる音」の合成

前回のレポート では、スペクトログラムリーディングのポイントについて紹介し、最後につぎのようなクイズを出してみました。

図1のスペクトログラムから発話内容を推測し、5つの選択肢のなかから答えをあててみてください。

52_zu1.jpg1.かしつ
2.かすてら
3.べっさつ
4.まっしろ
5.かせき

図1 スペクトログラムリーディングの問題

じつは、言語聴覚士の国家試験では、こうしたスペクトログラムリーディングの問題が毎年のように出題されているのですが、この問題はそのなかからピックアップしたものになっています。この問題は、破裂音と摩擦音の読み取りが手がかりになっており、答えは「2.かすてら」でした。

さて、本当にそのとおりなのか、スペクトログラムを音声に変換して確認してみようというのが、今回のレポートのテーマです。実際に耳で聞いてみれば、答えは一目瞭然でしょう。

スペクトログラムを音声に変換する試みは、1940年代、米国ハスキンス研究所で考案されたパターンプレイバックにさかのぼることができます。図2に示すように、パターンプレイバックは、スペクトログラムを光学的に読み取り、音声を再生する装置でした。

52_zu2.jpg

図2 パターンプレイバック(https://www2.ling.su.se/staff/hartmut/kemplne.htm

こうしたアイデアを現代に蘇らせたものが、ディジタルパターンプレイバックです。スペクトログラムを音声に変換するしくみが高度なものになっていけば、たとえば、黎明期の音声学の教科書に残されているスペクトログラムから、本当に人間がしゃべっているような音声を再生することもできるようになり、言ってみれば、過去の音声を復元するという音の考古学の発展にもおおいに貢献する可能性が期待できます。

パターンプレイバックの原理になっているのはソース・フィルタ理論です。声帯音源をソース信号とし、フォルマントによって特徴づけられる声道フィルタを通過させることで音声の生成を説明するのが、ソース・フィルタ理論にほかなりません。

こうしたしくみをコンピュータで実現するには、DFTフィルタリングがひとつのアプローチになります。図3に示すように、DFTフィルタリングは、時間領域におけるたたみ込みは周波数領域における乗算に等しいことを利用してフィルタ処理を行います。ここで、x(n)を声帯音源、b(m)を声道フィルタとすると、これらのたたみ込みによって生成されるy(n)が音声になります。なお、声道フィルタは周波数領域ではB(k)と表されますが、これがスペクトログラムにほかなりません。

52_zu3.jpg

図3 DFTフィルタリング

実際に、DFTフィルタリングを利用して、図1のスペクトログラムを音声に変換してみます。ここでは、ソース信号として基本周波数100Hzのパルス列を用意してみました。voiced.wavが生成された音声です。ロボットボイスのように聞こえるものの、「カステラ」としゃべっていることがおわかりいただけるでしょうか。

図4に示すように、この音声のスペクトログラムを観察してみると、倍音構造の横じまが見て取れます。これらの横じまが水平になっていることは、声の高さが一定であることを意味しているのですが、これがロボットボイスのように聞こえる理由になっています。また、/su/のような無声区間では、ブザー音のように聞こえることがおわかりいただけるのではないでしょうか。

52_zu4.jpg

図4 パルス列をソース信号として復元した「カステラ」のスペクトログラム

もうひとつ、ソース信号として白色雑音を用意し、図1のスペクトログラムを音声に変換してみました。unvoiced.wavが生成された音声です。ささやき声のように聞こえるものの、「カステラ」としゃべっていることがおわかりいただけるでしょうか。

図5に示すように、この音声のスペクトログラムを観察してみると、倍音構造が見られず、これがささやき声のように聞こえる理由になっています。ただし、/su/のような無声区間では、こちらの音声のほうが、本来の人間の音声に近いことがおわかりいただけるのではないでしょうか。

52_zu5.jpg

図5 白色雑音をソース信号として復元した「カステラ」のスペクトログラム

以上のような実験からもわかるように、パターンプレイバックによって復元された音声の聞き取りやすさを改善し、本当に人間がしゃべっているような音声に変換するには、有声区間と無声区間ごとにソース信号を切り替えることが重要なポイントになります。スペクトログラムから有声無声判定を行うことは、そのための技術として不可欠といえるでしょう。

それはさておき、パルス列をソース信号として生成したブザー音の音声と、白色雑音をソース信号として生成したささやき声の音声は、音としてはまったく異なるものになっているにも関わらず、発話内容についてはどちらも同じものであると聞き取れてしまうことに、ちょっと不思議に思われた方もいらっしゃるのではないでしょうか。

じつは、さまざまな加工をほどこして変化させても、発話内容を正しく聞き取れることが、そのほかの音とは異なる音声ならではの特徴になっています。こうしたしくみは、音声を知覚する能力を人間が特異的に進化させてきた結果であり、裏を返せば、人間という生物にとって最も重要な音は音声であるということを示唆する証拠といえるのかもしれません。

なお、任天堂Wiiには、加工された音声を聞いて発話内容をあてる「キキトリック」というゲームがありますが、こうした人間の聴覚の能力にあらためて気づき、驚いてもらうことが、このゲームの趣旨になっています。

本記事やSmart Sound Labに関するお問い合わせはこちらの「CONTACTフォーム」からお願いいたします。

Smart Sound Lab
(スマートサウンドラボ)

URL: https://smartsoundlab.com
所長:安田 寛 Hiroshi Yasuda

こちらの記事もどうぞ: