3Dサラウンドはどのように脳をだますのか

空間オーディオの差が最もよく分かるのは、音が頭の周りを一周する瞬間ではない。聴き手が頭を動かしたとき、音源がヘッドホンと一緒に動くのか、それとも元の場所に残るのかである。

画面の前の声は画面に貼り付いたまま、環境音は部屋の方向に残る。ヘッドホンは頭とともに動くのに、音の場は部屋に属しているように感じられる。左右の耳に届くのは相変わらず二つの信号だが、脳は部屋に存在しない音源を受け入れている。

問うべきなのは「ヘッドホンはいくつのスピーカーを再現するのか」ではなく、現実の音が脳に与える手がかりをシステムがどこまで複製しているかである。

二つのドライバーで足りる理由

現実でも、音の位置は主に二つの耳で判断する。左から来る音は左耳に先に届き、頭の遮蔽によって右耳では高域が弱くなる。この差が両耳間時間差（ITD）と両耳間レベル差（ILD）である。

しかし、前後や上下の判断はそれだけでは足りない。耳介、頭、胴体が音を反射・遮蔽し、方向ごとに異なる周波数の変化を作る。脳は音響学を意識的に理解するのではなく、経験から「この細かなスペクトルなら上」「別の変化なら後ろ」と学習する。身体そのものが測位システムの一部なのである。

HRTFという聴覚の地図

頭部伝達関数（HRTF）は、空間の方向から左右の耳へ音が届くまでに生じる時間、位相、スペクトルの変化を記述する。多方向からスピーカーで試験信号を鳴らし、耳道付近の小型マイクで測れば、方向の地図を作れる。音を目標方向の左右の応答で畳み込み、ヘッドホンへ送ると、脳はその方向からの音として解釈することがある。

左耳出力 = 原音 * 左耳の方向別インパルス応答
右耳出力 = 原音 * 右耳の方向別インパルス応答

* は畳み込みを表す。HRTFが方向を与え、部屋のインパルス応答が反射、残響、空間の大きさを加える。単純な左右パンニングが耳の間で音像を動かすのに対し、バイノーラル処理は前後、上下、距離を含む空間へ音を置こうとする。

前後と上下が間違いやすい理由

耳介の形は人によって違うため、共通HRTFは別の人の耳を一時的に借りることになる。測定対象には正確でも、別の人には音像が頭の内側へ戻ったり、前後が逆転したり、頭上の音が妙な音色変化に聞こえたりする。これは聴き手の能力不足とも、ヘッドホンの品質不足とも限らない。

個人化空間オーディオは、頭と耳の形を推定してこのずれを減らそうとする。カメラによる頭部・耳のスキャンは、研究室で完全なHRTFを測ることとは違うが、全員が一つの標準的な耳を共有する誤差を小さくする方向にある。

頭を動かすことが厳しいテストになる

音源が画面に固定されているのに処理が頭基準のままだと、頭を回したとき音も一緒に動く。ヘッドトラッキングは頭の姿勢を推定し、聴き手と音源の相対方向を更新する。遅延、姿勢の揺れ、音声バッファの変動は、静止時には隠れても動作中には聞き取れる。

ゆっくり頭を回し、声が画面に残るか、目を閉じて元の位置に戻ったとき音源がずれていないかを確かめるとよい。固定空間オーディオと追跡付き空間オーディオを比べれば、外在化、HRTFの適合、座標の一貫性を分けて観察できる。

距離は音量だけではない

遠い音では直接音と反射音の比率、高域の減衰、角度変化の大きさが変わる。音量だけを下げると「小さいが耳元に貼り付いた音」になりうる。直接音、初期反射、残響、スペクトル、部屋の規模を一緒に扱う必要がある。

ゲームや映像では、音源と聴き手の座標、壁との関係をレンダラーが扱う。最後にヘッドホンへ届くのは二つの波形でも、それは変化する三次元場面を圧縮した結果である。

特別な機材を使わない実験

信頼できるバイノーラル録音を普通のステレオヘッドホンで聴き、目を閉じて左右、前後、距離を判断する。録音にはすでに方向手がかりが含まれている。頭を動かすと録音された音場も自分と一緒に動くため、静止時の立体感と部屋に固定された感覚を区別できる。

「8D音楽」の多くは自動パンニングと残響にすぎない。音が頭の周りを回る効果は作れても、完全な三次元測位の証明にはならない。録音方式、配信側の処理、機器側の重複した空間化も結果を変える。

ここから始まる問い

二つのドライバーが三次元空間を再現する仕組みには、両耳と耳介の手がかり、HRTFの測定と個人化、反射と距離、ヘッドトラッキング、低遅延処理が含まれる。個人化はどこまで精密であれば十分なのか、合わないHRTFを脳は学習できるのか。研究の終点は、すべてを説明したふりをすることではなく、次に聴き、調べ、試せる問いを作ることにある。

資料

著者：張藝聰 · 原文リンク