マイクという「人工の耳」は、なぜ人間の聴覚に届かないのか――音響技術と人間のあいだに横たわる“埋めがたい違い” －

はじめに

筆者が取り組んでいる「球体を用いたABステレオ録音技術」の検証を進めるにあたり、そもそもマイクロフォンが捉える音響世界と、人間が知覚している音響世界とのあいだに横たわる“埋めがたい隔たり”を一度整理しておきたいと考えるに至りました。

没入型オーディオの技術は、古くからあるサラウンドやバイノーラル録音から、近年は膨大なマイクアレイと多数の再生スピーカーを駆使するイマーシブオーディオへと発展し、多様なアプローチが試みられてきました。しかし、どの手法も現段階では、現実の空間を真に再現しているとは言い難いのが実情ではないでしょうか。三次元の音響を再現しようとするこれらの試みは、人間が実際の空間を“手で触れられる”かのように知覚する感覚を喚起することを目指しています。にもかかわらず、なぜ私たちが実際に感じている三次元の音響世界を、今日の音響技術はありありと再現しえないのか。

本稿では、この問いを紐解くための手がかりとして、人工的な音響技術と人間の聴覚とのあいだに存在する“本質的な差異”について考察したいと思います。

音声解説：マイクと人間の決定的な違いSTUDIO 407

0:00

序論：録音された音の不自然さから、音響技術と人間のあいだに横たわる“埋めがたい違い”

もしあなたが今、ヘッドホンで音楽を聴いているとしたら、音はどこから聞こえてくるでしょうか？ おそらく、まるで「頭の真ん中」で鳴っているかのように感じるはずです。しかし、同じ音源をスピーカーで再生すれば、音は部屋のどこか、つまり明確な空間から聞こえてきます。この違いは、普段は気にも留めないかもしれませんが、深く考えると非常に不思議です。

この「不自然さ」と「自然さ」の感覚の違いを掘り下げていくと、私たちは単なる音響技術の話では終わらない、深遠なテーマにたどり着きます。それは、「私たち自身がどうやって世界を認識し、自分だけの現実を作り上げているのか」という、心理学から哲学にまで至る根源的な問いです。

この記事では、音をただ記録するだけの「静的なマイク」と、絶えず動きながら世界と対話している「動的な私たち」との決定的な違いを手がかりに、この謎を解き明していきます。議論のキーワードは、マイクが意図せず生み出す「アーティファクト（人工物）」から、私たち自身が身体的な行為を通して世界を立ち上げる「エナクトメント（生成）」です。

1. 静的な記録装置としてのマイク ― 音の「アーティファクト」とは何か

思考の出発点は、ステレオ録音の現場でエンジニアを悩ませてきた、ある技術的な問題です。特に「AB方式」と呼ばれる、2本のマイクを左右に離して設置する方法では、「コムフィルタリング」という厄介な現象が発生します。

これは、音源からマイクに直接届く音と、壁などに一度反射して少し遅れて届く音が干渉することで起こります。波の性質上、時間差で届いた二つの音は、ある周波数では互いに強め合いますが、別の周波数では打ち消し合ってしまいます。その結果、音の周波数特性を分析すると、まるで櫛の歯（comb）のように特定の周波数帯がごそっと抜け落ちた、ギザギザの形になってしまうのです。

このコムフィルターがかかった音は、私たちの耳にはどう聞こえるのでしょうか。それは、「金属的で不自然」「トゲトゲしく鋭い音」として知覚されます。これは、私たちが狭いお風呂場で歌うときに、自分の声が妙に響いて聞こえる現象と原理的に似ています。

この現象は、レコーディングエンジニアにあるジレンマを突きつけます。

マイクの間隔	メリット	デメリット（アーティファクト）
広い	ステレオ感が得られる	コムフィルタリングによる不自然さが際立つ
狭い	音は自然になる	広がりが感じられない（モノラルに近くなる）

つまり、コムフィルターとは、マイクという人工物（アーティファクト）が、その構造上、意図せず生み出してしまう望ましくない音の変化なのです。

しかし、この人工的なフィルターの問題を考えることは、逆説的に重要な真実を浮かび上がらせます。実は、私たち自身の身体こそが、この世で最も精巧で、そして自然な「フィルター」を持っているのです。

2. 動的な身体フィルター「HRTF」― あなただけの音響プロセッサー

私たちが生まれつき備えている驚異的な音響フィルター、それが頭部伝達関数（Head-Related Transfer Function, HRTF）です。音が鼓膜に届くまでの間に、私たちの頭や肩、そして特に複雑な形状をした耳たぶ（耳介）によって、音波は劇的に変化させられています。まるで、私たち一人ひとりが、自分専用のオーディオプロセッサーを内蔵しているかのようです。

このHRTFは、マイクのコムフィルターとは根本的に異なる、3つの重要な特徴を持っています。

• 驚異的な空間認識能力 HRTF、特に複雑な耳たぶの形状が周波数ごとに特有の微細な変化（スペクトル情報）を与えるからこそ、私たちは単に音の左右だけでなく、その音が自分の上にあるのか下にあるのか、前から来たのか後ろから来たのかを区別できます。ヘッドホンで音が「頭の中」で鳴るように感じるのは、この身体全体を使った自然なフィルター効果がバイパスされてしまうからなのです。

• 完全な個別性 HRTFは、頭や耳の形に依存するため、「指紋のように一人一人異なり、世界に一つだけのもの」です。あなたのHRTFは、あなただけのものです。

• 生涯を通じた学習 私たちは、生まれてからずっと、無意識のうちに自分だけのHRTFの特性を学習し続けています。そして、その個人的な音響特性を基準として、三次元の音響空間を脳内に構築しているのです。

  
  

では、なぜマイクの「静的な」コムフィルターは不自然に聞こえ、私たちの「動的な」HRTFは自然に感じられるのでしょうか。その答えこそが、マイクと人間の決定的な違いです。私たちの脳は、静止した世界の写真（スナップショット）を求めているのではありません。自らの動きと連動して豊かに変化する情報を期待しているのです。

私たちは、音を受動的に待つセンサーではありません。むしろ、情報を積極的に探しに行く「能動的な聞き手（アクティブリスナー）」なのです。

3. 「聞く」とは全身運動である ― アクティブリスニングと多感覚の統合

「能動的な聞き手」という概念を最も分かりやすく示す例が、カクテルパーティー効果です。賑やかなパーティー会場で、特定の人との会話に集中しようとする時、私たちは無意識に相手の方へ体を向けたり、首を傾けたりします。

これは単に耳を近づけているだけではありません。私たちは頭を微細に動かすことで、左右の耳に届く音のわずかな時間差や音量差を意図的に変化させているのです。脳は、その「動きによって生まれた動的な変化のパターン」そのものを強力な手がかりとして利用し、無数の雑音の中から聞きたい音声だけを鮮やかに浮かび上がらせます。動きそのものが、聴力を高めるためのツールになっているのです。

さらに驚くべきことに、「聞く」という行為は聴覚だけで完結しているわけではありません。脳は、普段私たちが意識しない他の感覚とリアルタイムで統合することで、より高精度な空間認識を実現しています。

• 前庭感覚（平衡感覚）

  • 役割: 内耳にある三半規管などが、頭の回転や加速を検知します。

  • 効果の具体例: この感覚があるおかげで、脳は「救急車のサイレンが自分に近づいている」のか「自分が乗る車がサイレンに近づいている」のかを区別できます。これにより、動き回る自分を中心とした座標ではなく、安定した世界座標の中に音を正しく位置づけることができるのです。

• 固有感覚

  • 役割: 筋肉や関節から、自分の体の姿勢や手足の位置を知る感覚です。

  • 効果の具体例: あなたが右を向いた時、前庭感覚が「頭が回転した」という情報を送ると同時に、固有感覚が「体はそのままで頭だけが動いた」という情報を補足します。この二つの情報が組み合わさることで、より正確な空間認識が可能になります。

    
    

この多感覚統合は、単なる比喩表現ではありません。中脳の上丘や頭頂葉の後部といった脳の領域では、聴覚、視覚、前庭感覚、固有感覚といった異なる情報が、文字通り物理的に一つの神経マップ上で統合されていることが科学的にわかっています。

したがって、「聞く」という行為の定義を、ここでアップデートする必要があります。それは、音波という入力をただ受信することではなく、自己の運動という関数を通して変化する音波のパターンを能動的に探索し、解釈する、全身を使った多感覚的なプロセスなのです。

出典：医療法人 悠悠会 いそクリニック

感覚システム	提供される情報	空間聴覚への貢献
聴覚系	ITD, ILD, HRTF（スペクトル手がかり）	音源位置に関する主要な音響データを提供
前庭系	頭部の回転と加速度（角速度・線形速度）	安定した世界中心の参照フレームを生成。自己運動と音源運動を区別
固有感覚系	身体に対する頭部の位置、四肢の位置	身体の姿勢を脳に通知。頭部運動を身体全体の状況と統合
運動系	遠心性コピー（運動指令の写し）	意図された運動の予測信号を提供し、脳が感覚変化を予期することを可能にする

4. 知覚の起源 ― 赤ちゃんは「行為」を通して世界を学ぶ

脳がこれほど複雑な処理のルールを、一体どのようにして学ぶのでしょうか。その答えのヒントは、赤ちゃんの行動に隠されています。

赤ちゃんが意味もなく手足をバタバタさせているように見えるあの動きは、「運動の喃語（モーターバブリング）」と呼ばれ、実は非常に知的な探求活動です。赤ちゃんは、あの無目的に見える動きを通して、「自分の体をこう動かすと、世界はこう見える・聞こえる」「腕をこう伸ばすと、おもちゃにこういう感触で触れる」といった、自身の行為と、それによって引き起こされる感覚の変化との対応関係（法則）を、文字通り何億回となく実験しているのです。

この膨大な試行錯誤を通じて、赤ちゃんは後のあらゆる知覚と行動の土台となる、2つの重要な基礎を脳内に構築していきます。

1. 自分と世界の境界線の学習

2. 身体スキーマ（自分の体の動かし方と感覚の地図）の構築

   
   

技術的なマイクの話から始まった私たちの探求は、いつの間にか、人間の学びの原点にまで遡ってきました。そして、このような動的で身体的な知覚の考え方を統合する、より大きな理論的枠組みが存在します。

5. エナクティビズム：世界は「生成」されるもの

これまでの議論を統合する認知科学の理論的枠組みが「エナクティビズム」です。その核心的な主張は、以下の通りです。

認知や知覚とは、あらかじめ客観的に存在する外部世界の情報を脳がカメラのようにただ写し取る作業ではない。そうではなく、私たち有機体が身体を通じて環境と動的に関わり合う中で、意味のある世界をまさに「生成（enact）」していく営みそのものである。

この考え方に立てば、「見る」や「聞く」は受動的な体験ではなく、私たちが能動的に行う「スキル」の一種と捉えることができます。

そして、そのスキルは「センサーモーター随伴性（Sensorimotor Contingencies）」の習得によって身につくと説明されます。これは、「自分の運動（モーター）と、それによって生じる感覚の変化（センサー）との間にある、経験に裏打ちされた暗黙の法則性」のことです。

例えば、あなたが音の方向を知るスキルは、頭を右に回すと右耳の音は少し大きく・速くなり、左耳の音は少し小さく・遅くなる、という身体化された法則性を無意識に習得しているからです。つまり、音そのものに「右」という属性が張り付いているのではなく、私の動きとの関係性の中に初めて「右」という方向が生成されるのです。

このエナクティビズムの考え方は、近年の脳科学理論である「予測符号化（Predictive Coding）」とも驚くほど響き合います。この理論は、脳を本質的に「予測機械」と捉え、知覚を「脳が行う予測と、実際の入力との間のズレ（予測誤差）を最小化するプロセス」と考えます。

そして、予測誤差を最小化する方法は二つあります。一つは予測の方を修正すること（学習）。もう一つは、実際の入力が予測と一致するように、世界に対して積極的に働きかけることです。何か物音がした時に「猫だろうか」と予測し、それを確かめるためにそちらを向く。この「予測を確かめるための行動」こそが、エナクティビズムの言う「環境と関わり合う中で意味のある世界を生成していく営み」の神経科学的な現れに他ならないのです。

結論：音は「そこにある」のではなく、「聞こえる」ように生成される

ステレオ録音の「コムフィルター」という一つの技術的アーティファクトから始まった私たちの旅は、その不自然さの正体を突き詰めた結果、壮大な結論へとたどり着きました。マイクは単に信号を記録する装置に過ぎないのに対し、私たち人間は身体と経験と行動を通して世界そのものを生成している、という本質です。

今回の探求を貫く核心的なメッセージは、この言葉に集約されるでしょう。

「音はそこにあるのではない。経験と身体によってそこにあるように聞こえるのです。人間は空間を聞いているのです。」

おわりに

マイクが捉える音声信号と、私たちの聴覚が形づくる世界認識とのあいだに横たわる、埋めがたい違いについて論じてきました。最後に、筆者のささやかな夢想を記してみたいと思います。

突き詰めれば、マイクが捉える外的な音響世界と、人間が全身の感覚を総動員して構築する内的な聴覚世界との差異は、自在に動き回る身体の存在、そして多様な感覚を統合する知的機能の有無に起因しているのでしょう。もしこれらを技術として実装することができるなら、従来の音響技術とは異なる、より深いレベルで「私たちが感じるリアリティ」を再現する道が開けるかもしれません。

それは遠い未来の話ではなく、むしろ近年著しい進歩を遂げているAIとロボティックスの領域に、その萌芽が潜んでいるように思えます。音のみならず、あらゆる状態変位を取得するセンサーが、ロボットの身体運動や座標の変化、さらにはその物理的形状がもたらす音響的変化を刻々と記録し、それらをAIが統合していく──そのような世界です。こうして統合された音響世界は、そのロボット固有の知覚を反映したものとなるでしょう。しかし、そこで得られた技術的知見を基盤として生身の人間へ応用していくことができれば、新しい音響技術の地平を切り開くことも、決して不可能ではないように思われるのです。