ノイズキャンセリングヘッドフォンは、聴覚的な空白状態を作り出すのに非常に優れています。ただし、着用者の環境から特定の音を通過させることは、まだ研究者にとって課題です。たとえば、AppleのAirPods Proの最新モデルは、着用者が会話中であるかを検知し、音量を自動調整しますが、ユーザーは誰の声を聞くかやこれがいつ起こるかをほとんど制御できません。
ワシントン大学のチームが開発した人工知能システムは、ユーザーがヘッドフォンを着用しているときに話している人を3〜5秒間見ることで彼らを「登録」することを可能にします。このシステムは「Target Speech Hearing」と呼ばれ、その後、環境内のすべての他の音をキャンセルし、リスナーが騒々しい場所で移動し、話している人を向いていなくても、登録された話者の声だけをリアルタイムで再生します。
チームは、この研究成果を5月14日にホノルルで開催されたACM CHI Conference on Human Factors in Computing Systemsで発表しました。概念実証デバイスのコードは他の人が利用できるように提供されていますが、このシステムは商業的に利用可能ではありません。
クレジット：ワシントン大学
「私たちは現在、AIを、質問に答えるウェブベースのチャットボットとして考えがちです」と、Paul G. Allenコンピューターサイエンス＆エンジニアリング学部のワシントン大学教授であるシャイアム・ゴラコタ上席著者は述べています。「しかし、このプロジェクトでは、ヘッドフォンを着用している人々の聴覚知覚を好みに合わせて変更するためのAIを開発しています。私たちのデバイスを使用すると、たくさんの他の人が話している騒々しい環境でも、1人の話し手の声をはっきりと聞くことができます。」
このシステムを使用するには、マイク付きの市販のヘッドフォンを着用している人が、話している人の方向を向いたままボタンをタップします。その話し手の声からの音波は、ヘッドセットの両側のマイクに同時に到達するはずです。誤差は16度です。ヘッドフォンはその信号を搭載されたオンボードコンピュータに送信し、チームの機械学習ソフトウェアが希望する話し手の声のパターンを学習します。システムはその話し手の声に引っかかり、ペアが移動してもリスナーにそれを再生し続けます。話し手が話し続けることで、システムがフォーカスを登録された声に向ける能力が向上し、より多くのトレーニングデータが得られます。
チームは21人の被験者を対象にシステムをテストし、登録された話し手の声の明瞭さを、平均して未フィルターのオーディオよりもほぼ2倍高く評価しました。
この研究は、以前のチームの「意味論的聴覚」という研究に基づいています。これは、ユーザーが聞きたいと思う特定の音のクラス（鳥や声など）を選択し、環境内の他の音をキャンセルすることを可能にしました。
現在、TSHシステムは同時に1人の話し手しか登録できず、ターゲットスピーカーの声と同じ方向から別の大声が出ていない場合にのみ話し手を登録できます。ユーザーが音質に満足していない場合は、話し手に対して別の登録を実行して明瞭さを向上させることができます。
チームは将来的にシステムをイヤーバッドや補聴器に拡張するために取り組んでいます。
論文の追加共著者には、アレンスクールのUW博士課程学生であるBandhav Veluri、Malek Itani、Tuochao Chen、およびAssemblyAIの研究責任者であるTakuya Yoshiokaが含まれています。
追加情報：Bandhav Veluriらによる「一度見て聞く：騒々しい環境でのターゲットスピーチヒアリング」、CHI Conference on Human Factors in Computing Systemsのプロシーディングス（2024年）。DOI: 10.1145/3613904.3642057, dl.acm.org/doi/10.1145/3613904.3642057
提供：ワシントン大学
さらに詳しく調べる
「AI搭載のノイズフィルタリングヘッドフォンがユーザーに聞きたい音を選択する権限を与える」
リンク先はTechXploreというサイトの記事になります。（原文：英語）