題名: 補聴器装用者および人工内耳装用者による音楽の感情知覚
著者: ブライアン・C・J・ムーア
発行日: 2024年7月15日
DOI: https://doi.org/10.1098/rstb.2023.0258
概要
音楽は多くの人にとって重要な部分であり、悲しみ、喜び、怒り、緊張、安堵、興奮など、幅広い感情を引き起こすことができる。補聴器装用者および人工内耳装用者は、感情を引き起こす音楽の特徴を識別する能力が低下している。本論文では、これらの知覚能力の変化をレビューし、それが音楽の感情知覚にどのように影響するかを説明する。後天性部分難聴の人々にとって、音楽の感情知覚はほぼ正常であるのに対し、先天性部分難聴の人々は音楽の感情知覚が障害されている。人工内耳装用者は、基本周波数（ピッチに関連する）の変化を識別する能力が著しく低く、音楽の和音をほとんど知覚しない。その結果、人工内耳装用者は主にテンポとリズムの手がかりを用いて音楽の感情を判断し、判断できる感情の範囲が制限される。
1. はじめに
ほぼすべての社会において、音楽は重要な役割を果たしている。音楽は社会的交流を促進し、喜びを与え、悲しみ、喜び、怒り、緊張、安堵、興奮などの感情を伝える。音楽の特徴と感情の関連性は部分的に文化に基づいており、特定の文化の音楽の形式、例えば音階に依存する。例えば、西洋音楽では、メジャーキー（例：C、E、Gの音）は幸せな音楽と関連し、マイナーキー（例：C、Eb、Gの音）は悲しい音楽と関連するが、この関連性は約4歳未満の子供には見られない。しかし、文化に関係なく感情に影響を与える音楽の特徴も存在する。例えば、速いテンポは幸せな音楽と関連し、遅いテンポは悲しい音楽と関連する。動的な変化は興奮や表現力を伝えるのに対し、動的な変化の欠如は落ち着きを伝える。
通常、正常な聴力を持つ人々は、音楽の感情を容易に知覚する。しかし、成人の約20%は何らかの程度の聴力低下を抱えており、聴力低下は年齢と共に増加する。聴力の測定には、異なる周波数の正弦波を検出できる最小音量を評価する純音聴力検査が最も広く使用されている。検出閾値は、既知の聴力問題がない若者の平均値に対して表され、単位はデシベル（dB）である。例えば、特定の周波数での検出閾値が50dB HLの場合、これは「正常」よりも50dB高いことを意味し、50dBの聴力損失と呼ばれる。聴力検査で測定される感度の喪失は、音を増幅する補聴器を使用することである程度緩和されるが、聴力低下は音楽の感情知覚に重要な音響特徴を識別する能力の低下と関連しており、補聴器はこの問題の緩和には限定的な効果しかない場合がある。
成人の約1%は、補聴器からほとんど効果を得られないほど重度の聴力低下を抱えており、その場合、片耳または両耳に人工内耳（CI）が提供されることがある。CIはまた、重度または深刻な聴力低下を持つ子供にも提供される。CIは大多数の受益者にとって、言語理解能力を向上させるのに驚異的な成功を収めているが、音楽の感情知覚に重要な音響特徴を効果的に伝えることはできない。特に、基本周波数（F0）、すなわち知覚されるピッチは、CI装用者によってほとんど知覚されない。これにより、音楽の感情知覚が大きく制限される可能性がある。それにもかかわらず、多くのCI装用者は音楽を聴くことや演奏することが好きであると報告している。
本論文は、補聴器の有無にかかわらず、聴力低下を持つ人々およびCI装用者の知覚能力をレビューし、そのような人々による音楽の感情知覚の研究をレビューするものである。もちろん、音声の感情知覚も重要であるが、これは本論文の範囲を超える（音声の感情知覚に関するレビューについては[19]を参照）。
2. 聴力低下が知覚能力に与える影響
(a) 正常な耳の機能
図1は、内耳のカタツムリ状の部分である蝸牛の断面を示している。音は基底膜（BM）上に波を引き起こし、基底から頂点に向かって進行する。正弦波入力（時折「純音」と呼ばれる）に応じて、波は成長し、その後減衰し、ピーク振動の位置は入力周波数に応じて体系的に変化する。低周波音は頂点近くでピーク振動を引き起こし、高周波音は基底近くでピーク振動を引き起こし、その間に連続的なグラデーションがある。複雑な音が提示されると、各成分がBM上に明確なピークを引き起こし、周波数選択性、すなわち複雑な音の個々の周波数成分を「聞き取る」能力の基礎を形成する。正弦波成分に応じたピーク周辺の振動パターンは、外有毛細胞（OHC）のモーター活動に依存する能動的なメカニズムによって増幅され、鋭くされる。振動は内有毛細胞（IHC）を介して検出され、IHCと聴神経を構成する神経線維とのシナプスで神経伝達物質が放出される。シナプスでの神経伝達物質の放出は、BM上の特定の場所での振動量の増加に応じて増加するスパイク（アクションポテンシャル）を引き起こし、蝸牛から脳への音に関する情報を伝達する。
音の周波数情報の伝達
音の周波数情報は聴神経に2つの形式で伝達される。最初の形式は、BM（基底膜）に沿った振動の分布に関連している。振動パターンの各ピークの位置は、そのピークを生じさせた正弦波成分の周波数情報を伝える。これを「場所」符号化と呼ぶことがある【12】。二つ目の形式は、神経スパイクの詳細な時間パターンに関連している。BMの特定の場所での振動によって引き起こされる神経スパイクは、その場所の波形の特定の位相に同期する。この特性は「位相同期」と呼ばれる【25,26】。その結果、連続する神経スパイクの間隔は、そこで反応を引き起こしている音の周期の整数倍の周りに集まる。例えば、1000 Hzの正弦波に対する反応では、神経スパイクの間隔は1、2、3、4、5 … ミリ秒の間隔の周りに集まる。位相同期は低・中周波数では正確だが、高周波数では弱くなる【26】。上限周波数は種によって異なり、人間の場合は知られていないが、8～10 kHzに達する可能性がある【28,29】。
この論文では、正弦波および複雑な音によって引き起こされる神経スパイクの詳細な時間パターンを「時間微細構造（TFS）」と呼ぶ。TFSは、約1400 Hzまでの音の定位に役割を果たすことが知られているが【30】、その他の知覚面での役割についてはまだ議論が続いている【27,31】。少なくとも、TFS情報が正弦波の周波数変化を識別するために使用されるという証拠がある【28,29,32】。複雑な音の基本周波数を識別するため【33】や、同じエンベロープ反復率を持つが異なるTFSを持つ音を識別するためにも使用される【34-36】。
聴力低下は、OHC（外有毛細胞）、IHC（内有毛細胞）、IHCと神経の間のシナプス、および神経自体の機能不全と関連している場合があり、これらの組み合わせもあり得る【37-40】。各種機能不全の知覚上の影響について次に説明する。
(b) 外有毛細胞機能不全
OHCの機能不全は、騒音暴露や加齢に伴って一般的である【37,40,41】。この機能不全は、能動的なメカニズムの動作を損ない、主に3つの結果をもたらす。第一に、特に低レベルの音に対して振動パターンのピーク周辺のBM振動量を減少させる。これは絶対閾値の上昇、すなわち検出可能な最小音量の上昇として知覚され、純音聴力検査で測定される。能動的メカニズムによる最大増幅は約55 dBであるため、OHC損傷のみで生じる可能性のある最大の聴力損失も約55 dBである。
第二に、OHC損傷は周波数選択性の低下を引き起こす。BMの各点は、BMに沿った位置に応じて中心周波数（CF）が変化する帯域通過フィルタのように振る舞う。これらのフィルタは、通常「聴覚フィルタ」と呼ばれ、中高CFの帯域幅は正常な聴力を持つ人々の場合、CFの12-13%である【43】。OHCの機能不全はフィルタを最大4倍まで広げる【38,44,45】。これにより、音のスペクトル形状を判断する能力が低下し、これは話されたり歌われたりする音を区別するため、および異なる楽器を区別するために重要である。また、複雑な音の個々の周波数成分を聞き取る能力【46】や、混合音の中で個々の楽器や楽器群を聞き取る能力も低下し、これは聴力低下を持つ人々が経験する問題である【47】。最後に、低調波の分解能が低下するため、複雑な音のピッチの明瞭さが低下する可能性がある【48】。
第三に、OHC機能不全の結果として「ラウドネスリクルートメント」と呼ばれる現象がある【49,50】。音のレベルを非常に低い値から徐々に増加させた場合、聴力低下を持つ人は音が最初に検出可能になるレベルが正常聴力の人よりも高い。しかし、一旦音のレベルが検出閾値を超えると、ラウドネス（音の大きさ）は通常よりも急速に増加する。高音レベルでは、OHC機能不全の耳のラウドネスは正常な耳のラウドネスに「追いつく」。その結果、OHC機能不全を持つ人は、音のレベルが小さい範囲でしか快適に聞くことができず、これを動的範囲の縮小と表現する。ラウドネスリクルートメントは、正常な耳では弱い音に対してBMの応答を増幅し、音レベルが増加するにつれて増幅が徐々に減少するために発生する。基本的に、正常な耳は振幅圧縮または自動ゲイン制御の形式を持っている。OHC機能不全の耳では、この圧縮が減少または完全に失われている。
ラウドネスリクルートメントを持つ人にとって、音のレベルの変動は誇張されて感じられる。例えば、振幅変調された音は、ラウドネスリクルートメントを持つ耳では正常な耳よりも変動が大きく感じられる【51】。音楽を聴くとき、動的な側面が誇張されて感じられる可能性がある。
(c) 内有毛細胞、シナプスおよび神経の機能不全
IHC、シナプスおよび神経の機能不全は、音に対して聴神経で引き起こされる神経スパイクの数を減少させる。シナプス機能不全は「シナプトパシー」と呼ばれ、騒音暴露や加齢と関連している【40,52】。機能不全が極端でない限り、音の検出閾値にはほとんど影響を与えない。これは、純音聴力検査にその影響が現れないため、「隠れた難聴」【54,55】または「隠れた聴覚障害」【56】と呼ばれる。スパイクの数が減少すると、音の特性の神経符号化が不正確になる。IHC、シナプスおよび神経の機能不全が知覚に与える影響が顕著になるまでにどれだけ必要かは議論の余地があるが【57】、IHC、シナプスおよび神経の機能不全は音の識別能力の低下を引き起こし、音のTFSに対する感度の低下【58】、ピッチ知覚の低下【59】および音の定位の低下【60】に寄与する可能性が高い。IHC、シナプスおよび神経の機能不全は、音のエンベロープ変化を識別する能力にも悪影響を及ぼす可能性がある【61】。
IHC、シナプスまたは神経の機能不全がBMの特定の領域にわたってほぼ完全に進行すると、その領域からは非常に少数または全くスパイクが生成されず、BM振動に関する情報は聴神経に伝達されない。そのような領域は「デッドリージョン」と呼ばれる【62,63】。特定の周波数での聴力損失が70 dB HL以上の場合、その周波数に調整されたBMの場所でデッドリージョンが存在する可能性は50%以上である【64,65】。したがって、デッドリージョンは重度または深刻な聴力低下を持つ人々の間で一般的である。デッドリージョン内でBM振動のピークを生じさせる音は、しばしば高度に歪んだものやノイズのように知覚され、明確なピッチを持たないことが多い【66,67】。
3. 補聴器の利点と限界
(a) 閾値上昇およびラウドネスリクルートメントの補償
ほとんどの補聴器は、閾値上昇およびラウドネスリクルートメントの補償のために、ある程度の信号処理を組み込んでいる。通常、これは音をいくつかの周波数帯域または「チャネル」に分け、それぞれのチャネルの信号に独立した自動ゲイン制御（AGC）を適用することで行われる【68】。AGCでは、弱い音は強く増幅されて可聴性が回復されるが、音のレベルが上がるにつれて増幅が徐々に減少し、強い音は全く増幅されないか、あるいは減衰される。これにより、ラウドネスリクルートメントの影響が部分的に補償される。通常の機能を持つ蝸牛における振幅圧縮は非常に速く作用し【69】、入力音レベルの変化に応じて急速に増幅が変化する。したがって、補聴器のAGCも速く作用する方が効果的であると期待される。しかし、多くの研究にもかかわらず、速い圧縮と遅い圧縮のどちらが優れているかについては明確なコンセンサスがない【70,71】。難聴者の主観的判断に基づくと、音楽を聴く場合には速い圧縮よりも遅い圧縮がわずかに好まれるようである【72】。
多チャネル圧縮は、閾値上昇およびラウドネスリクルートメントの影響を完全に補償するものではないことに留意する必要がある。弱い音の増幅は通常、可聴性を完全に回復するには不十分であり、遅いAGCは音楽などの急速なレベル変動には十分に対応できない。したがって、音楽の動的変化が誇張され、補聴器の使用者は一部の音が依然として大きすぎると感じることがある【73】。動的変化の知覚の変化は、音楽における感情の知覚に悪影響を及ぼす可能性がある。
(b) 周波数選択性の低下の補償
現在の補聴器には、周波数選択性の低下の影響を直接補償するための機能は組み込まれていない。音の短期スペクトルを処理してピークと谷のコントラストを増やす【74–76】、あるいは時間経過に伴うスペクトル変化を強調する実験的な信号処理スキームが評価されているが、これらはわずかな利益しか示しておらず、市販のデバイスには実装されていない。補聴器は、指向性マイクロフォン【78,79】やディープニューラルネットワークの使用によって、雑音下でのスピーチ理解の低下をある程度補償することができるが、このようなシステムは音楽を聴く際、特に個々の楽器を「聞き分ける」際には限られた効果しかない。
(c) 内有毛細胞、シナプスおよび神経の機能不全の影響の補償
現在の補聴器には、IHC、シナプスおよび神経の機能不全の影響を直接補償するための機能は組み込まれていない。
4. 人工内耳による音の知覚
(a) 人工内耳の概要
成人の約1％は、補聴器からほとんど利益を得られないほど重度の聴覚障害を持っている。この多くは中枢神経系ではなく蝸牛に障害があり、聴神経は部分的に健全である。このような人々に対しては、聴神経を電気的に刺激することで音の感覚を生じさせることができる。これは人工内耳（CI）を用いて行われる。CIは重度または深刻な聴覚障害を持つ子供にも提供されることが多い。CIの構成要素には以下のものがある：外部部分（通常は耳の後ろに位置し、音を拾うマイクと信号処理器を含む）、頭皮表面に配置されたコイル（信号処理器からの信号を受け取り皮膚を越えて伝送する）、および皮下に埋め込まれたコイル（伝送された信号を受け取り「デコード」し、蝸牛に挿入された電極アレイに適切な信号を送る）。
(b) 信号処理と音の伝達
音の処理器は通常、AGCシステムを含み、次に信号を「チャネル」に分割するバンドパスフィルターのアレイが続く。チャネル信号のエンベロープが抽出され、振幅圧縮が適用され、二相性の電気パルスの振幅や持続時間を制御するために使用される。このパルスは植え込まれた電極に送られる。各チャネルのエンベロープの大きさは通常、パルスの振幅（電流）やパルスの持続時間で符号化される。これらの量が増加すると、聴神経でのスパイク率が増加し、したがって音の大きさも増加する。電気刺激では、電流（またはパルス持続時間）が増加するにつれてスパイク率が急速に増加するため【81,82】、わずかな電流やパルス幅の変化で音の大きさが大きく変化する。このため、ほとんどのCIは初期AGCシステムとチャネルエンベロープの瞬時振幅圧縮を含む。しかし、これらのシステムでは、音楽の動的変化がうまく伝達されないことがある【83】。
(c) 周波数選択性とピッチ知覚
電極のアレイを使用することで、蝸牛内の神経細胞のグループを選択的に刺激することが可能になる。高周波数に調整されたチャネルの出力は蝸牛の基底に伝達され「シャープな」感覚を与え、低周波数に調整されたチャネルの出力は頂部に近い位置に伝達され「鈍い」感覚を与える【84】。これは聴覚システムにおける場所符号化を粗く模倣している。残念ながら、特定の電極の刺激によって生じる電流は蝸牛に沿ってかなり広がる。このため、電気刺激のための独立した「チャネル」の有効数が制限される。CIユーザーの周波数選択性は電流の広がりのために悪く、特に音楽においてピッチの明確な感覚が得られない【16】。
ほとんどのCIシステムは、低周波数に調整された一部のチャネルを除いて、チャネル信号のTFS情報を伝達しない。CIユーザーはTFSに対して非常に低い周波数以外では比較的鈍感である【85】。その結果、CIユーザーは特に異なる楽器の音が混じった場合に、ピッチの明確な感覚を得られない。
(d) 音楽感情の知覚への影響
まとめると、CIは音のレベルの動的変化を不自然に知覚させ、電流の広がりによる周波数選択性の低下、およびTFS符号化の限界または欠如によりピッチ知覚が劣る。これらの影響は、音楽における感情の知覚に悪影響を与える可能性がある。CIユーザーはリズムの識別に関しては健聴者と同等であるが【86】、旋律の輪郭を判断する際には健聴者よりも著しく劣る【87】。また、音楽の和声の違いを識別する能力や、協和音と不協和音を判断する能力も低い【88】（詳細は【16】を参照）。音楽の特徴を識別する能力が限られているにもかかわらず、多くのCIユーザーは音楽を聴くことを楽しみ、一部は楽器を演奏している。
5. 聴覚障害者における音楽の感情の知覚
聴覚障害者が音楽の感情をどのように知覚するかについての研究は少ないが、いくつかの研究が実施されている。一つの研究では【89】、聴覚障害を持つ学生が音楽に対して健聴者と同じ感情を割り当てるかどうかを調査した。参加者はアメリカの州立ろう学校の学生31名（中等度から重度の聴覚障害を持ち、アメリカ手話を使用）と、近隣の小中学校の健聴学生31名で構成された。両グループの年齢は6歳から14歳で、平均年齢は10歳、男女比もほぼ半々であった。
実験では、幸福、悲しみ、恐怖の感情を描写するように作曲された12の映画音楽の抜粋が使用された。各抜粋は15秒間続き、ステレオスピーカーを通じて再生された。聴覚障害者は通常使用する補聴器を装着してテストを受け、音楽の歪みが生じない最高音量で再生された。健聴者は「通常の教室のリスニングレベル」でテストを受けた。参加者は各抜粋を聴いた後、幸福、悲しみ、恐怖のいずれかの感情を割り当てるよう求められた。6歳から8歳の参加者は感情を描写する顔の絵と単語がペアになった応答シートを使用し、年長の参加者は感情単語のみの応答シートを使用した。
健聴者の応答は作曲者の意図とより一致していたが、聴覚障害者の応答は一致度が低かった。年齢や性別による有意な効果は見られなかった。聴覚障害者の応答と音楽抜粋の物理的特徴との関係を分析すると、スペクトルの形状とリズムが感情を伝える最も効果的な音楽的特徴であることが示唆された。特に、単一の明確なメロディーラインを持つ抜粋（例えばフルートソロ）では、聴覚障害者のパフォーマンスが向上することが確認された。
別の研究では【90】、以下の三つのグループを比較した：
(1) 両側性先天性中等度から重度の聴覚障害を持つ30名の学生（平均年齢17歳、範囲15～19歳）。
(2) 同程度の後天性聴覚障害を持つ30名の学生（平均年齢22歳、範囲20～25歳）。
(3) 年齢および性別が一致する健聴学生の対照グループ30名（平均年齢20歳、範囲16～28歳）。
音楽刺激は、悲しみ、幸福、恐怖の感情を伝える60秒の音楽の三つのシーケンスであった。学生は最も快適な聴取レベルで音楽を聴き、各シーケンスの後、感情に一致する単語のリストを選択するよう求められた。先天性聴覚障害者の感情認識は他の二つのグループよりも有意に低かったが、後天性聴覚障害者と健聴者の間には有意な差は見られなかった。年齢や性別による有意な効果もなかった。先天性聴覚障害者のパフォーマンスが低い理由は明確ではないが、早期に正常またはほぼ正常な聴力で音楽に触れることで、感情を伝える音楽の特徴を学ぶことができ、それが聴覚障害を持つ後でも知覚され続ける可能性があると考えられる。
成人における感情の知覚に関する研究も少ないが、いくつかの研究が行われている。ある研究では【91】、聴覚障害者で補聴器を使用しないグループ、補聴器を使用するグループ、および健聴者の三つのグループを比較した。参加者は、五つの感情（怒り、恐怖、幸福、悲しみ、優しさ）のいずれかを選択するよう求められた。健聴者のパフォーマンスは他の二つのグループよりも良かったが、補聴器を使用する聴覚障害者と補聴器を使用しない聴覚障害者の間には有意な差は見られなかった。
別の研究では【93】、60歳以上の聴覚障害者と健聴者の三つのグループを比較し、映画音楽の抜粋に対する覚醒度評価と皮膚電導率を測定した。負の感情（悲しみ、恐怖）に対する覚醒度や皮膚電導率にはグループ間の有意な差は見られなかったが、正の感情（幸福、優しさ）に対する覚醒度と皮膚電導率は、補聴器を使用しない聴覚障害者が他の二つのグループよりも低かった。
総じて、中等度から重度の聴覚障害は音楽における感情の知覚に悪影響を与え、その影響は先天性聴覚障害者の方が後天性聴覚障害者よりも大きい。補聴器はある程度その悪影響を軽減するが、完全には効果的ではない。聴覚障害者は、単一の明確なメロディーラインを持つ曲の方が複雑な曲よりも感情をよく知覚する傾向がある。
6．コクレアインプラント（CI）を使用する人々の音楽における感情の知覚
§4で説明したように、CIは音量の動的変化を不自然に知覚させ、電流拡散による周波数選択性の低下、電流拡散と限られたまたは全くないTFSコーディングの複合効果による音高の知覚の低下を引き起こします。さらに、CI使用者は音楽の中の個々の楽器や声を聴き分けたり、音楽の調和を判断する能力が非常に限られているため[16,85]、音高や調和を用いて音楽の感情を判断する能力は通常よりも大幅に低いと考えられます。それにもかかわらず、多くのCI使用者が音楽を定期的に聴いたり参加したりしており、これが楽しいと感じ、感情を呼び起こすと報告しています[16,17]。CI使用者による感情の知覚に関する研究は多くありますが、その多くは「幸せ」と「悲しみ」の判断に制限されており、これはCIを通じて効果的に伝達できる感情の範囲が限られていることを反映している可能性があります。多くの研究では、テンポの影響が評価されています。テンポは通常、1分間の拍数（bpm）として指定されますが、最近の証拠では、重要な時間的特徴は連続する音符の平均オンセット時間であり、bpmではないとされています[94]。ただし、簡単のために、ここではほとんどの研究で指定されたテンポという用語が使用されます。以下に、子どもを対象とした研究と成人を対象とした研究を紹介します。
Hopyan et al. [95]は、早期に片耳にCIを受けた14人の言語前の聴覚障害児（7～13歳）と18人の年齢および性別が一致する通常聴者（NH）を対象に、音楽における「悲しみ」または「幸せ」を識別する能力を評価しました。刺激は、クラシック音楽のレパートリーから取られた32の短いピアノ音楽の抜粋で、スピーカーを通じて提示されました（音量は指定されていません）。幸せな音楽の抜粋はメジャー調で、テンポが速く、悲しい音楽の抜粋はマイナー調で、テンポが遅いものでした。各抜粋が提示された後、子どもには幸せな顔と悲しい顔の2つの漫画の顔が示され、その音楽に合った顔を指差すように求められました。NHグループはほぼ満点の成績（平均正答率97%）を達成しました。CIグループは平均してやや低い成績（平均正答率77.5%、範囲は53%から91%）を示しましたが、依然としてチャンスを超える成績を上げました。CIグループでは、感情識別スコアとCIの活性化年齢またはCIの使用期間との間に有意な相関関係は見られませんでした。
類似の研究で、Volkova et al. [96]は、14人の早期片耳CI使用の言語前の聴覚障害児（4～6歳）と18人のNH児（同じく4～6歳）を比較し、音楽における「幸せ」または「悲しみ」の識別能力を評価しました。刺激は、5つは幸せに聞こえ、5つは悲しみに聞こえるように設計された10秒の合成ピアノの抜粋で、幸せな音楽の抜粋はメジャー調でテンポが速く（平均137 bpm）、悲しい音楽の抜粋はマイナー調でテンポが遅い（平均46 bpm）ものでした。全ての音符は同じ振幅を持っていました。抜粋はステレオスピーカーから約65 dB SPLの音圧レベルで再生されました。各抜粋が提示された後、子どもには音楽に合った漫画を指摘するように求められました。一方は笑っている子どもの漫画、もう一方は涙を拭いている子どもの漫画でした。NH児はほぼ満点の成績（98%正答率）を達成しました。CI児はNH児よりも平均してやや低い成績を示しましたが、ほとんどはチャンスを超える成績を上げました。CI使用者のスコアは約50%から100%でした。CI使用者におけるインプラント使用期間とパフォーマンスとの関連は有意であり、Hopyan et al. [95]の結果とは対照的でした。著者は「聴覚経験により、一部の子どもたちは、音楽や音声の中でどの感情的ラベルがどの音響的手がかりに関連しているかを学ぶことができた」と示唆しています。
Giannantonio et al. [97]は、子どもたちの音楽における「幸せ」または「悲しみ」の判断が初期の聴覚経験によってどのように影響されるかを評価しました。参加者は16人のNH児（6.5～13歳）と42人の聴覚障害を持つ子どもたちで、31人は両耳にCIを持ち（7～14歳）、11人は片耳にCI、もう一方に補聴器を持つ（7～14歳）人々でした。参加者は、音楽の抜粋が「幸せ」または「悲しい」かを判断するように求められました。条件は4つあり、それぞれ32のピアノ選曲が含まれていました。最初の条件（Original tunes）は、8〜11秒の西洋クラシック音楽のレパートリーからの音楽抜粋で、半分は幸せを呼び起こし、残りの半分は悲しみを呼び起こすように選ばれました。この条件では、幸せな抜粋はメジャー調で比較的速いテンポ（80〜255 bpm）、悲しい抜粋はマイナー調で遅いテンポ（20〜100 bpm）でした。第二の「Mode-changed」条件では、調がメジャーからマイナー、またはその逆に変更されました。第三の「Tempo-changed」条件では、すべてのテンポが80 bpmに設定され、元の幸せな曲のほとんどより遅く、元の悲しい曲のほとんどより速くなりました。第四の条件では、「Mode-changed」と「Tempo-changed」が組み合わされました。
NH児は、感情判断を調とテンポの手がかりに基づいて行いました。音楽的訓練は調の手がかりに対する依存を強調し、この依存は年齢が増すにつれて増加しました。両耳にCIを持つ子どもたちは主にテンポの手がかりに依存しました。一方、片耳に残存する聴覚がある子どもたちは調にも若干依存しましたが、NHグループほどではありませんでした。著者は、西洋文化では、初期の音響聴覚が調よりもテンポの手がかりを好む傾向を促進し、この傾向は音楽的訓練によって強化されると結論付けました。ただし、調の使用はある程度の音響聴覚が必要であり、残存聴覚のないCI使用者は音楽経験に関係なく主にテンポに依存して感情を判断することが示されました。
類似の研究[98]では、片耳にCIのみを持ち（他方には使用可能な聴覚がない）16人の子どもたちが、16人のNH子どもたちと比較されました。両グループの平均年齢は約13歳でした。タスクと刺激はGiannantonio et al. [97]と似ていました。抜粋に元の調とテンポが両方含まれている場合、CI使用者は幸せと悲しみの音楽をチャンスを超えて識別しましたが（87.5%）、NH子どもたちの成績（98%）には大きく劣りました。CIグループは主にテンポの手がかりを使用し、NH子どもたちは調の手がかりをより多く使用しました。CI使用者はすべての条件で応答時間が有意に遅く、CI使用者がタスクをより困難に感じていることが示唆されました。
Caldwell et al. [99]は、成人のCI使用者とNH個人が音楽における悲しみと幸福の判断においてテンポと調にどの程度依存しているかを比較しました。彼らは、15人の言語後に聴力を失ったCI使用者（平均年齢約52歳）と16人のNH対照群（平均年齢約24歳）をテストしました。刺激としては、ピアノと合唱の伴奏で演奏された4小節のメロディーが使用され、それぞれ20秒の長さでした。2つのトーナリティ（メジャーとマイナー）と2つのテンポ（プレストとラルゴ）が使用され、すべて4つの可能な組み合わせが作られました。メジャーキー/速いテンポの組み合わせは「幸せな」判断を促進し、マイナーキー/遅いテンポの組み合わせは「悲しい」判断を促進することを意図していました。他の2つの組み合わせ（メジャーキー/遅いテンポ、マイナーキー/速いテンポ）はあいまいでした。各メロディーを聴いた後、参加者は感情を−5（悲しい）から+5（幸せ）までのスケールで評価しました。結果は、テンポの全体的な効果を示し、速いテンポで評価が高かった（より幸せと判断された）ことを示しました。NHグループはまた、メジャー調に対してマイナー調のスコアが高かったが、CIグループはそうではありませんでした。CIグループは同じテンポの刺激を調の変更にかかわらず類似に評価しました。これらの結果は、参加者の音楽的訓練の程度に影響されませんでした。全体的に、NH成人は西洋文化において音楽の悲しみと幸福を判断する際に調とテンポの両方を使用するのに対し、CI使用者は主にテンポに依存し、調を使用しないことが示されました。
Ambert-Dahan et al. [100]は、言語後の進行性聴力損失後にCIを受けた成人が音楽における感情をどのように知覚するかを評価しました。13人のCI使用者（良好な言語理解能力を持ち）と13人のNH参加者（年齢、性別、教育レベルが一致）が、恐怖、幸福、悲しみ、平穏を表現するように意図された40の短い音楽の抜粋を聴きました。抜粋は西洋のトーナルシステムのルールに従い、合成ピアノのメロディーと伴奏に基づいていました。抜粋には規則正しい時間構造がありましたが、いくつかの恐怖を表現する抜粋を除きました。幸せな抜粋はメジャー調で平均テンポが速く、メロディーラインは中高音域で、サステインペダルは使用されていませんでした。悲しい抜粋はマイナー調で平均テンポが遅く、サステインペダルが使用されていました。平穏な抜粋はメジャー調で中程度のテンポがあり、サステインペダルとアルペジオ伴奏で演奏されました。恐怖を表現する抜粋のほとんどは規則正しく調和しており、遅いから速いまでの様々なテンポがあり、マイナーコードが含まれていました。抜粋はステレオスピーカーを通じて70 dB SPLで提示されました。参加者は各抜粋がどれだけ感情を表現しているか、感情の価（不快–快適）と喚起度（リラックス–刺激的）を評価するように求められました。CI使用者はチャンスを超えてパフォーマンスを示しましたが、幸福、恐怖、悲しみの抜粋においてNH参加者よりも平均的な正答率が低く、平穏な抜粋では差は見られませんでした。CI使用者は音楽の喚起度を知覚する上で欠陥が見られましたが、価の評価はNHグループと類似していました。
Paquette et al. [101]は、11人の経験豊富な片耳CI使用者（21～63歳）が音楽の幸福、悲しみ、恐怖、無感情をどのように知覚するかを評価しました。刺激はクラリネットまたはバイオリンで演奏された短い音楽フレーズ（平均長さ1.8秒）で、ステレオスピーカーを通じて70 dB SPLで提示されました。各抜粋を聴いた後、参加者は連続的な水平視覚アナログスケールを使用して評価しました。最初に感情（幸福、悲しみ、恐怖、無感情）ごとのスケールが表示され、参加者は各感情がどれだけ表現されているかを「なし」から「あり」までのスケールで評価しました。その後、感情評価に対する自信の度合いを「全く自信がない」から「非常に自信がある」まで評価しました。次のページでは、抜粋の感情的価（「非常に否定的」から「非常に肯定的」まで）と喚起度（「全く喚起しない」から「非常に喚起する」まで）を評価しました。
幸せな抜粋のみがチャンスを超えて認識されました。悲しい抜粋はしばしば幸せまたは無感情と識別され、恐怖の抜粋はしばしば悲しいまたは無感情と識別されました。ただし、幸せな抜粋は一般的にポジティブで喚起的な感情として正しく認識され、恐怖の抜粋は一般的にネガティブと認識されており、CI使用者には感情の価を判断する能力があることが示されました[100]。
全体として、CI使用者（子どもと成人）は、音楽における基本的な感情（例えば幸せや悲しみ）を判断する能力を持っているものの、音楽の音高や調和よりもテンポなどの簡単に知覚できる側面に基づいて行うことが多いことが示されています。初期の音楽経験がCI使用者の感情判断能力を向上させる可能性がありますが、初期経験の役割を明確にするためにはさらなる研究が必要です。CI使用者は音楽の喚起度を判断する一定の能力を持っていますが、通常聴者よりもこの能力が劣る場合があり、これはCIが音楽の動的変化を不自然に知覚させるためかもしれません。しかし、CI使用者は感情の価を判断する能力は比較的良好であり、引き起こされる感情がポジティブかネガティブかを判断する能力を持っています。
７．研究の必要性と未解決の問題
聴覚障害者の音楽における感情知覚に関する研究で操作されてきた主な要素、すなわち調とテンポは、感情知覚に影響を与える要素の一部に過ぎません。テンポの変動、音符間の無音区間の操作、時間の経過に伴うスペクトル変化など、他の関連する要素を探る研究が必要です。
また、補聴器やコクレアインプラント（CI）で使用される信号処理の一部が音楽における感情の知覚を実際に損なう可能性があるかどうかも未解決の問題です。音の可聴性の向上によって得られる利点を相殺する可能性があるため、マルチチャネル圧縮などの信号処理が音楽における感情の知覚に与える影響を探る研究が必要です。
８．結論
中等度から重度の聴覚障害は音楽における感情知覚に悪影響を及ぼし、その影響は先天性の聴覚障害を持つ個人の方が後天性の聴覚障害を持つ個人よりも大きいです。補聴器は一定の助けにはなりますが、完全には効果的ではありません。聴覚障害のある人々は、複雑な音楽よりも単一の明確なメロディーラインを持つ音楽で感情をよりよく知覚する傾向があります。これは、単一のメロディーラインが音高の知覚をより明確にするためと考えられます。
CIユーザーの子供と大人の両方は、幸せや悲しみといった基本的な感情を音楽で判断する能力を持っていますが、その判断は主にテンポなどの簡単に知覚できる側面に基づいて行われ、基本周波数（F0）やハーモニーにはあまり依存していません。音楽の早期経験がCIユーザーの音楽における感情判断能力を改善する可能性がありますが、早期経験の役割を明らかにするためにはさらなる研究が必要です。CIユーザーは音楽における覚醒度（アラウザル）をある程度判断する能力を持ち、感情の価値（バレンス）を判断する能力も比較的良好です。
データのアクセス
この記事には追加のデータはありません。
AI使用の声明
この記事の作成にはAI支援技術は使用されていません。
著者の貢献
B.M.: 概念化、データ管理、資金調達、方法論、ソフトウェア、原稿作成。
利益相反の宣言
著者には競合する利益はありません。
資金提供
B.C.J.M.は、エンジニアリングおよび物理科学研究委員会（イギリス、助成金番号 RG78536）および医学研究評議会（イギリス、助成金番号 G0701870）から支援を受けました。
謝辞
ヘドウィグ・ゴッケル、ステファン・ラウナー、および匿名の査読者に、論文の以前のバージョンについての有益なコメントを感謝します。
脚注
本稿は、テーマ号「感覚と感情：感覚処理と感情体験への統合的アプローチ」の1つの寄稿です。
© 2024 著者たち。
ロイヤル・ソサイエティのCreative Commons Attribution License http://creativecommons.org/licenses/by/4.0/ の下で公開されており、オリジナルの著者と情報源がクレジットされる限り、無制限の使用が許可されています。
リンク先はTHE ROYAL SOCIETYというサイトの記事になります。（原文：英語）