新しい言語補綴物は、言語障害のある神経障害を持つ人々に希望をもたらします。
この技術は、高密度センサーと機械学習を使用して脳信号を音声に変換することにより、現在の低速な通信補助装置に比べて大幅な進歩を示します。
このデバイスはまだ初期段階にありますが、限られた試用期間中に音声データの解読精度 40% を達成し、コードレス設計に向けて移行しています。
主な事実
- このデバイスは、柔軟なプラスチック上にある 256 個の脳センサーを使用して、音声に関連する脳活動を読み取り、それを実際の単語に翻訳する。
- 無関係な脳手術を受けた患者を対象とした最初のテストでは、脳活動から音を解読する精度が 40% に達した。
- ユーザーにより多くの自由を提供する、将来のコードレス バージョンのデバイスが開発されている。
出典:デューク大学
デューク大学の神経科学者、神経外科医、エンジニアの共同チームが開発した音声人工器官は、人の脳信号をその人が言おうとしていることに翻訳できます。
Nature Communications誌に 11 月 6 日に掲載された この新技術は、神経疾患により話すことができない人々が、脳とコンピューターのインターフェースを介してコミュニケーション能力を取り戻すのに役立つ可能性があります。
「ALS（筋萎縮性側索硬化症）や閉じ込め症候群など、会話能力に障害をもたらす可能性のある衰弱性運動障害に苦しむ患者がたくさんいます」とデューク大学の神経学教授Gregory Cogan博士は言います。
医学部の教授であり、プロジェクトに関与した主任研究者の一人です。
「しかし、通信を可能にするために利用できる現在のツールは、一般に非常に遅くて扱いにくいです。」
オーディオブックを半分の速度で聞いていることを想像してください。
これは現在利用可能な最高の音声デコード速度であり、1 分あたり約 78 ワードとなります。
しかし、人は 1 分間に約 150 語を話します。
発話速度と復号化速度のずれは、脳の表面にある紙のように薄い物質に融合できる脳活動センサーが比較的少ないことが部分的に原因です。
センサーの数が少ないと、デコードするための解読性の低い情報が提供されます。
過去の限界を改善するために、コーガン氏は、デューク脳科学研究所の教員仲間であるJonathan Viventi博士とチームを組みました。
彼の生体医工学研究室は、高密度、超薄型、柔軟な脳センサーの製造を専門としています。
このプロジェクトのために、Viventiと彼のチームは、切手サイズの柔軟な医療グレードのプラスチックに 256 個もの微細な脳センサーを詰め込みました。
砂粒ほど離れたニューロンは、音声を調整するときに大きく異なる活動パターンを持つ可能性があるため、意図された音声を正確に予測するには、隣接する脳細胞からの信号を区別する必要があります。
新しいインプラントを作製した後、Cogan氏とViventi氏は、Derek Southwell医師、Nandan Lad医師、Allan Friedman医師を含むデューク大学病院の神経外科医数名と協力し、4人の患者の採用を支援しました。
インプラントをテストするためです。
この実験では、研究者らは、パーキンソン病の治療や腫瘍の切除など、他の症状で脳手術を受けている患者に一時的にこの装置を装着する必要がありました。
Cogan氏と彼のチームが手術室でデバイスをテストできる時間は限られていました。
「私はそれをNASCARのピットクルーと比較するのが好きです。」とCogan氏は語りました。
「手術手順に余分な時間を加えたくないので、15 分以内に出入りする必要がありました。外科医と医療チームが「行け！」と言うとすぐに、私たちは急いで行動を開始し、患者はその任務を遂行しました。」
このタスクは、単純に聞いて繰り返すというアクティビティでした。
参加者は、「ava」、「kug」、「vip」などの一連のナンセンスな単語を聞いて、それぞれを声に出して話しました。
この装置は、唇、舌、顎、喉頭を動かす約 100 個の筋肉を調整する際に、各患者の言語運動野の活動を記録しました。
その後、新しいレポートの筆頭著者でデューク大学の生体医工学大学院生であるSuseendrakumar Duraivel氏は、手術室から神経データと音声データを取得し、それを機械学習アルゴリズムに入力して、どのような音が発生しているかをどの程度正確に予測できるかを確認しました。
脳活動の記録のみに基づいて作成されました。
「ガク」という単語の /g/ など、一部の音と参加者については、それが意味のない単語を構成する 3 つの文字列の最初の音である場合、デコーダーは 84% の確率で正解しました。
ただし、デコーダーが無意味な単語の途中または末尾にある音を解析するため、精度は低下しました。
また、/p/ と /b/ のように、2 つの音が似ている場合にも問題が発生しました。
全体として、デコーダは 40% の確率で正確でした。
これは控えめなテストスコアのように見えるかもしれませんが、同様の脳から音声への技術的偉業を引き出すには数時間または数日相当のデータが必要であることを考えると、これは非常に印象的なものでした。
しかし、Duraivel 氏が使用した音声デコード アルゴリズムは、15 分間のテストのうち 90 秒間の音声データのみを処理していました。
Duraivel 氏と彼の指導者らは、国立衛生研究所から最近 240 万ドルの助成金を得て、コードレス バージョンのデバイスを作成することに興奮しています。
「私たちは現在、ワイヤーを使わない同じ種類の録音装置を開発中です」とCogan氏は語りました。
「動き回れるようになるし、コンセントに縛られる必要もなくなるので、本当にエキサイティングです。」
彼らの研究は心強いものではありますが、Viventi氏とCogan氏の人工言語装置がすぐに店頭に並ぶまでには、まだ長い道のりがあります。
Viventi氏は最近のデューク・マガジンのこの技術に関する記事で、「私たちは自然音声よりもまだかなり遅い段階に。」と述べ、「しかし、そこに到達できる可能性のある軌道はわかります。」と語りました。
資金提供:この研究は、国立衛生研究所 (R01DC019498、UL1TR002553)、国防総省 (W81XWH-21-0538)、クリンゲンシュタイン・シモンズ財団からの助成金、およびデューク脳科学研究所からのインキュベーター賞によって支援されました。
リンク先はアメリカのNeuroscience Newsというサイトの記事になります。（英文）