科学者たちは脳の活動によって無音のスピーチを再現しました

ビデオ: 科学者たちは脳の活動によって無音のスピーチを再現しました

Отличия серверных жестких дисков от десктопных
ビデオ: 中野信子 ✨ わかりやすい!英語力を上げる脳科学的な秘訣とは? ☕ 脳科学者; 認知神経科学 2023, 2月
科学者たちは脳の活動によって無音のスピーチを再現しました
科学者たちは脳の活動によって無音のスピーチを再現しました
Anonim
Image
Image

アメリカの科学者とエンジニアは、声道の器官が動いたときに脳の活動に基づいて音声を合成することを可能にする侵襲的デコーダーデバイスのプロトタイプを開発しました-そしてある実験では、彼らは無音の音声を再生することができましたが、品質の低下。 Nature誌に掲載された記事によると、将来的には、このプロトタイプに基づいて、新しいニューロコンピューターインターフェースを作成することが可能になるでしょう。

ニューロコンピューターインターフェースは、脳活動に関するデータの読み取りと処理を可能にし、とりわけ、音声喪失の患者を支援するために使用されますが、これまでのところ、かなり遅い頭や目の動きを使用してカーソルを制御できるデバイスが主にあります通常のスピーチと比較して。今年の初めに、Scientific Reportsは記事を公開しました。その記事の著者は、人間の脳の活動から音声を聞きながら再現するアルゴリズムをトレーニングすることに成功しました。そのために、てんかん患者の脳に埋め込まれた電極を使って得られた聴覚野の活動を、個々の数字を聞きながら使用し、それに基づいて短いフレーズを合成しました。結果として得られたスピーチは、75%の時間で読みやすくなりました。

カリフォルニア大学サンフランシスコ校のエドワード・チャンが率いるグループは、顎、喉頭、唇、舌の動きの間に脳の活動に基づいて音声を合成する方法を提案しました。彼らによると、この2段階の方法(音声器官の動きに関連する脳の活動を認識し、これらの信号を単語に変換する)により、たとえば、ボランティアが特定の単語について考えたり、単に考えたりする場合よりも正確に音声を合成できるようになりました。オブジェクト。ただし、そのような方法は科学者にとっても興味深いものです。

Image
Image

研究に使用される頭蓋内電極

最初に、研究者は、数百の文章を声に出して話したてんかんの5人の流暢なボランティアからの大脳皮質からの信号を記録するために電気皮質計を使用しました。これらの文は、英語に特有の声道活動の全範囲を再現するために特別に選択されています。同時に、研究の著者は、彼らのプロトタイプが他の言語でも機能し、適切な言語資料に関する予備トレーニングを行うことができると信じています。

彼らは、腹側感覚運動皮質、上側頭回、下前頭回の活動における声道運動の要素を認識するための1つのリカレントニューラルネットワークと、それらの音声の音響パラメータを認識するための2番目のネットワークをトレーニングしました。合成。

Image
Image

元の音声と合成された音声の研究計画と比較

101の文を使った実験では、Amazon Mechanical Turkプラットフォームの数百人のリスナーが、提案された文(選択する単語が多い)から単語を選択して合成音声を認識および転写しようとしましたが、それらは21%でした。摩擦音は特によく認識されていましたが、[b]のような爆発音はあまりよく伝達されませんでした。典型的なニューロコンピューターインターフェースは、タイピングの速度に応じて、毎分約5〜10語を合成できますが、科学者のプロトタイプは、英語の場合、毎分120〜150語の通常の発話速度で動作します。

別の実験では、1人の人が最初に58の文のいずれかを発音し、次に音声装置の同じ動きを繰り返しましたが、音はありませんでした。科学者たちは、その質は劣っていたものの、「静かな」動きからの信号に基づいて音声を合成することができました。特に記者会見で、チェン氏は、将来、プロトタイプに基づいたニューロコンピューターインターフェースの動作を、まさにこのように見ていると述べました。たとえば、人は積極的に単語を発音しようとしています。麻痺しても、脳は依然として適切な信号を音声器官に送信します。パス-そして他の誰かの脳の活動について訓練された機械が音声を合成します。同時に、チャンは、人が言葉についてどれほど集中的に考えても、私たちは口頭のスピーチの認識についてのみ話しているのであって、精神的な、つまり内部のスピーチについて話しているのではないことを強調しました。

科学者たちは、音声認識と合成アルゴリズム自体を改善することに加えて、今度は音声の問題を抱えており、おそらく医学的な理由で話したことがない人々と仕事を続けることを計画しています-しかし、チェンはそれがどれくらいの期間かを言うのは難しいと感じましたシステムが臨床的にテストされるまで、または医療行為に導入されるまでにさらに時間がかかります。彼によると、言語障害のある人々に対する試験はまだ始まっていないという。さらに、プロトタイプは現在、大脳皮質にセンサーを配置するために外科的介入を必要とし、チェンによれば、この精度の非侵襲的器具はまだありません。

侵襲的なインターフェースは、さまざまなタスクで人々を助けることができます。たとえば、アメリカの科学者は、麻痺した人々がタブレットを使用できるようにする神経インターフェースを開発しました。このようなインターフェースは、運動皮質に埋め込まれた電極からの信号をBluetooth経由でタブレットに送信し、カーソルを制御します。実験の参加者は、なんとかそれを使って購入したり、メッセンジャーでチャットしたり、電卓を使ったりしました。さらに、脳波検査などの非侵襲的方法も、麻痺した患者の四肢の機能障害をリハビリするために使用されます。たとえば、昨年、この方法を使用すると、脳卒中によって麻痺した患者の腕のパフォーマンスを9週間のトレーニングで36%向上させることができました。

トピックによって人気があります