日経メディカルのロゴ画像

nature誌から
脊髄損傷患者のコミュニケーションをサポートするbrain-computer interface技術を開発
文字の手書きイメージを高速かつ正確にテキスト変換

 米国Stanford大学のFrancis R. Willett氏らは、ニューラルネットワーク解読技術を応用して、脊髄損傷で四肢が麻痺した患者が頭で思い浮かべた手書き文字のイメージを、リアルタイムでテキストデータに変換するbrain-computer interface(BCI)技術を開発した。この方法で、一般の人がスマートフォンで文字を入力する際とほぼ同様の速度でテキストを表示することが可能だったという。論文は2021年5月12日のnature誌電子版に掲載された。

 これまでに行われた、BCIを利用した研究の主な焦点は、手を伸ばす、ものを握るといった粗大運動や、コンピュータのポインティングデバイスを使用したカーソルを移動させクリックする、といった動作の再現に向けられてきた。今回の研究は、アルファベットや記号を手書きしている状態を想像する際に現れる神経活動をBCIによって読み取り、その特徴をAIが解読して文字化するものだ。

 著者らも先に、脊髄損傷患者を対象に、カーソル移動とクリックを想像することによって文章を出力するシステムの研究を行っていた。しかし今回、著者らは、使用したAIアルゴリズムは、カーソル移動とクリックのような単純な動きより、アルファベットを手書きするような複雑な動きをする際の神経活動の方を、高速かつ正確に解釈できることを発見した。 

 脊髄損傷で四肢に麻痺がある患者の前頭前皮質の中心前回(運動前野)にある、hand ‘knob' areaに、微小電極アレイが2つ挿入された。この患者に、手の麻痺はないつもりで、ペンを持ち、罫線の入った紙の上に、アルファベットやカンマ、クェスチョンマークなどを書く動作をイメージするよう指示した。患者は、数秒の間隔をあけて、アルファベットを1つずつ書いているイメージを頭の中に浮かべた。その間の大脳皮質運動野の神経活動を記録したところ、神経活動は強力で、再現性があった。

 神経活動のパターンは文字や記号ごとに異なり、そこから、ペン先の軌跡を再現できることが示唆された。続いて、患者が文字を書くイメージを浮かべている間に、再帰型ニューラルネットワーク解読アプローチを用いて、リアルタイムにそれを解読する試みを進めた。

この記事を読んでいる人におすすめ