読唇術はどこまで実現可能か
読唇術(どくしんじゅつ)とは、口元の細かな変化によって音を見分ける方法です。耳の不自由な女性が開設した、唇術をレクチャーする動画をシェアします。読唇術、聞いたことはありますよね。よく、スパイ映画など創作の世界で、読唇術が登場しますね。
読唇術は、実際に存在します。
ただし、スパイ映画やドラマで描かれるような「遠く離れた場所から、唇の動きだけで会話の内容を100%完璧に読み取る」という魔法のような技術とは、現実には少し異なります。
専門的には「読話(どくわ)」と呼ばれることが多く、聴覚に障害のある方々がコミュニケーション手段の一つとして実際に使用しています。
プロ野球では、プレイヤーのクセから球種を見抜くとともに、読唇もひとつのテクニックとされていたので、マウンドに内野手が集まって話をするときは、相手にわからぬようグローブで口を隠します。
テレビカメラにうつってしまうと、さすがに限られた野球用語なら解読される可能性が高まりますからね。
前後の文脈から内容を推測することが不可欠
耳が聞こえないユカコさんが、読唇術で言葉を判別するための、具体的なコツや経験則を解説しているYouTubeチャンネルです。
聞こえない、またはきわめて聞こえにくい場合、読唇術は趣味や特技ではなく、切実な生活能力になっています。
しかも、ユカコさんの場合、長女が骨の難病、次女が障害児とのこと。
社会の理解と支援を得るためには、多くの人とのコミュニケーションが欠かせません。
動画によると、たとえば、「ら行」は舌の動きで判別し、「ま行」は唇を閉じる動きに特徴があるなど、口元の細かな変化によって音を見分ける方法を伝えています。
しかし、単語ごとの形を完璧に覚えるだけでは不十分であり、実際には前後の文脈から内容を推測することが不可欠であると強調しています。
日常会話においては、一字一句を追うよりも、言葉の流れを瞬時に判断することが、円滑なコミュニケーションの鍵となります。
全体を通して、サバイバルスキルのように身につけてきた実践的な視点から、読唇術の奥深さと難しさが綴られています。
ですから、「技術としては存在するが、唇だけで100%読み取るのは人間業としては極めて困難であり、文脈による推測とセットで行われている」というのが実態というわけです。
AI読唇技術
最新AI事情?????
— スナップなう! by RKBラジオ スナッピー (@rkbr_snap) March 11, 2019
読唇技術システムを持つAI????
九州工業大学
斉藤剛史先生の研究グループが
開発されたそうです??
タブレットやスマートフォンの
カメラ機能を使って、
動画をサーバーへ送ることで
何と喋っていたかを表示してくれるんです?????#RKBラジオ #スナッピー#このラジオがやばい pic.twitter.com/bAX4VNfJDv
ということで、登場するのがAIです。
AI読唇技術は、「カメラ映像だけで話された言葉を推定する」AI で、映像解析 + 言語モデルの進化によって近年急速に精度が上がってきている最先端技術 です。
AI読唇は、OGPの通り、
1.映像入力
スマホやカメラで話者の唇の動きを撮影します。
2.顔と唇の抽出
コンピュータビジョン技術(例:顔ランドマーク検出)で唇の動きだけを切り出します。
3.ディープラーニングで特徴抽出
ニューラルネットワーク(CNN や Transformer など)が、連続する唇の動きからパターンを学習します。
4.言語モデルとの融合
映像から得た特徴を言語モデルや自然言語処理に通して、文として意味ある推定結果に変換します。
5.出力(文字・音声)
推定された内容を テキスト化 したり、合成音声として話し言葉に変換することも可能です。
こうした仕組みで、声を出せない人の支援や、聴覚支援、自動字幕 といった応用が可能になっています。
AIが仕事を奪う?
AIは人の仕事を奪う、などと鬼っ子扱いされる向きもありますが、実際には逆です。
その人がAIを効率よく利用することによって、今までできなかったことが出来るようになるわけですから、むしろその人のところに仕事がどんどん来るのです。
逆に、AIから逃げていると、仕事もAIのデキる人に逃げていくのです。
たとえば、この読唇AI技術を習得することによって、自分自身に聴覚障害はなくても、そうした人を助ける仕事をすることができます。
読唇術、興味ありますか。

読唇術 - 土岐麻子
この記事へのコメント
そのうち人が管理される時代にとSF好きなおいらは考えてしまう
高齢の母が、もうなかなか口を開けないから言う事がほとんどわからないので、読唇AI技術で少しはわかるのかなって思いました。
nice!です。
文脈おかしい人もいるだろうからねぇf^_^;
人助けになる事は、本当に良い事ですね。
銅メダルとマイクタイソンアップしました。
プロ野球ニュースなどで聞こえない監督やコーチが
何言ってるか、この読唇術で読み解いていました❗
習得するには並々ならぬ努力が必要ですよね。
それでも100%は難しいとのこと
AIを活用するのはいいことではないでしょうか。
しゃべってる内容がわかるのかな?
習得するには大変な労力が必要みたいですね。
AIを活用したほうが良さそうですね。
AIは使い倒すべきなツールですよね。
ありません。
なんだか怖い気もしますが、使い道はありそうです。
目の不自由な方を導くロボも実用可能のようです。
手話とも違い、色々覚えると確かにいいですね。
難しいですね〜目、耳、鼻は、無いものを五感で感じる様にできるには、相当大変な事です!ナースの時、筆談でも、理解できず
患者様に、不快を与えた事がありました!
難しい〜
AIがひとのできない部分を補ってくれるのはとてもいいと思います。