ＮＨＫでは、以前から言語処理技術の研究や、ＣＧの自動生成技術（ＴＶＭＬ）の研究などを行なっていました。手話ＣＧ技術には、これらの技術研究成果も活用しています。
当面の研究開発の目標として、気象情報を手話ＣＧに自動翻訳することを置きました。気象情報は、コンピュータを用いた自動化のメリットを生かすことができ、話題の分野を限定することにより、技術的に実現の可能性が高いと考えたからです。そして、リアルタイムで放送される気象情報にこそ、有用性があると考えたのも、理由のひとつです。
手話ＣＧでは、まず、入力された日本語テキストを文節ごとに区切って、そのひとつひとつの文節を手話単語の配列に翻訳します。これを元に、手話通訳士の動きを記録したモーションデータをつなげて生成したＣＧで手話の文章を表現します。現段階では、約7000語の手話単語に相当するモーションデータが登録されています。アナウンサーが約30秒かけて読むニュース原稿を手話ＣＧで通訳するのにかかる時間は約10秒です。つまり、ほぼ瞬時に翻訳することができます。
この研究を進める上で大事なことは、手話と日本語は違う言語だという点です。手話は、話し言葉の日本語とは語順などの文法が異なるため、日本語テキストの単語をそのまま手話の単語に置き換えただけでは、自然な手話の文章にはなりません。
この問題を解決するために、ＮＨＫ手話ニュースを元に、入力された日本語がどういう手話で表現されるかを分析して翻訳を行っています。ニュースの日本語原稿と手話の例文を対にしたデータベースの構築を進めており、現在、６万対のパターン例を登録済みです。
気象予報を手話CGで表現している画面
