文教大学の阿部が「マルチモーダルルールベースの階層的構築によるクラスルーム教育支援ロボットサービスの開発」 という演題で発表いたします. この研究は,3月に情報学部情報システム学科を卒業した高橋くんと大学院情報学研究科を修了した秋本さんによる研究成果をまとめて, 阿部が発表するものです. はじめに,研究の背景として,近年のクラウドサービスやその仕組みを利用して音声認識や機械学習アルゴリズム実行環境, 自然言語処理,の各技術を対人ロボットサービスのプログラムから比較的容易に利用できるようになってきた,ということがあります. 一方,教育現場での知識継承や人材育成の課題として,個々の教員の養成に当たっては,児童・生徒の様子や到達度に従った, ”臨機応変な対応”が求められていますが,その業務上の知識を経験を通じて教育を行っている現状があります. 例えば,生徒の様子に対して,どうリアクションを返すか,個々の場面での対処方法は教科書的には教えるのですが, 場面や相手の生徒,クラスの様子に応じて,ベストな対応をする,というのは,指導教諭の授業や研究授業等を観察して修得しています. これは,本学の教育学部卒業生,他学部で教員養成にあたっている大学教員に話を聞いても,同様であるとのことです. そこで,本研究では,教師の業務に関する知識(教師業務ルール)を対人ロボットサービスとして実装し, 生徒に合わせた対応,というものがどのような要因から生じているのか,を明確にすることを目的とします. 本研究では,個々の音声認識や自然言語処理,画像からの行動パターンの認識といった実装レベルでの観測結果と 教師が普段用いる業務知識の記述を段階的に(階層的に)記述し,ルールベースとして構築する方法について,提唱しています. 英語の授業における対話練習を題材として,専門家が”よく授業内で使う”と評価した業務ルールを対象に, その成立の条件となる音声や行動の認識処理の組み合わせをマルチモーダルルールベースとして記述し, ロボットサービスへの実装を目指しました. 関連する研究としては,ロボットとの対話では,特定の目的と専門家の知識を合わせた状況での対話を行う, という研究はあまり見られません. 教育関係の対話ロボットの利用は,CALLの延長として固定した教材としてのロボット,ロボット自体の動きを学ぶ, といったものがほとんどです. 関連の強い先行研究としては,音声認識を利用した英語の発音矯正練習(Audio-Lingual Method)を教師業務ルールから, 音声認識とロボット発話の実装と言う2階層で作成し,学習者の語学レベルによって,適用ルールに違いが生じる, という我々の研究があります. こちらの研究でのロボットサービスの動作状況については,サポートページに動画を用意しておりますので,ご覧ください. さらに,この研究を基に,音声認識と自然言語処理の組み合わせ,画像を用いた学習者の行動認識手法の評価, 等を行ってきました. 本発表では,複数の中学校教諭による研究授業を観察して,専門家(大学での教職担当の教員)による評価が可能な, 英語授業での対話練習指導に関する教師業務ルールを42個得ました. それらのなかから,専門家が”よく理解でき,指導場面でもよく利用する”とした11ルールを対象とします. しかしながら,これらのルールを直接,教員養成の専門家が生徒がどのような様子か,発話の状況はどうか,といった条件を 画像処理や音声認識の処理結果に対応付けることは,困難です. そこで,信号レベルの画像や音声から,発話内容や画像上でのパターン認識といった記号を取り出す処理, さらに記号を組み合わせて,専門家にも理解できるレベルの記述という段階まで各レベルでルールを対応付けて記述する必要がある, と我々は考えました. ”英語授業支援のためのマルチモーダルルールベース”としては,教員養成の専門家により評価された11ルールについて, 音声認識と自然言語処理の結果と画像からの行動の認識結果の組み合わせにより,これらのルールが適用されるのか, をDroolsの決定テーブルに相当する記述として作成しました. さらに,このルールベースを利用して,各種処理を統合して生徒への対話練習の指導を行うロボットサービスを実装し, 教師がよく使う指導での業務知識(教師業務ルール)を状況に合わせて適用して,ルールの適用状況を把握しながら, 生徒の指導に役立てます. このサービスの実装には,対人対話ロボットとしてVStone社製のSotaを使用し,Javaによるプログラムから, IBM Cloud Watson Speech To Textによる音声認識,OpenNLPによる構文解析結果を利用します. また,画像認識による生徒の姿勢の分類のため,Pythonによる機械学習アルゴリズム,あるいはConvolutional Neural Networkを利用し, 学習モデルを使った画像中の生徒の行動の分類予測を行うサービスを実装します. 教材となる英語の単元については,中学校1年生程度の各単元を教材ファイルとしてルールベースと共に入れ替え可能であり, 対話練習を実施する予定です. ただ,現状としては,評価に向けての準備を行っている,というのが現状です. (本来は,インタラクティブ発表において,実装を修正して中学校1年生のある単元での対話練習のデモを行う予定でおりましたが,  新型コロナウィルス感染症対策によるオンライン授業準備等がありまして,修正が間に合わず,申し訳ありません) 今後の課題としては, 実際に11個の業務ルールに基づくマルチモーダルルールベースを利用した対話練習のロボットサービスを利用し,評価を行っていきます. また,今回はクラスルームAIとして,対面の一斉授業での個別指導を実現する方法としてシステムを考えてきましたが, 今後は,遠隔教育やオンデマンド授業でも教員の知見や工夫が詰まった個別指導を行えるツールとしての本システムの利用方法を考えていく予定です.