AIとVRを活用した英会話サービス「Smart Tutor」を試してみた（まとめ版）

Facebookの広告で見かけた、「Smart Tutor」というAIとVRを組合せた英会話サービスがなんだか面白そう！

そう思ってこのサービスを8か月間に渡って毎日実施してみた結果を振り返ってまとめてみました！

※本投稿で使用している画像の出典は、Meta Quest(旧称：Oculus Quest)向けアプリ「Smart Tutor」です

「Smart Tutor」とは

「Smart Tutor」は、株式会社プラスワンという会社が提供しているAIとVRを活用したFacebookの出しているVRヘッドセットのOculus Questで実施出来る英会話サービスです。

VRゴーグルにFacebookのOculus Questを採用しています。前々からOculus Questが気になっていたので、サービスを利用してみようと思いました。

「Smart Tutor」の特徴

2.5倍の速習効果がある？

SmartTutorのうたい文句としては、旧来の学習方法の約2.5倍の速習効果があるらしいです。

個人的な感想は、TOEICとかの勉強効果を狙っている関して言うと無いです。（SmartTutorのトレーニング8か月後に実施したTOEICの結果は下記に示しますが、ひどかったです。。）

ですが、WritingやSpeakingに関してはあるかもしれません。比較できるものがないので、なんともいえませんが。

英会話の相手がAIだから気遣い不要

個人で勉強している時はひとりでテキストに対して小声で発声していましたが、Smart TutorではVRの世界に存在している「人」がいるので恥じらい無く発声することが出来ました。また、相手は人間ではないので何度失敗しても自分が納得するまで繰り返し練習することができることも良かったです。

引用元：Smart Tutor

相手が人間じゃないから、相手への気遣いが必要ないというのは良かったです。

私の会社、海外の社員に英語を教えてもらうプログラムみたいなのがあるんですが、人口比から大抵インド人とマッチングされて、時差があったり都合を合せるのがめんどいんですよね。

相手がＡＩだとこういう状況を防げるってのがよい所だと思います。

キャッチコピーが良い感じ

次のようなキャッチコピーを掲げていました。

「忖度なし。化粧なし。パンツ一丁。

大人の在宅自主トレキャンペーン」

このパンツ一丁で実施できるってのが良いです。周りに気を遣わずにトレーニングが出来たり、時間を選ばずに出来るので。

利用筐体がOculus Quest

Smart Tutorがどうというのではなくて、Oculus Questの話ですが、起動して見える景色の質が高くて、結構良く出来ています。

今まで、私が経験してきたVRヘッドセット達ををかなり凌ぐクオリティーがありました。

Smart Tutorの仕様

コントローラーは右手のみ使用

Oculus Questには左右両手で使えるコントローラーがあるのですが、「SmartTutor」を使う時に使用するのは右手分のみです。

コントローラーにはボタンがいくつか付いているのですが、基本的な操作は人差し指を伸ばして仮想空間上のボタンを押すような感じになっています。

※2021.7.21のUPDATE以降は、コントローラーを使わなくてもプレイが出来るようになりました。

AIでミッションの結果を解析

SmartTutorでは発音やしゃべった内容を、次のような観点でAIが評価してくれます。

AIが自分に合ったカリキュラムを作成し、学習効果や弱点をリアルタイムで数値化

言語力 ▶︎ 発音、流暢さ、速さ

表現力 ▶︎ アイコンタクト、口調、要約

勉強方法と改善点が一目瞭然で効率よく成長を図れる

さらに、ベテランコーチがサポートしてくれる（別料金プラン料金）

引用元：Smart Tutor

自分の発音だけでなくて、アイコンタクトのスコアがあるのが面白かったです。

相手とアイコンタクトが出来ていないと聞き逃したりすることがあるよって話なんですが、それを分析するのすごいなと思いました。

とはいえ、このアイコンタクトは、どうしても画面に表示されている文言や英文に注目してしゃべることが多い為、低い点がつくことが多かったです。

寝ながらプレイや、暗闇でプレイ出来ない

寝る前に寝転んで、周りを真っ暗にしてプレイっていうのもしたかったんですが、これも無理でした。

何故かというと、暗闇にするとガーディアンという現実空間の位置が識別できなくなるからです。

パンツいっちょで、部屋を暗くして、寝ながら、出来たら良かったんだけどな。

また、SmartTutorは寝ながらプレイが出来るアプリではありませんでした。

何故かというと、SmartTutorは物理空間と仮想空間を融合させるような仕様になっているからです。

底面の設定が自分の頭の位置と近くになりすぎると、SmartTutorに入った後の自分の視点がキャラクターの膝の位置とかになっちゃうんですよね。

VRで会議室に入った際に、机の下に視点があって、すごくシュールな感じになりました。

あと、ボタンを押す位置とかも、自分が椅子に座っている高さのところに配置されるので、ボタンがめっちゃ高くに設定されていて押せなかったですｗ

パソコンデスクだと利用が難しい

加えて言うと、パソコンデスクとかでも実施出来なかったです。

何故かというと、パソコンデスクに置いていたモニタが障害物になってしまったからです。

「モニタの向こう側にボタンがあって、ボタンが押せない～～！！」という感じですｗ

これは、ガーディアンという自分がプレイする範囲の指定の仕方が悪かったかもしれないので、改善の余地があるような気がしますが。

ゴーグルで頬が痛くなる人もいる

私は大丈夫だったのですが、SmartTutorを試した人の中には顔の骨格とOculusQuestが合わなくて、装着時に顔が痛くなるという方がいました。

この動画で説明している彼女は、頬が痛くなって、SmartTutorは使えないと言っていました。これはもしかするとSmartTutorの付け方がいけていなかったのではないかなと思いました。

個々人の骨格によって、合う合わないがあると思いますが、こちらの手順に沿うコトで、痛みが緩和出来るのではないかなと思っております。

ただし、頬は痛くならないのですが、頭を多少締め付けられる為、SmartTutorを終えてOculus Questを外したときに頭に開放感がありました。

SmartTutorのコンテンツ

トレーニングコースについて

SmartTutorでは、「会社の面接」とか「システム構築」みたいなトレーニングコースがあって、そのコースの中に1回3分位の英会話シナリオが12本程度収納されています。

でその英会話の中には、次の3つのミッションが組み込まれており、それぞれ★３で評価がされて、★１以上なら合格というコンテンツになっております。

1. それぞれの登場人物がしゃべる内容を発話して主に発音を確認するリーディング
2. 日本語を英語に変換してしゃべる翻訳
3. 会話の内容の要約
4. 題材によっては、フリートークというテーマに合せてAIと対話するコンテンツもありました。

で、全てのミッションがクリアになったシナリオにはチェックマークがつきます。今できるシナリオが全てクリアになるとロックされていた次のシナリオに取り組める流れになっております。

リーディングについて

リーディングは、発音のチェックが主なミッションです。Oculus Questの調子が悪い時とか、夜遅くにプレイしている時はエネルギーなる評価が下がってクリア出来ないときがあって、ちょっとイライラしました。

翻訳について

翻訳コンテンツは日本語が表示されて、その日本語を英語にしてしゃべれというお題です。

やり方としては、お手本通りに英文をアウトプットするというやり方と、自分の持っている英単語と英文法の知識をひねり出して英文をアウトプットするやり方があります。

後者のほうが、やっていて楽しかったです。

いずれにしても、この翻訳コンテンツは、日本語を英語にするとどうなるだろう？という風にして英文をひねり出すこのになるのですが、このアプローチだと英語脳が育たないので正直微妙なコンテンツだなと思いました。

要約について

リスニングのトレーニングの応用に、要約のコンテンツがあって、会議で皆が英語で会話した内容を英語で要約を求められます。

一番最初は、しゃべり慣れていなくて、100点中2点とかでした。

言い訳をすると、最初の頃はホロサピエンスのキャラクターの名前が全然記憶に残らなくて、そこの説明からしどろもどろしてしまった為です。

この人の名前って「ハイディン」であってるっけ？とかそういうところです。

こういう慣れも英会話には必要なのかなって思いましたが、覚えることが多いシナリオのときは、これって英会話の本質ではないなと感じました。

フリートークについて

フリートークでは「会社の名前、生業、創業年、会社の強み」みたいなお題に合せてフリーで発話します。

発話なので会話ではなくて、一方的に話す感じです。

このフリートークですが話が全然通じないことが多く、何回説明すればいいんだ！ってなることがありました。

他のミッションは大体１発クリアなのですが、このミッションに関しては10回以上失敗を繰り返す事もあります。

いったい何が難しいかっていうと90wpm以上っていう1分間に90単語をしゃべるという発話のスピード。言いたいことがまとまっておらず、えーっと・・・ってなるとその瞬間にアウトです。

ただし、スピードが甘い分、文法を甘くしてくれているところがあります。例えば。Shall we good comunication!みたいな誤った構文でも、理解してもらえます。日本人がやりがちな、文法誤りを恐れてどもるみたいなのを取っ払って、とにかくしゃべるみたいなのがコツなのかもｗ

難しい分、クリア出来たときに嬉しいですね。英語脳で畳みかけるように自分の言いたいことが言えたときは、なんだか嬉しい気持ちに成ります。

レッスンで覚えた使いまわしなんですが、それを応用して話を出来たときもなんだか嬉しいです。「We believe this is why our clients choose us」とか、「We have employees over 40 countries」みたいな。

コースに終わりはあるか？

コースは全部で5～6個やった気がしますが、終盤のシナリオになるとサポート担当の方が新しいコースを見繕ってくれます。

もうちょっと以前のコースを復習出来るような進め方にしたほうが、学習効率が上がるような気がしましたが、あまりそこは提案されませんでした。

難易度について

コースには難易度があるのですが、難易度が高くなるについれて会話時間が長くなって、要約したり英訳する際の覚える事が多くなります。

個人的には、覚えるのめんどうで、だんだんと意欲が下がって学習時間も下がってきました(;´･ω･)

英会話の場面について

英会話をする場面は、会議室とプレゼンステージ、レストランの３つあります。

シナリオの数的には、会議室＞レストラン＞プレゼンステージって感じです。

プレゼンステージ

たぶん2～3シナリオしかなかったですが、プレゼンのステージのシナリオがあります。

シナリオの内容はハチャメチャハチャメチャでしたｗ

「NoraとEricが和食は無定形文化遺産だってすっげーオススメしてくるから、

彼ら一押しの東京で一番美味しいかつ丼屋に行ったら

コロナで閉まっていたので、

しょうがなく隣の激辛ラーメン屋に行ったら

通常の30倍辛いラーメンを3分以内に食べるチャレンジに参加することになり、

90秒で食べたんだけど、

胃の調子が悪くなって、

下痢で2週間入院しました。」

みたいなｗそして、このプレゼンが終わると、会場にいる人達がスタンディングオベーションで拍手するっていうｗ

なんかあほらしいのですが、ステージでしゃべるのは楽しかったです。

スタンディングオベーションは最初の一回目は感動したんですが、ミッションの都度出て時間がかかってうざかったですが。

オーシャンビューステージ

オーシャンビューの望める夕食を取れるステージがあります。

ディスカウント情報

新規入会は常にディスカウント

私の知る限り、今なら入会金が○○円ディスカウント！みたいな値引きが常時あります。

なので、期間中に入会しなきゃ！みたいに焦る必要はありません。

Oculus Quest 保持でディスカウント

それ以外の値引きだと、自前でOculus Questを持っていると、月額料金が3000円安くなります。これはOculus Questのレンタルをしなくて良い為です。

半年で18,000円、1年間なら36,000円の違いが出てくる値引き設定なので、Oculus Quest2は当時37,000円位で買えたので、購入したほうがお得に感じ、また、レンタル出来るOculus Quest が1で品質が2に比べたら劣る為Oculus Quest 2を購入してプレイしました。

最初のお試し期間の2週間は、Oculus Quest1をレンタルしてプレイしていたのですが、その後で購入したOculus Quest 2でSmart Tutorをプレイしたら、音質が格段に上がったので、英会話するなら2のがいいなと感じました。

また、最近Oculus Questようにバイオハザード4が発売されましたが、めちゃめちゃクオリティーが高くて3,000円未満でプレイが出来て、ゲーム筐体として持っておいても良いものだと個人的には考えております。

学習時間でディスカウント

学習時間を1,000分超えた際に、次回契約時の金額から1,000円割引になるクーポンがもらえました。

SmartTutorの振り返り

SmartTutorの良かった点

SmartTutorでSpeakingやWritingに慣れることが出来た

とはいえ、SmartTutorを実施したことによって得たものが全く無いかというと、そうではなくて、TOEICのListening & Readingテストでは測れていないWritingの能力が鍛えられたのではないかという気がします。

これまで英語を発するのが億劫で、英文を書くのもそんなに好きではなかったのですが、SmartTutorを実施する中で職場で英語を使う場面で英文でメールを書いたり、英語の資料を作ることに抵抗がなくなりました。

また、最近Kindleに本を出版したのですが、この際に英訳版も併せて出版しました。この時にGoogle翻訳やMicrosoft Wordの校正機能の力を借りたものの、SmartTutorで毎日英語をアウトプットする時間があったから英訳出版の実施に踏み切れたと思います。

発音の課題を把握できる

学生時代は、割と発音を意識していたので、自分は発音が良い方だと思っていたんですが、SmartTutorを実践していると、自分の発音が良くないということがわかります。

「He is legend」というフレーズがあったのですが、私の発音が「She is lesbian」って認識されちゃったんですよね(;^ω^)

そういった１文だけじゃなくて、簡単な単語の「for」や「good」とかですら、実はきちんと発音が出来ていないことがわかりました。

課題の把握が出来るけど、それを改善できるかは別物で、そっちは良ろしくなかった感想記載します。。

進捗や練習時間が見える

最初は無かった機能なんですが、累積の練習時間やスピーチペースや発音の状況が一別出来ます。

ちょこちょこアップデートがある

1ヶ月に1回位の頻度でアップデートが入る点は、改善の意識があって良いと思いました。どのようなアップデートがあったかの例をいくつか挙げます。

チュートリアルが追加された

チュートリアルが追加され、画面上部にある発音とかスピーチペースなどが、何を意味するかを説明してくれるようになりました。最初、このグラフ何って思ってましたからね。多少説明の日本語が変なのはご愛嬌で。

右手のコントローラーが不要になり、手の動きがよりリアルになった！

結構いいアップデートだったのが、SmartTutor内でコントローラーを握る必要がなくなり、指でタッチするコトでボタンを押すことが出来るようになった点です。両手を何も掴まずに話せるのは良いです！

そして、指を回したり等の細かな動きもリアルにVR環境に反映されるようになりました。

コントローラーレスの操作方法が少しわかった

SmartTutorの起動時にコントローラーで押していたAボタンを右手の人指し指と親指で輪っかを作ると押下出来るようになりました。同じ様に左手も輪っかを作ると別のメニューが開きます。

SmartTutorというか、OculusQuestのアップデートな気もしますが。

要約の際にキャラクターの名前が表示されるようになった！

要約のコンテンツ時にホロサピエンスの上部に、名前と役職名が表示されるようになりました。

SmartTutorに登場するホロサピエンスと呼ばれるキャラクター達は、基本５体位しかいなくて、シナリオが変わると名前とか中でしゃべっている人の声が変わります。

これが仇となり、要約コンテンツでは、毎回このキャラクター名がわからないので、変なところで記憶力を使う必要があってストレスになっていました。

定型句が学べる

それぞれのシナリオで定型句が学べるのが良かった

1. レストランでのメニューの注文の仕方
   I'll have XXX.的な感じで注文できます。haveとか色んなシーンで使えて便利だと実感。
2. ウェイター側がどうやって注文を聞くか（あんまり利用シーンないと思われ）
   What about you, sir?みたいな感じで注文を聞きます。
   OKの言い回しが色々ありましたね。Of CourceとかabsoluteryとかCertainlyとか。

他のレッスンと違って簡単な英文が多かったので、お手本の英語を発話するのではなくて、自分で考えながら発話が出来るコンテンツが多かったということです。

時事ネタやカルチャーの違いを感じられる

後はスモールトークについては、それぞれの回の内容が、菅総理の話だったり、COVID-19の話があったりで、時事的な話が出来るのは良かったかなと思います。

あとは、ただの設定ミスかもしれないのですが、酒飲んで車運転出来るみたいな感じだったので、カルチャーショックを受けましたね。

Smart Tutorの良くなかった点

Smart Tutorの良くなかった点は次の通りです。

キャラクターが怖い

Smart Tutorでは、「Holosapien（ホロサピエンス）」というVRのキャラクター達と英会話をするのですが、トレーニングが終わったときに脇に登場する女の子のキャラが怖くって、ディズニーのハロウィンタウンのサリーみたいに見えました。

キャラクターが使いまわし

この「Holosapien（ホロサピエンス）」ですが、登場するキャラが5人しかおりません。この為、シナリオが変わると、キャラクターの名前や職業が変わり、しゃべっている声とかが変わります。これがもうなんか嫌でした。

Davidっていい感じにスーツを着こなしているイケメン外人がいるんですけど、別のストーリーだと同じキャラデザインで謎にYukiという日本人キャラクターになったりと、慣れるのに時間が掛かりました。

AIの解析が遅い

最初の頃はAIの解析が面白いなと思って待ち時間が気にならなかったんですが、だんだんとこの遅さに耐え切れなくなって、発音の練習とかしなくなりました。

あとはアプリ上で不具合の報告もあり、バグで遅くなったときもあって、一単語の発音の解析をするだけなのに、長い時だと5秒以上待ちイライラがつのりました。

発音のトレーニングがしにくい

SmartTutorのリーディングコンテンツでは自分の発音を矯正し、これによってListening能力も鍛えようという思惑があると思います。

しかし、こちらの発音を聞いてからAIが解析してフィードバックするまでの時間が長かったり、どう発音すれば良いかの記号が独自でわからないという問題があって、発音の練習をしようという気持ちがどんどん萎えていってしまったんですよね。

正しい発音を覚えるプロセスがストレスというのは、英会話の学習プロセスとしては致命的だと思いました。

熟語の翻訳が出来ない

リーディングモードでは、英文を指で触ると翻訳が出来るんですが、熟語の翻訳が出来なくて、単語単位でしか検索出来ないのが微妙でした。あとは、単語の翻訳が結構適当。

UPDATEでこの翻訳にも手が入っていましたが、なんか英語の辞書みたいに言葉の意味が複数出てそれはそれで使いにくかったです。

たまに意味のわからない文章が入っている

兄弟構成を説明し合うみたいなセッションのときに、ノラというキャラが「私には二人のお兄さんが居ます。リュウとケンです（ストリートファイター）。彼らは小さい頃、子供として戦ってました。また逢いたいです」

みたいなことを言っているのですが、さっぱり意味がわかりませんでした。ゲームが好きとかそういう前提も全くないのに。

日本語固有名詞の発音で怒られる

和食（Washoku）とか、かつ丼（Katsudon）とか、日本人の名前とか、そういうフレーズで発音が悪いって結果が出ることが多く、そこで怒られたくない、うるせーってなりました。

結構そういうのが多くて、本質的じゃない部分のチェックは外しても良いのではないかなと思いました。

シナリオが微妙

シナリオの中には本当のPJTでありそうなスケジュールの遅延とか、コスト増加の調整の話とかが出てきます。ここで出てくる言い回しは、実際のPJTでも結構使えそうな印象がありました。

しかし、現実にこういった問題が発覚したら、実際にはもっとヒートアップして喧嘩になったりしそうです。流石にそういうシナリオにはなっていませんが、僕がこのシナリオに実際に参加していたら、話の筋が通っていないので怒っていると思うようなものがありました。

コンテンツが楽しくない

そして、最初こそVRの世界や色々なステージが面白くて、それがモチベーションになっていたのですが、だんだんそれがなくなりました。

加えて、上記の英語脳問題や、発音のトレーニングのしにくさ、記憶力を使わないとクリアできない課題や何度か発生したシステムエラーがあいまって、どんどんコンテンツが楽しくなくなってしまいました。

それでも「継続は力なり」なので、毎日3～5分位はSmartTutorを立ち上げていたのですが、嫌々つづけている状態になっていたんだと思います。

TOEICの結果を観てからは、もう完全にやる気がなくなったので「SmartTutor」は開いてません。

バグでやる気が萎える

Smart Tutorは新しい機能がそれなりに追加されていくのは良いのですが、これに合せて結構バグも出てました。

こちらが発話しているのを待たずに、会話が進んでいく挙動とか。これが起こると、かなりイライラします。

1回の会話が3分位？あったりして結構長いのですが、また3分待つの？とうんざりしてしまいます。そして結果としても、うまく解析されておらず、下のように不合格扱いになります。

こうなると精神力を大量に消費します。サポートに問い合わせたんですが、解決の報告もないままです。

また、次のように日本語を英訳せよの中に、英語が表示されちゃっているバグとかもあって萎えてしまいます。

単純に、和訳ミスとかも結構ありました。女性がしゃべっているのに、「僕」って言っていたり。

英語脳が育ちにくい

一方で、SmartTutorに取り組んでいて感じていた一番の問題点は英語脳が育たない点です。

英語能力を向上させるために一番大事なのが、英語で考えるという英語脳の開発だと思うのですが、SmartTutorは日本語を英訳して発話するというトレーニングが主であるため、英語で考えるということを出来ないんですよね。

英会話レベルは上がったか？

SmartTutor上での英会話レベル

この4.5か月の中でどの位学習して、今どの位のレベルにあるかがわかる機能があったので、確認してみました。

3232分の学習ということで、53時間位の時間を費やしているようです。ただ、この時間の計算ですが、週替わりの日跨ぎのタイミングできちんとカウントされないバグがあるので、もうちょっと長いかと思います。

で、英会話能力が向上したかといわれると、次の通りです。

まだまだ下から2番目の英会話初級レベルですｗ発音とエナジーはそこそこなのですが、スピーチペースがあがらないことには、このレベルが上がっていかないようですね。

TOEICの結果

SmartTutorの学習効果を確認するべく、2021.10.3の第279回のTOEICに受験してきました。

2018年7月位から受けていなかったので、3年強ぶりの受験です。前回が665点だったので、何点になるでしょうか？

650位のスコアの人間が750のスコアを摂る為には、200時間強の勉強が必要と言われておりますが、SmartTutorの学習時間は約4600分＝76時間の学習ということで、普通に考えると30点上っていればいい位の感じです。

しかし、SmartTutorの売り文句は、学習効果が3倍らしいので、これが正しいとすると750点位取れていてもおかしくないことになります。

テストを受けた結果の感覚としては、リスニングは内容を結構理解出来るようになっているものの、それがスコアに直結しているか？と聞かれると疑問でした。むしろ聞き逃しが結構あって、そこまで自信はない感じです(;´･ω･)

リーディングパートは、心なしか読むスピードが上っていた気がしたのですが、その結果はというと・・・

555点

前回665点だったので、110点のスコア減です( ;∀;)

2018年7月位から全く受験していませんでしたし、TOEIC対策をしてないなかったので仕方ありませんがちょっとショックでした。

ということで、勉強の仕方次第ではあるかもしれないのですが・・・

TOEIC対策としてSmartTutorはあまり効果的ではない

というのが私の結論です。

まとめ

今回は、「Smart Tutor」を毎日利用してきた8ヵ月強の体験の結果をご紹介しました、個人的な感想のまとめは次の通りです。

ネガティブなまとめになっておりますが、個人的にはVRの世界を体験したいという流行り好きの人にはお勧めしますし、あくまでこれらは2021/11/1時点の内容になり、アップデートで改良が加わっていると思われます。
気になった方は、10日間の無料体験が出来ますので、軽い気持ちで一度試してみるといいかなと思います。

ご閲覧ありがとうございました。
ではでは(^^)/