こんにちは。こあべです。
先日、落合陽一氏のテレカンファレンス画面へのリアルタイム字幕表示が大いに盛り上がりましたね。
#xdiversity @xdiversity_org #stayhometokyo #音声文字変換 pic.twitter.com/VNKQcZONsR
— 落合陽一 (@ochyai) 2020年5月13日
こちら、Google音声文字変換アプリをOBS ”Open Broadcaster Software”：スイッチャーの仮想カメラに接続し、リアルタイム表示に見せる手法をとっていたとか。
しかしこれでは準備が大変…
今回は、この代替サービスを探してみました。
今日のメニュー！
代替手段の目的を定義する
まず、今回の「テレカン字幕」
こちらも友人からの「これ何なん？」をいただいたものです。
依頼人は教育関係で遠隔授業を学生に届けている方。
Mac/ iPhone環境でSkypeの利用が主とのことで私手持ちのChromebookでは動作検証ができません。
そのため、検証はお願いするとして
・準備が少なくて済む
・授業での一方向（講義型）発信対応可
・学生に授業の記録を残せる
ことを条件とし、ライブキャプションを叶えられる手段を調査してみました。
候補１：Speech to Text Webcam Overlay
Chromeベースのライブキャプションサービスを見つけました。
驚きました…
もともとの発信があった #xdiversity をTwitterで検索したところ、既にパッケージで作り上げている方がおられたのです。
音声認識からWebカメラ映像への字幕合成までをGoogle Chrome だけでやってくれるWebページをつくってみました！ #xDiversity
— Ippei Suzuki (@1heisuzuki) 2020年5月20日
ブラウザを画面共有 or OBS等でキャプチャーすればビデオ会議に字幕付きで参加できます。
↓Webページhttps://t.co/xlGX4jkIJn pic.twitter.com/Y1ju1wfUvq
ー機能概要ー
Speech to Text Webcam Overlay
・OSの制限無し。Chrome上で動作。
・ページにアクセスし、カメラ、マイクの使用権限を付与すると認識開始。
・発現ログが残る。発話内容テキストデータダウンロード可能。
・テレカンのサービス画面上では使用不可 （Chrome上でのみ動作するので画面共有が必要）
・共有中に別タブを表示するとキャプション非表示。（音声認識は継続。内容のログが残る。）
・ログが学生へのアフターフォローにも重宝するかも？
・授業で使用する場合は、講義形式での一方向使用がメインとなりそう。
現状、いちばん手間無しで導入できそうですね。
更に発展させた使い方も
このサービスを元にOBSを噛ませてリアルタイム配信する手法もあるようです。
【MacBookのみで環境構築できました！】
— 石川廉｜Len Ishikawa (@len_twins) 2020年5月22日
前回試した #音声文字変換 の同時テロップ表示の実験はAndroidのスマホが必要だったんですが…
なんと、@1heisuzuki さんが作ってくれたツールを使えば、Chromeだけで環境が構築できます！ありがとうございます…！ #xdiversity pic.twitter.com/4ssW8vzMma
おもしろそうで仕方ありません。
しかし配信に縁の無い私にとってOBSは未知の領域。勉強しないと。
個人的アイディア
・Speech to Text Webcam OverlayのChromeタブをQuickTime Playerで動画キャプチャすると字幕動画が撮影できそう
これは授業面から見ると事前の教材作成ができそうです。
同じような手法で、
・プレゼンの読み上げをキャプチャし、テキストログをレジュメにササッと作り変える
これは音声文字変換でできるか笑
この音声文字変換術、学生さんでも使える手法かもしれません。
候補２：サービス純正字幕機能
Zoom
人力での入力（！）とAPIを使用したサードパーティサーピスとの紐付けが可能なようです。REST APIとか難しそう…
Teams
現時点（2020.05.26）で英語でのみ提供中
Skype
主力と思われるサービスについて、キャプション機能は備わっておりユニバーサルデザインとして最低限は満たすように思いますが、
・ログが取れないこと
・使い方に拡張性が乏しいこと
から実用は難しそうです…
３．その他の候補
・従来の「Google音声文字変換」＋「OBS」のMac関係Howto（参考）
準備が必要とはいえ、テレカンへのライブキャプション挿入方法の始祖はこの方法です。
・音声文字変換をそのまま使用する方法
「Google音声文字変換」アプリを起動したスマホの画面をテレカンカメラに映しましょう（笑）
もうデジタルでアナログを地で行くのもいいかも知れない。ログ取れるし←
これもひとつの方法か…！
今回の参考資料
PC＋Android＋無料のツールだけで自動音声認識による字幕付き配信（ウェブ会議）をおこなう方法を紹介してみました。広く普及して常識になって欲しい（すべてのウェブ会議システムがデフォルトで対応してくれてこの動画が無駄になることを希望）。 #xdiversity pic.twitter.com/yhuT5HISxW
— Yoshiki NAGATANI (@nagataniyoshiki) 2020年5月18日
iOSでもできる！PC＋iPhone＋無料ツールで字幕付きZoomや配信をする方法
情報管理LOG様
（なるほど、UDトークを使う方法もあるのですね…！！）
全てが無料。テレビ会議での発言をリアルタイムで字幕化し、画面にかぶせるシステム【やじうまWatch】 - INTERNET Watch
最後に
以前、「ウェブミーティングツール、こんな機能がほしい」のような記事をチラ見した覚えがあるのですが、その中にもキャプションの話題が上がっていたように思います。
今回これだけの需要が示されたので、今後もアプリや機材を噛ませないサービスとしての機能が個人レベル、公式から必ず発表・実されると考えます。
アンテナを張るに越したことはないですね。テレカンスキルはこれからも必ず使えるものですし。
今回は「こんな機能があるらしい」という紹介記事止まりで、実際の運用は未知数ですが、誰かのお役に立てれば幸いです。
