Unityで自動的にLipSyncが取れるようになったので、システム全体を再考している
外部との通信にSkywayを使おうとか考えていたが、必要なさそうだ
つまり、普通に自分のPCでWebを立ち上げ、htmlにFEEをwebGLで貼り付ければ、たぶん音声に合わせて勝手にLipSyncをしてくれる気がする
あとはFlask + Pythonでhtmlからテキストボックスの中身とかを取り出し、Pythonで処理して、CeVIOに投げれば音声が出る
これで実現できてしまうのでは？
あとは排他制御が必要
FEEはWebに挙げていても、基本的にひとりとしか会話ができない
それはCeVIOがローカルであるため、多音声が出せないはずだ
またPythonでの応答も学習しながらとなると、基本的にひとりを相手にすべきだ
逆に言えば、それは非常にスナックっぽい
FEEがひとりの客の相手をし、周りの客はそれを聞いている
なので、音声やチャットは他の人も見れるが、入力だけは排他にすべきだろう
会話を楽しんでいる姿を見れるのは、他の客の興味を引くのに貢献するだろう
一晩寝て、この方法では問題があることがわかった
ポイントは音声
音声はリアルタイムで送信しなければいけないため、どうしてもストリーミングになる
つまりストリーミングサーバーを自分で立てなければいけない
すなわちWebRTCを自力で立ち上げないといけなくなる
これは無理と判断したので、Skywayにたどり着いたのだが…戻ってしまった
なので、現時点の結論としては
Skywayでroomを改造して、お店を作る
ここに自分のPCからFEEでアクセスする
以前も書いたようにセキュリティを考えると、Skywayのサーバーは外部に置いておきたい
とすると、GitHubとかがサーバーになってくれると助かる
Comments