萎えて再び検索 「SFU（Selective Forwarding Unit）サーバは、多人数通話や映像配信を実現します」 SkywayのHPで見つける WebRTCでキャスしよう！片方向リアルタイム映像配信を作ろう | HTML5Experts.jp...

サーバーをどう実現するかを悩んでいる 本来は自分のPCにサーバー機能を有し、1：多で配信をしたい その中でチャットのみ1：1に制限をかけ、そのチャットで入力された文言を元に回答を創造し、テキストで返信するとともに、合成音声を発声させ、Feeに口パクをさせながら、全員に配信す...

Back Endもできたことだし、あとはSkywayで接続して、webRTCで…とか考えていたが…検索すると恐ろしいものが出てくる 30分以内にUnityにPhoton Chatを使ってチャット機能を導入する - Qiita...

CeVIOで音声合成し、Unityで口パクして、BGMも追加して、仮想カメラ/マイクとして出力する…ここまでがなんとかできたっぽい！ 以下に設定をアップしておく 様々な部分は時間をかけてTuneすればOK ここからSkywayへの接続に入るぞ…と気合をいれていたが、何もせず...

こんなものを発見 3teneを使って合成音声でリップシンクさせるのと、OBS Studioの同期オフセットを調整して声とリップのタイミングを合わせる実験をしてみました。 | みくねのぶろぐ＠カチュアさんの動画 (mikune.com) まずはミキサーを取得 VB-Audio...

システムがだいぶ見えてきた ここでいくつか必要なものがある Unityがカメラ出力として認識され、Skywayにつながること CeVIO出力がマイクとして認識され、Skywayにつながること このあたりはローカルでも確認できそうだ まずはUnityがカメラ出力になれるかだ...

Unityで自動的にLipSyncが取れるようになったので、システム全体を再考している 外部との通信にSkywayを使おうとか考えていたが、必要なさそうだ つまり、普通に自分のPCでWebを立ち上げ、htmlにFEEをwebGLで貼り付ければ、たぶん音声に合わせて勝手にLi...

頭をリセットして、もう一度挑戦 自分のPCがhttpsサーバー化しているので、htdocsにサンプルソフトを配置し、 EdgeでLocalhostをアクセス Edgeを別Windowで起動して、同様にLocalhostをアクセス 相手側の「Your...

これができると、いままでやってきたことは無になる部分が多いが、 全体のシステムとしては非常に美しくなる つまり、バックエンドのFEE表示部分が独立した形になり、勝手にLip Syncを合わせて口パクしてくれるようになるということ...

Unityでまばたきも呼吸もできるようになったのだが、もう少し進めてみよう まずは音声 FEE用の音声をwavで作ったので、これを再生させよう 【初心者向け】Unityで音楽・サウンドを再生する方法の5つのステップ | FREE SWORDER...

最終的にはSkywayとかで1：1のビデオ通信でVirtual Snackを実現しようとしているので、そもそもCubism SDKはWeb版である必要はない SDKがうまくSkywayにつながればいいだけの話なので、ちょっとUnity版にトライしてみる...

Pythonとjavascriptの連携をやっているが、なかなかうまくいかない いまはFlaskを使ってPythonとjavascriptをつなげようとしているが、これもまだできていない 片や、CeVIO AIのリップシンクが大幅にずれる（プリレンダリングに時間がかかる）問...

ここらでいったん落ち着いて、今後の作戦を考えよう データの流れを見ると 1：htmlテキストボックスから、Pythonへ送信 2：Pythonで構文解析と応答作成 3：Pythonから音声合成呼び出し 4：PythonからJava scriptを呼び出し 5：Java...

CeVIOとPythonの連携を検討しようとしたが、体験版が期限切れで動かないので、この際意を決して購入に踏み切る しかし購入後に10％割引チケットがあったことが判明し、涙する Visual StudioはCeVIO CSなのでCeVIO AI向けに一部書き直し...

htmlのテキストボックスから、Vueを経由して、Java scriptに入力文章が送られる これがJava scriptからPythonに送られ、言語処理をしてひらがなの返答を生成する これをCeVIOに入力し、発音のローマ字列とタイミングテーブルを得る...

lappmodel.tsの以下の部分をコメントアウトしてみた /*this._model.loadParameters(); // 前回セーブされた状態をロード if (this._motionManager.isFinished()) { //...

デバッグの王道である、Writeができているかどうか、Readしようを実践 var ida = this._model.getParameterValueById(live2dcubismframework_1.CubismFramework.getIdManager()....

lappmodel.tsの中で、 // ドラッグによる目の向きの調整 this._model.addParameterValueById(this._idParamEyeBallX, this._dragX); // -1から1の値を加える...

まずlapplive2dmanager.tsのここに注目した for (let i = 0; i < this._models.getSize(); i++) { if (this._models.at(i).hitTest(LAppDefine.HitAreaNameHe...

テクスチャアトラスのウインドウの一番下にOKボタンがあるとは思わず、ずっと実現できなかった（涙）が… まずはFEEの頭の部分を当たり対象とし、Viewerで「Head」という名前をつける 当たり判定の設定準備 | Live2D Manuals & Tutorials...