top of page
CSS/javascript/htmlと格闘中
まず16:9で表示されない 散々いじった結果、たぶん640x480で送信していると考えられる OBSで送信しているつもりだったが、そうではない様子 なので、OBSをVirtual Camera化する以下のものを使った OBS を仮想カメラとして認識させる...

snackvirtual
2022年8月13日読了時間: 1分


PC負荷
配信すると音声合成のときに停止したりするので、PCのパフォーマンスを確認してみた プロセッサ:Intel(R) Celeron(R) J4115 CPU @ 1.80GHz 1.80 GHz メモリ:8GB まず実際の配信中のPC負荷 全部動かすと100%オーバー...

snackvirtual
2022年8月13日読了時間: 1分


音声系の修復
実際に配信させてみると、なんかおかしい 音声系がぐちゃぐちゃになっている感あり 結局ポイントは、Unityが動いている間に音声経路を変更すると、おかしな部分でLoopしてしまい、音声が異常になっていた ついでにわかりずらい音声系を再度まとめた ポイントは、...

snackvirtual
2022年8月13日読了時間: 1分


Skywayで片方向配信を目指す その1
自宅PCだけでSkywayを使って1:多の動画配信を比較的簡単にできるか? である このWebを参考にした SkyWayの利用可能ドメイン指定とlocalhostでのデバックについて - Skyway Walkers (hateblo.jp) まず確認したいのは、...

snackvirtual
2022年8月11日読了時間: 2分


再びSkywayへ戻る
萎えて再び検索 「SFU(Selective Forwarding Unit)サーバは、多人数通話や映像配信を実現します」 SkywayのHPで見つける WebRTCでキャスしよう!片方向リアルタイム映像配信を作ろう | HTML5Experts.jp...

snackvirtual
2022年8月10日読了時間: 1分
SkywayじゃなくてTwich?→中止
サーバーをどう実現するかを悩んでいる 本来は自分のPCにサーバー機能を有し、1:多で配信をしたい その中でチャットのみ1:1に制限をかけ、そのチャットで入力された文言を元に回答を創造し、テキストで返信するとともに、合成音声を発声させ、Feeに口パクをさせながら、全員に配信す...

snackvirtual
2022年8月10日読了時間: 1分


photon導入?→中止
Back Endもできたことだし、あとはSkywayで接続して、webRTCで…とか考えていたが…検索すると恐ろしいものが出てくる 30分以内にUnityにPhoton Chatを使ってチャット機能を導入する - Qiita...

snackvirtual
2022年8月8日読了時間: 1分


Back Endいったん完成!
CeVIOで音声合成し、Unityで口パクして、BGMも追加して、仮想カメラ/マイクとして出力する…ここまでがなんとかできたっぽい! 以下に設定をアップしておく 様々な部分は時間をかけてTuneすればOK ここからSkywayへの接続に入るぞ…と気合をいれていたが、何もせず...

snackvirtual
2022年8月8日読了時間: 1分


CeVIOをUnityに接続する
こんなものを発見 3teneを使って合成音声でリップシンクさせるのと、OBS Studioの同期オフセットを調整して声とリップのタイミングを合わせる実験をしてみました。 | みくねのぶろぐ@カチュアさんの動画 (mikune.com) まずはミキサーを取得 VB-Audio...

snackvirtual
2022年8月8日読了時間: 1分


Unityをカメラ出力として認識させる
システムがだいぶ見えてきた ここでいくつか必要なものがある Unityがカメラ出力として認識され、Skywayにつながること CeVIO出力がマイクとして認識され、Skywayにつながること このあたりはローカルでも確認できそうだ まずはUnityがカメラ出力になれるかだ...

snackvirtual
2022年8月7日読了時間: 1分
全体システム
Unityで自動的にLipSyncが取れるようになったので、システム全体を再考している 外部との通信にSkywayを使おうとか考えていたが、必要なさそうだ つまり、普通に自分のPCでWebを立ち上げ、htmlにFEEをwebGLで貼り付ければ、たぶん音声に合わせて勝手にLi...

snackvirtual
2022年8月6日読了時間: 2分


再びSkywayに挑戦
頭をリセットして、もう一度挑戦 自分のPCがhttpsサーバー化しているので、htdocsにサンプルソフトを配置し、 EdgeでLocalhostをアクセス Edgeを別Windowで起動して、同様にLocalhostをアクセス 相手側の「Your...

snackvirtual
2022年8月4日読了時間: 1分
UnityでLip Sync
これができると、いままでやってきたことは無になる部分が多いが、 全体のシステムとしては非常に美しくなる つまり、バックエンドのFEE表示部分が独立した形になり、勝手にLip Syncを合わせて口パクしてくれるようになるということ...

snackvirtual
2022年8月4日読了時間: 1分
もうちょっとUnity
Unityでまばたきも呼吸もできるようになったのだが、もう少し進めてみよう まずは音声 FEE用の音声をwavで作ったので、これを再生させよう 【初心者向け】Unityで音楽・サウンドを再生する方法の5つのステップ | FREE SWORDER...

snackvirtual
2022年8月3日読了時間: 1分
気分を変えて、Cubism SDK for Unityに挑戦
最終的にはSkywayとかで1:1のビデオ通信でVirtual Snackを実現しようとしているので、そもそもCubism SDKはWeb版である必要はない SDKがうまくSkywayにつながればいいだけの話なので、ちょっとUnity版にトライしてみる...

snackvirtual
2022年8月3日読了時間: 2分
煮詰まり気味
Pythonとjavascriptの連携をやっているが、なかなかうまくいかない いまはFlaskを使ってPythonとjavascriptをつなげようとしているが、これもまだできていない 片や、CeVIO AIのリップシンクが大幅にずれる(プリレンダリングに時間がかかる)問...

snackvirtual
2022年8月2日読了時間: 1分
ちょっと一段落
ここらでいったん落ち着いて、今後の作戦を考えよう データの流れを見ると 1:htmlテキストボックスから、Pythonへ送信 2:Pythonで構文解析と応答作成 3:Pythonから音声合成呼び出し 4:PythonからJava scriptを呼び出し 5:Java...

snackvirtual
2022年7月21日読了時間: 1分


CeVIO AI 夏色花梨を購入
CeVIOとPythonの連携を検討しようとしたが、体験版が期限切れで動かないので、この際意を決して購入に踏み切る しかし購入後に10%割引チケットがあったことが判明し、涙する Visual StudioはCeVIO CSなのでCeVIO AI向けに一部書き直し...

snackvirtual
2022年7月21日読了時間: 1分


Java Script内でタイマー処理で母音を口パク
htmlのテキストボックスから、Vueを経由して、Java scriptに入力文章が送られる これがJava scriptからPythonに送られ、言語処理をしてひらがなの返答を生成する これをCeVIOに入力し、発音のローマ字列とタイミングテーブルを得る...

snackvirtual
2022年7月21日読了時間: 2分


パラメータ設定にトライしよう その5
lappmodel.tsの以下の部分をコメントアウトしてみた /*this._model.loadParameters(); // 前回セーブされた状態をロード if (this._motionManager.isFinished()) { //...

snackvirtual
2022年7月19日読了時間: 1分
bottom of page