Ynnk Voice Lipsync

Yuri N Kalinin - 6月 23, 2021

Create lip-sync animation from audio

  • サポートされたプラットフォーム
  • サポートされたエンジンバージョン
    4.26
  • ダウンロードのタイプ
    エンジン プラグイン
    この製品には、コード プラグインが含まれており、ビルド済みのバイナリと Unreal Engine に統合される全ソースコードが完備されています。任意のエンジン バージョンにインストールし、プロジェクト毎に有効化することが可能です。

This plugin uses voice recognition engine to generate lip-sync animation from SoundWave assets or PCM audio data. Animation is saved as curves in data assets and can be played in runtime together with audio. This approach allows to achieve well-looking lip-sync animation easily without subtitles.


Video

テクニカルノート

Unlike text-to-lipsync solution, this is true voice-to-lipsync plugin. You don't need subtitles to get lips animatied, and resulted animation is much closer to speech then in case of subtitles-based solution.


Lipsync can be generated in runtime, but not in real-time.


Supported languages: English, partially Russian.


Features:

  • subtitles aren't needed;
  • can process procedural SoundWave objects created in runtime;
  • lip-sync to animation curves or morph targets;
  • asynchronous audio recognition and building lip-sync. 

Code Modules:

  • YnnkVoiceLipsync (Runtime)
  • YnnkVoiceLipsyncUncooked (UncookedOnly) 

Number of Blueprints: 0

Number of C++ Classes: 8

Network Replicated: No

Supported Development Platforms: Windows x64

Supported Target Build Platforms: Windows x64

Documentation: [Doc]

Example Project: [Basic 4.26] [MetaHuman]

Executable Demo: [ZIP]