VoxCPM2

VoxCPM2よくある質問

VoxCPM2とは何ですか、他のTTSモデルとどう違いますか？

VoxCPM2はOpenBMBが開発した20億パラメータのオープンソーストークナイザーフリーテキスト音声変換モデルです。従来のTTSシステムとは異なり、VoxCPM2は拡散自己回帰アーキテクチャを使用して連続音声表現を直接生成します。VoxCPM2はテキスト記述からのゼロショット音声デザインと制御可能な音声クローニングをユニークに組み合わせ、参照音声なしの音声デザイン、スタイル制御付きの制御可能なクローニング、最大忠実度のためのトランスクリプトガイダンス付きの究極のクローニングの3つの異なるモードを提供します。

VoxCPM2はどの言語をサポートしていますか？

VoxCPM2は30言語をサポートしています：アラビア語、ビルマ語、中国語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、インドネシア語、イタリア語、日本語、クメール語、韓国語、ラオ語、マレー語、ノルウェー語、ポーランド語、ポルトガル語、ロシア語、スペイン語、スワヒリ語、スウェーデン語、タガログ語、タイ語、トルコ語、ベトナム語。VoxCPM2には広東語、四川語、呉語、東北語、河南語、陝西語、山東語、天津語、閩南語の中国語方言サポートも含まれています。VoxCPM2はほとんどの場合、入力言語を自動的に検出します。

VoxCPM2の音声デザインは参照音声なしでどのように機能しますか？

VoxCPM2の音声デザインモードはゼロショット学習を使用して、自然言語記述から全く新しい音声を作成します。テキストの先頭に括弧で希望する音声特性（性別、年齢、アクセント、ピッチ、話し方など）を記述するだけで、VoxCPM2は一致する音声を即座に合成します。これにより、音声タレント録音や参照音声収集の必要性がなくなり、キャラクター開発、ブランド音声、クリエイティブプロジェクトのためのカスタム音声作成がアクセス可能になります。

VoxCPM2はどのような音質を生成しますか？

VoxCPM2はプロフェッショナルなメディア制作に適したスタジオ品質の48kHzオーディオを出力します。VoxCPM2は16kHz参照音声を受け入れ、内蔵スーパーレゾリューションで48kHzを出力する非対称エンコード/デコードアーキテクチャを持つAudioVAE V2を使用します。この高忠実度出力により、外部アップサンプリングや後処理の必要性がなくなります。VoxCPM2はSeed-TTS-eval、CV3-eval、InstructTTSEvalを含む主要なTTSベンチマークで最先端の結果を達成します。

VoxCPM2のハードウェア要件は何ですか？

VoxCPM2はbfloat16精度の20億パラメータモデルで推論に約8GB VRAMが必要です。VoxCPM2はRTX 4090 GPUで0.30のRTFを達成し、より高速な生成のためのNano-VLLM最適化で0.13を実現します。最小要件はPython 3.10以上、PyTorch 2.5.0以上、CUDA 12.0以上です。VoxCPM2はコンシューマーグレードのGPUで実行でき、エンタープライズインフラストラクチャなしで個人開発者と小規模チームがプロフェッショナルな音声合成にアクセスできるようにします。

VoxCPM2は商用プロジェクトで無料で使用できますか？

はい、VoxCPM2はApache 2.0ライセンスの下で完全にオープンソースであり、個人および商用利用の両方が可能です。Hugging FaceからVoxCPM2モデルウェイトをダウンロードし、自分のインフラストラクチャに展開し、特定のニーズに合わせてカスタマイズできます。VoxCPM2は音声適応のための教師あり微調整（SFT）とLoRAによる微調整をサポートします。OpenBMBはVoxCPM2のAPIフィーや使用制限なしで完全なドキュメント、コード、モデルウェイトを提供します。

VoxCPM2で感情と話し方を制御できますか？

はい、VoxCPM2の制御可能なクローニングモードは音声属性の細かい制御を提供します。参照音声から元の音声音色を保持しながら、感情、ペース、ピッチ変化、話し方を調整できます。VoxCPM2は音声特性を操作するための自然言語制御指示を受け入れます。制御可能な生成結果は実行間で異なる場合があることに注意してください。VoxCPM2開発者は、制御可能性の一貫性を改善し続けているため、希望する音声またはスタイルを達成するために1〜3回生成することを推奨しています。