このサイトはアフィリエイト広告(PR)を含みます / 18歳未満の方は閲覧できません

2026年11月23日(月) / テクニック

ZONOS2を読む:8BのMoEで作るオープンTTS(TTS論文コラム)

ZONOS2を読む:8BのMoEで作るオープンTTS(TTS論文コラム)

TTS論文コラムZONOS2Zyphra

TTS論文コラムの初回は、ZyphraのZONOS2を取り上げます。オープンソースのTTSとしては最大級のモデルで、キャラチャット向けの音声生成を自前で持つ場合の候補になるかを、論文の記述ベースで整理します。

項目 内容
論文 ZONOS2 Technical Report(arXiv:2606.24320、2026年6月23日投稿、v2が6月25日)
著者 Gabriel Clark ほか5名(Zyphra)
査読 なし(arXivプレプリント/テクニカルレポート)
公開物 重み(Hugging Face)、推論コード(GitHub)、ベンチマーク「ZTTS1-Eval」
ライセンス 重みはApache 2.0(論文・公式ブログの表記)。コードはGitHub上でMIT表記(後述)

著者の主張

  • オープンソースTTSで初めてMoE(Mixture of Experts)を採用した
  • 自然さ・韻律・音声クローンの忠実度でstate-of-the-artを達成した
  • 前世代Zonos-v0.1からの変更は3点:規模(1.6B→8B)、データ(20万時間→620万時間超)、学習レシピの簡略化
  • テキスト入力を音素(G2P)から生のUTF-8バイト列に変え、G2Pの誤変換(コードスイッチ、固有名詞、低資源言語)を回避する
  • ラベル付き話者ペアなしで音声条件付けを行う後学習手法を提案した

モデル構成

項目 内容
総パラメータ 8B
アクティブパラメータ 900M
バックボーン decoder-only Transformer、28層
MoE 専門家16個・top-1ルーティング(最終ブロックのみtop-2)。最初と最後の層はdense
音声コーデック DAC(44.1kHz出力)
テキスト表現 UTF-8バイト列(バイトレベルトークナイザ)
話者条件付け ECAPA-TDNN話者埋め込み。参照音声の書き起こしは不要
その他 発話速度、音質(SNR・帯域など)をトークンで条件付け。「Quality Mode」トークンあり

学習データは620万時間で、公開コーパス、ポッドキャスト、オーディオブック、会話データ、多言語のウェブ音声などです。複数ASRの書き起こしの一致度で低品質な発話を除外する処理が入っています。言語別の内訳は図のみで、数値は論文に記載がありません。

評価結果:著者のベンチマークでは強い

著者が新規提案したベンチマーク「ZTTS1-Eval Clean」(読み上げ音声、9言語、各500発話)でのゼロショット結果です。採点はすべて自動指標で、人手の主観評価(MOS等)の数値は論文にありません。

指標 英語 中国語 日本語 韓国語
WER(%、低いほど良い) 2.76 15.62 8.27 18.96
Quality Mode時のWER 3.99 6.73 7.67 4.14
話者類似度(高いほど良い) 78.6 73.3 81.3 73.3
実音声そのもののWER(参照) 3.53 2.83 4.06 2.88

Quality Modeは、中国語や韓国語ではWERを大きく改善しますが、英語ではWERが悪化します(2.76→3.99)。自発音声の「In-the-wild」評価では逆に全言語で改善し、話者類似度が下がる、というトレードオフが報告されています。

評価結果:既存ベンチマークでは話が違う

同じ論文の既存ベンチマーク(Seed-TTS-Eval、CosyVoice 3 Eval)の結果では、WERでQwen3-TTS 1.7Bに劣る場面があります。ZTTS1-Eval Cleanの同条件比較でも、Qwen3-TTS 1.7BのWERは英語1.94%・日本語3.78%で、ZONOS2(2.76%・8.27%)より良好です。話者類似度ではFish S2 Proが上回る言語もあります。

著者ベンチマークは韻律と生成の多様性を測る指標を新しく入れたもので、ZONOS2はその軸では強く出ます。「どのベンチマークで測るか」で結論が変わる論文なので、数値を引用するときは評価系をセットで見る必要があります。

日本語について

  • 公式の言語サポート表では、日本語はTier 1(英語、中国語と同格)です
  • ただし公式ブログの比較音声は大半が英語で、日本語サンプルは確認できませんでした
  • 評価数値は上表のとおり、WER 8.27%(Quality Modeで7.67%)、話者類似度81.3です。同条件のQwen3-TTS 1.7BはWER 3.78%と上です
  • 学習データに占める日本語の量は未確認です

「日本語対応の格付け」と「日本語の実力」は別物で、日本語の出来は自分で動かして確認する必要があります。

ライセンスの注意点

表記が媒体によって食い違います。

出典 表記
論文・Zyphra公式ブログ 重みとサンプルコードをApache 2.0
GitHubリポジトリ(Zyphra/ZONOS2) リポジトリ表示・READMEともMIT

「重み=Apache 2.0、コード=MIT」という読み方ができますが、公式の単一の説明は確認できていません。どちらでも商用利用は可能な範囲ですが、組み込む前にリポジトリのLICENSEとNOTICEを確認するのが安全です。

自分で確認できたこと、できていないこと

  • 確認できたこと:重みと推論コード、ベンチマークが公開されていること。動作環境はLinux x86_64+NVIDIA GPU+CUDAです
  • できていないこと:実走での音質確認はしていません。8Bの重みは大きく、サーバーレスGPUで1通ごとに生成するキャラチャットの構成では、コールドスタートと単価の検証が先に必要です
  • 公式のホスト版デモ(Zyphra Cloudのaudio-playground)がありますが、日本語の試聴は未実施です

キャラチャット開発への示唆

アクティブ900Mという数字は、8Bモデルでも推論の計算量は1B級に抑えられることを意味します。一方で重み全体をメモリに載せる必要は残ります。バイト入力は、日本語と英語が混ざる台詞や固有名詞でG2Pの事故が起きない点で、キャラ用途と相性がいい設計です。日本語のWERでQwen3-TTSに差がある現状では、即採用ではなく「韻律と多様性が要る場面の候補」として、実走の比較待ちという位置づけが妥当です。

出典:論文(arXiv:2606.24320)、Zyphra公式ブログ、GitHub、Hugging Face

← 記事一覧へ