バックグラウンドミュージック付きのスピーチ: 生のキャプションとレビューされたキャプションを比較します

ソースと方法

両方の入力に対して、同じ元の英語スクリプトが eSpeak NG で合成されます。再現可能なトーン シーケンスは、文書化されたゲインで 1 つのコピーにミックスされます。 Whisper small は両方を処理します。生のキャプションビデオは混合録画を使用しています。

これらの事例では、オリジナルのスクリプト、合成音声、生成されたトーン、および生成された通知画像が使用されます。ユーザーによるアップロードは含まれていません。インターフェイス言語が変わっても、ソース メディアと認識されたテキストは元の言語を維持します。

オリジナルの入力をダウンロード ↓ · ダウンロード設定 ↓ · ソーステキストをダウンロードする ↓

ソース、認識、レビューを比較する

ソーステキスト

Welcome to Field Notes.
Today Maya explains how a short recording becomes a captioned video.
Check the name Audiosubvideo, the number twenty seven, and the pause between sentences.
Review the words before you export your clip.

クリーンオーディオからの認識

Welcome to Field Notes.
Today my rec explains how a short
recording becomes a captioned
video.
Check the name of the sub -video,
the number 27,
and the pause between sentences.
Review the words before you export
your clip.

クリーンなオーディオをダウンロードする ↓ · クリーンオーディオ認識をダウンロードする ↓

編集されていない認識結果

Welcome to Field Notes.
Today my rec explains how a short
recording becomes a captioned
video.
Check the name of the sub -video,
the number 27,
and the pause between sentences.
Renew the words before you export
your clip.

検討結果

Welcome to Field Notes.
Today Maya explains how a short recording becomes a captioned video.
Check the name Audiosubvideo, the number twenty seven, and the pause between sentences.
Review the words before you export your clip.

レビューされたバージョンでは、均等なタイミングの文境界を持つ元のスクリプトが使用されています。テキストは修正されますが、単語レベルのタイミング精度は確立されません。音楽は出力に残ります。このワークフローでは、ボーカルの分離やノイズの除去は実行されません。

未編集のキャプション付きビデオをダウンロードする ↓ · レビュー済みのビデオをダウンロードする ↓

共有する前に確認すべきこと

どちらの実行でも Maya と Audiosubvideo が誤認識されました。クリーンな録音ではレビューが保存され、混合録音では Renew が生成されました。両方とも 27 を 27 に変換しました。この 1 つの制御された合成比較では、一般的な精度を確立したり、エラーのすべての原因を特定したりすることはできません。

測定と制限

時間は、サービス レベルの約束ではなく、単一のビルド実行について説明します。オーディオのケースはビルド コンピューターで測定されます。イメージ OCR は、Linux デプロイメント イメージで測定されます。アップロード時間と共有処理キューは除きます。

認識時間

3.98 s

レンダリング時間

2.58 s

処理エンジン

faster-whisper small / CPU int8

これは製品のデモンストレーションであり、精度のベンチマークやお客様の声ではありません。