AIシステム開発
課題・目的に合わせてご提案します。まずはお気軽にご相談ください。
ソリューション一覧AIシステム開発
課題・目的に合わせてご提案します。まずはお気軽にご相談ください。
ソリューション一覧OPEN AI MODEL — nagi.denoise
ノイズが乗った音声のスペクトログラム上で、声の成分がどこにあるかを示すマスクを予測し、元の位相を使って波形に戻します。ボコーダーによる再生成を行わないため声質やイントネーションを変えずにノイズだけを減らせます。設計段階から因果的なので、一括処理・フレーム単位のリアルタイム処理のどちらも同じ重みで動作します。
ABOUT
「声はそのまま、周囲の音だけを減らしたい」という要件に応える、軽量なストリーミング音声ノイズ除去モデルです。
SI-SDR改善
16k-lookahead、下記サンプル(実録音ノイズ)の実測値
処理遅延
16k-lookahead。STFT解析遅延+先読み2フレーム分(+25ms)
計算コスト
16k-lookahead。リアルタイム推論に必要な演算性能(609 MFLOPs/frame × 80fps)
USE CASES
オペレーター側の空調音や周囲の話し声から声を分離し、通話の明瞭度を上げる。
反響やノイズを抑えたうえで音声認識にかけることで、書き起こしの精度を上げる。
因果的でフレーム単位に処理できるため、低遅延なリアルタイム動作を要する機器に向く。
収録現場で入り込んだ環境音を、声質を保ったまま後処理で除去する。
CUSTOMIZATION
用途や搭載先のハードウェアに合わせて、モデル自体を調整して提供できます。
ONNXへエクスポートし、再帰状態(因果的な畳み込みのリングバッファ・GRUの隠れ状態)を明示的に持つストリーミング推論グラフとして書き出せるため、NPU/DSPを搭載した機器への組み込みに対応できます。
24kHz(高品質)と16kHz(低遅延・低負荷)の2系統に加えて、搭載機器の処理能力が限られる場合はさらに軽量化したモデルを用意することも可能です。
実際の使用環境の音声・ノイズを使って再学習することで、想定環境に合わせて精度を高めていくことができます。
lookaheadの幅はモデルの設計段階で決めるパラメータです。先読みを増やすほど、より先の音声情報を使えるぶん品質は上がりますが、その分遅延も増えます。スライダーで、幅を変えた場合の傾向イメージを確認できます。
SAMPLES
ノイズは音声処理の研究で広く使われる実録音コーパス「MUSAN」(複数種の実環境音を抽出・合成)を-3dB SNRで重ね、16k-lookaheadバリアント(complex ratio mask・先読み2フレーム/+25ms)で処理しています。合成ノイズではなく実際の録音なので、より現実に近い挙動を確認できます。