オーディオインターフェースのバッファサイズを小さくするとレイテンシーは短くなります。しかし、その状態でEQやコンプレッサー、リバーブなどのプラグインを多数使用すると、音が途切れたりノイズが発生したりすることがあります。
これは、DSP(Digital Signal Processing:デジタル信号処理)の計算が、決められた時間内に完了しなかったためです。リアルタイムオーディオでは、CPUはバッファごとに到着する音声データを期限内に処理し、次の処理段階へ渡さなければなりません。期限を超えた計算結果は使用できず、結果としてドロップアウトやクリックノイズが発生します。Pohlmann 2010Watkinson 2001
なぜDSPは時間制約を受けるのか
リアルタイムDSPでは、入力されたデジタル音声データに対して、一定時間内に演算を完了する必要があります。処理内容には、イコライザー(EQ)、ダイナミックレンジコンプレッサー、ディレイ、リバーブ、クロスオーバー、サンプリングレート変換(SRC)などがあります。
例えば、48 kHzで256サンプルのバッファを使用している場合、1回の処理に許される時間は約5.33 msです。
- :1バッファ当たりの処理時間(s)
- :バッファサイズ(samples)
- :サンプリング周波数(Hz)
CPUは、この時間内にすべてのDSP演算を終了しなければなりません。処理時間がこれを超えると、次のバッファの処理開始時刻に間に合わず、オーディオストリームが途切れます。Oppenheim Schafer 2010Pohlmann 2010
DSP負荷は処理内容によって大きく異なる
DSPの負荷は、プラグインの数だけでは決まりません。同じ1つのプラグインでも、内部アルゴリズムによって必要な計算量は大きく異なります。
IIRフィルターを用いた一般的なEQは比較的軽い処理ですが、長いFIRフィルターを用いるリニアフェーズEQや、高品質な畳み込みリバーブは大量の乗算・加算演算を必要とします。また、オーバーサンプリングや高精度の非線形モデリングを用いるエフェクトでは、CPU負荷が急激に増加することがあります。Oppenheim Schafer 2010Smith Filters
さらに、複数のプラグインを直列に接続すると、それぞれの処理時間が積み重なります。そのため、CPU使用率が100 %に達していなくても、リアルタイム処理の締切を守れず、音切れが発生する場合があります。
リアルタイムDSPを安定させる考え方
実時間DSPを安定して動作させるためには、CPU使用率だけではなく、「処理期限を守れているか」という観点でシステム全体を評価することが重要です。
録音時や演奏時には、小さなバッファサイズを維持するため、必要最小限のDSPだけを有効にすることが一般的です。一方、ミックスやマスタリングでは多少のレイテンシーが許容されるため、バッファサイズを大きく設定し、高負荷なDSP処理を使用できます。
このように、リアルタイム性能と演算負荷のバランスを用途に応じて調整することが、安定したコンピューターオーディオシステムを構築する基本となります。Pohlmann 2010Watkinson 2001
まとめ
実時間DSPでは、CPUは各バッファに対する信号処理を決められた時間内に完了させる必要があります。処理時間が期限を超えると、CPU使用率に余裕があるように見えてもドロップアウトが発生することがあります。そのため、リアルタイムオーディオでは平均的なCPU負荷だけでなく、各バッファ処理の締切を確実に満たすことが重要です。
参考文献
- [Pohlmann 2010] Ken C. Pohlmann. Principles of Digital Audio. 6th ed., McGraw Hill, 2010.
- [Watkinson 2001] John Watkinson. The Art of Digital Audio. 4th ed., Focal Press, 2001.
- [Oppenheim Schafer 2010] Alan V. Oppenheim and Ronald W. Schafer. Discrete-Time Signal Processing. 3rd ed., Pearson, 2010.
- [Smith Filters] Julius O. Smith III. Introduction to Digital Filters with Audio Applications. W3K Publishing / CCRMA.
