音楽を再生している最中に、突然「プツッ」というノイズが入ったり、一瞬だけ音が途切れたりした経験はないでしょうか。また、電子楽器を演奏したときに、鍵盤を押してから音が聞こえるまでにわずかな遅れを感じることがあります。
これらの問題は、CPUの性能だけで決まるものではありません。コンピューターが、決められた時間内にオーディオデータを処理し続けられるかどうかが重要になります。このように、一定時間内に処理を完了させることを重視する考え方をリアルタイム処理(Real-Time Processing)と呼びます。Oppenheim Willsky 1997Pohlmann 2010
なぜリアルタイム処理が必要なのか
音楽データは、サンプリング周波数に従って一定間隔で生成・再生されます。例えば48 kHzでは、1秒間に48,000個のサンプルを連続して処理しなければなりません。Pohlmann 2010
オーディオシステムでは、この連続したデータの流れを止めることはできません。もし処理が必要なタイミングまでに完了しなければ、その時点で再生すべきデータが不足し、音切れ(Dropout)やクリックノイズが発生します。Watkinson 2001
一般的なオフィスソフトでは、画面表示が数十ミリ秒遅れても大きな問題にならないことがあります。しかし、オーディオでは数ミリ秒程度の遅延や処理失敗でも再生品質へ直接影響する場合があります。そのため、コンピューターオーディオでは処理速度だけでなく、「決められた期限までに処理を終える能力」が重要になります。Pohlmann 2010
リアルタイム処理はシステム全体で実現される
リアルタイム処理は、CPUだけの性能で決まるものではありません。オーディオシステム全体が協調して動作することで実現されます。
システム全体には、次のような構成要素が関係します。
- オペレーティングシステム(OS)
- オーディオドライバー
- オーディオアプリケーション
- CPU
- メモリー
- USBやPCI Expressなどの入出力インターフェース
- オーディオインターフェース
これらのどこか一つでも処理が遅れると、音声データは期限までに届けられません。その結果として、音切れやノイズが発生する可能性があります。
本書では、このような考え方をシステム全体として捉えます。問題が発生した場合も、一つの機器だけを見るのではなく、データがどこを通り、どこで遅延や停止が発生しているのかを順番に確認することが重要です。
後続節との関係
リアルタイム処理を実現するためには、データを一時的に保持するバッファリング、CPUへ処理順序を割り当てるスケジューリング、処理遅延を表すレイテンシーなど、多くの要素が関係します。
これらは相互に関連していますが、それぞれ異なる役割を持っています。以降の節では、それぞれの仕組みを順番に解説し、最終的にコンピューターオーディオシステム全体としてどのように安定したリアルタイム処理を実現しているのかを理解していきます。
まとめ
リアルタイム処理とは、決められた時間内にオーディオデータの処理を完了させることを重視する考え方です。
コンピューターオーディオでは、高いCPU性能だけでは十分ではありません。OS、ドライバー、アプリケーション、ハードウェアが連携し、継続的に期限内で処理を完了することで、音切れやノイズのない安定した再生が実現されます。
参考文献
- [Oppenheim Willsky 1997] Alan V. Oppenheim, Alan S. Willsky, and S. Hamid Nawab. Signals and Systems. 2nd ed., Prentice Hall/Pearson, 1997.
- [Pohlmann 2010] Ken C. Pohlmann. Principles of Digital Audio. 6th ed., McGraw Hill, 2010.
- [Watkinson 2001] John Watkinson. The Art of Digital Audio. 4th ed., Focal Press, 2001.
