コンピューターは非常に高速な計算能力を持っています。しかし、「高速であること」と「決められた時間までに必ず処理を終えること」は同じ意味ではありません。
例えば、音楽を再生している最中に、突然「プチッ」というノイズが発生した経験はないでしょうか。CPU使用率には十分な余裕があり、パソコン全体も軽快に動作しているにもかかわらず、このような現象が起こることがあります。
この問題を理解するために重要なのが、リアルタイム性(Real-Time Behavior)という考え方です。
コンピューターオーディオでは、平均的な処理速度よりも、「必要な時刻までに必ず処理を完了できること」が重要になります。この性質が十分に満たされていない場合、音声データの供給が途切れ、ドロップアウトやクリックノイズが発生します。Pohlmann 2010Watkinson 2001
なぜ処理速度だけでは十分ではないのか
CPUは毎秒数十億回もの演算を実行できます。しかし、オペレーティングシステムはオーディオ処理だけを実行しているわけではありません。
同時に、
- 画面表示
- ネットワーク通信
- ストレージアクセス
- バックグラウンドサービス
- セキュリティソフト
など、多数の処理が並行して動作しています。
そのため、一瞬だけCPUの実行権が他の処理へ移ることがあります。この遅延が、オーディオバッファーで許容できる時間を超えると、DACへ送る音声データが間に合わなくなります。
つまり、
処理能力が不足したから音が途切れるのではなく、必要なタイミングまでに処理を完了できなかったため音が途切れるのです。Horowitz Hill 2015Pohlmann 2010
リアルタイムシステムでは、この「締切時刻(Deadline)」を守れるかどうかが最も重要な評価指標になります。
オーディオでは一定周期で処理が繰り返される
デジタルオーディオでは、一定量のサンプルをまとめたオーディオバッファー単位で処理が行われます。
例えば、
- サンプリング周波数:48 kHz
- バッファーサイズ:256 Samples
の場合、一つのバッファーには256サンプルが含まれます。
このバッファーが消費される時間は、
となり、約5.33 msごとに新しい音声データを準備する必要があります。Pohlmann 2010
もしDSP処理やOSのスケジューリング遅延によって、この5.33 ms以内にデータ供給が完了しなければ、再生装置は次に出力すべきデータを失い、音切れが発生します。
つまりリアルタイム性とは、
一定時間ごとに繰り返される処理期限を継続的に守り続ける能力
と言い換えることができます。
【リファレンス】
項目:バッファー処理周期
例:
- 48 kHz・64 Samples:約1.33 ms
- 48 kHz・128 Samples:約2.67 ms
- 48 kHz・256 Samples:約5.33 ms
- 48 kHz・512 Samples:約10.67 ms
※実際には処理時間、安全余裕、ドライバー実装なども考慮する必要があります。Pohlmann 2010Watkinson 2001
リアルタイム性はシステム全体で決まる
リアルタイム性はCPUだけで決まるものではありません。
オーディオシステム全体では、
- オーディオアプリケーション
- オーディオAPI
- オーディオドライバー
- オペレーティングシステム
- CPUスケジューラー
- メモリー
- USBコントローラー
- オーディオインターフェース
が連携して音声データを処理しています。
この経路のどこか一か所でも処理が遅れると、全体としてリアルタイム性は失われます。
そのため、CPU性能だけを向上させても必ずしも音切れが解消するとは限りません。ドライバー設計やOSのスケジューリング方式、USB通信、バックグラウンド処理など、多くの要素がリアルタイム性能へ影響します。Pohlmann 2010Horowitz Hill 2015
本書では、以降の章でOSのオーディオアーキテクチャ、USB Audio、バッファリング、スケジューリング、レイテンシーについて詳しく解説し、それらがリアルタイム性へどのように影響するかを順に学んでいきます。
まとめ
リアルタイム性とは、単に処理が高速であることではなく、決められた期限までに処理を確実に完了し続ける能力です。
コンピューターオーディオでは、一定周期で供給される音声データを途切れることなく処理する必要があります。そのため、CPU性能だけでなく、OS、ドライバー、バッファー管理、通信経路を含めたシステム全体の設計が重要になります。
本章で学ぶリアルタイム性は、第4章「リアルタイム処理」で扱うバッファリングやスケジューリングを理解するための基礎となる概念です。
参考文献
- [Pohlmann 2010] Ken C. Pohlmann. Principles of Digital Audio. 6th ed., McGraw Hill, 2010.
- [Watkinson 2001] John Watkinson. The Art of Digital Audio. 4th ed., Focal Press, 2001.
- [Horowitz Hill 2015] Paul Horowitz and Winfield Hill. The Art of Electronics. 3rd ed., Cambridge University Press, 2015.
