8Kズーム視聴技術 | NHK技術カタログ

8Kズーム視聴技術

タブレットなどの視聴端末で動画を視聴する際にタッチ操作で好きな領域を拡大しても解像度が低下しない動画視聴Webアプリケーション技術です。8Kコンテンツの高精細な視聴体験を2Kディスプレー等の視聴端末で提供することができます。

利用分野

・8Kコンテンツを活用した配信サービス
・音楽や演劇などのステージ番組配信
・関心領域をズーム視聴できる学習用動画教材

特長

（1）8Kコンテンツの高精細な視聴体験を、2Kディスプレー等の視聴端末で提供できます。
（2）視聴端末へのタッチ操作で画面のズームやパンを行う際の解像度低下を抑制します。
（3）画面のズームやパンに連動して、音声のバランスや残響を制御できます。
（4）ブラウザで動作する技術なので、視聴端末へ専用アプリのインストールは不要です。

技術解説

8K映像のような大容量コンテンツの配信には、広帯域な通信回線や高性能な視聴端末が必要になります。そこで、8K映像を分割・縮小して生成した複数の2K映像ストリームの中から、視聴端末が、ズームやパンなどのタッチ操作に合わせて画面表示に必要な映像ストリームのみを受信して表示することで、配信データ量を削減しつつ8K動画の高精細な視聴体験を提供します。また音声についても、ズームやパンに連動した音声制御により、映像に応じて、音響空間内を移動して聴いているかのような表現が可能です。

（1）映像ストリーム構成
8K映像を①2Kへ変換した映像、②4Kへ変換し2Kサイズを切り出した複数の映像、③変換なしに2Kサイズを切り出した複数の映像の各ストリームを生成して配信サーバーに用意します。視聴端末はタッチ操作に応じて①、②、③からそれぞれ視聴領域を含む映像ストリームを配信サーバーから取得し、3つの映像を重ねて配置し、操作に応じて前面の映像を切替表示することで、高精細な視聴体験を直観的なタッチ操作で実現します。

（2）タッチ操作に連動する音声制御
配信サーバーに、5.1chマルチチャンネル音声ストリームと音楽ホールの残響特性を表すインパルス応答データを用意し、これらを視聴端末が取得して、Web Audio API※ により仮想的な3 次元空間内にマルチチャンネルの各音源とリスナーを配置します。視聴者がタッチ操作により動画のズームやパンを行うと、その移動量に応じてリスナーの仮想的な位置を前後／上下左右へリアルタイムに移動させるとともに、インパルス応答データを用いてリアチャンネルに残響が付加されます。その後、各音源は立体音響を生成する演算によりリスナーの左右の耳に届くステレオ音声に変換されて出力されます。これにより、視聴者は、あたかも音楽ホール内を移動して聴いているかのような効果を体験できます。

※ Web Audio API: ブラウザ上で、音声チャンネルの分離や合成、音量の変更、音響効果の適用などができる、音声を制御する仕組みを提供します。

提供可能な技術

・視聴端末の画面をズーム操作する際、解像度低下を抑制する動画視聴技術
・複数ストリーム間の動画再生タイミングの差異を自動補正する同期再生技術
・動画のズームやパンに連動して、音響空間内の移動を表現する音声制御技術