360度動画のサラウンド再生について勉強する機会があったので、まとめておきます。
Ambisonics アンビソニック 概要
4chのマイクを正四面体の配置に並べて、頭をぐるぐるまわしてパンニングが変わっても再生できるって技術です。
Ambisonicsの概要はこち らが非常にわかりやすいです。
- 徳井直生さん 360度動画のためのAmbisonicsマイクを開発中! 「百見は一聞に如かず」
- サラウンド寺子屋 AMBISONICの原理と制作の実際 1992年 Ambisonic 資料より
実はYoutube でも、PC版Chrome , Android 版で見るとこの方式のオーディオにも対応していました。
Spatial Audio対応の動画リスト 。
Youtube に対応動画をアップロードする方法はこちらにまとまってます。
またAdobe PremiereにVST プラグイン を入れて動画と一緒に書き出すこともできるみたい。
ただ、ただ録音するだけではなく、あとから、効果音や、ピンマイクの音声をVR動画上に配置したいこともあるとおもいます。
そのようの編集には最近Facebook に買収されたこれが良さげ。太っ腹の無料公開。Facebook 360 Spatial Workstation
VST プラグイン で音を配置できて、Ambisonicsの書き出しにも対応しているぽいです。
VIDEO
有料プラグイン の中には動画の中に音を配置するかのように使えるProTools 用の360panというプラグインもあった
Youtube とかで対応しているA-Format、B-Formatって?
結構躓くところが、正四面体のマイクで録音した4chそのままは、A-Formatと言われて、そのままではYoutube へアップロードできないです。
Youtube へは、1次フォーマット a.k.a. B-Formatへ変換する必要があるらしい
B-Formatの内容
チャンネル
内容
W
位相差のないモノラル成分
X
Wに対する左右差成分
Y
前後差成分
Z
上下差成分
ポイントは、XYZは、差分成分のみということだなと。
こうすることで、4ch再生対応していない場合は、Wのみ再生すればよくなるみたい。
更にBGMを載せたいってときにWだけに乗せれば良くなったりするんでないでしょか?
4分割より細かい粒度で再現できる高次フォーマットもあり、Youtube で対応しているのは図の2段目までということ。
Wikipediaより
動画
360度な映像をTheta などで撮影してアップロード
YouTube にメタデータ を対応させるには360 Video Metadata ダウンロード ってソフトでメタデータ をいれてアップロードすると、15分くらいの変換時間のち、ぐるぐる回ったりカードボードで見れる映像になったりします。
メモ: Youtube から4k動画のダウンロード
youtube-dl -k -f ' bestvideo+bestaudio/best ' " url "
で、mkv コンテナに動画4k mp4, 音声 4ch webmで入る。
*mkv フォーマットとは? Matroska - Wikipedia
結構めんどいのが、あまり4chオーディオはやらないだけあって、ffmpeg を色々使うことに。ので使ったコマンドをメモ。
ffmpeg -i sample.webm -map_channel 0.0.0 sample1.wav -map_channel 0.0.1 sample2.wav -map_channel 0.0.2 sample3.wav -map_channel 0.0.3 sample4.wav
ffmpeg -i sample1.wav -i sample2.wav -i sample3.wav -i sample4.wav -filter_complex " [0:a][1:a][2:a][3:a]amerge=inputs=4[aout] " -map " [aout] " output.wav
ffmpeg -i sample.mp4 -i sample.wav -c :v copy -c :a aac -strict experimental output.mp4
Unityでの再生もやったのですが、長くなったのでひとまずここまでで。