360 -Streaming & VR-Broadcasting - 360 -Realaufnahmen erzeugen, transportieren & wiedergeben - VDC Fellbach
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Leitfaden 360°-Streaming & VR-Broadcasting 360°-Realaufnahmen erzeugen, transportieren & wiedergeben Stand: v16. 11.02.2021
Inhaltsverzeichnis
1 Einführung - Aufgabenstellung ................................................................................................... 4
2 Fragen zur Auswahl des passenden Mediums ........................................................................... 5
3 Aufnahme: Kamera-Vergleich .................................................................................................... 7
4 Live: Streaming ......................................................................................................................... 12
4.1 Überblick Streaming ......................................................................................................... 12
4.2 Encoder-Hardware ............................................................................................................ 12
4.3 Encoder-Software ............................................................................................................. 13
4.4 Streaming-Plattformen ..................................................................................................... 13
4.5 Audio im Streaming: Konfliktpunkte und einfache praktische Audio-Lösungen .............. 14
4.6 Hands-On: 360°-3D-Streaming mit YouTubeVR am VDC .................................................. 18
a) Video ............................................................................................................................ 18
b) Audio ............................................................................................................................ 20
5 Aufzeichnungen: Medienformate und -eigenschaften ............................................................ 21
5.1 Stitching ............................................................................................................................ 21
5.2 Meta Data Tagging ............................................................................................................ 22
5.3 Bilddateien verarbeiten .................................................................................................... 23
a) Datenformate von stereoskopischen und sphärischen Bilddateien ........................... 23
b) Qualifizierung von stereoskopischen und sphärischen Bilddateien ............................ 24
c) Meta Data Injection für Bilddateien ............................................................................ 25
5.4 Filmdateien verarbeiten ................................................................................................... 28
a) Datenformate von stereoskopischen und sphärischen Filmdateien ........................... 28
b) Qualifizierung von stereoskopischen und sphärischen Filmdateien ........................... 28
c) Meta Data Injection für Filmdateien ........................................................................... 28
6 Wiedergabe: Endgeräte und Software ..................................................................................... 29
7 Dienstleister im Segment VR-Broadcasting .............................................................................. 34
8 Literatur .................................................................................................................................... 36
9 Impressum ................................................................................................................................ 37
10 Förderhinweis ........................................................................................................................... 37
2
Abbildungsverzeichnis
Abbildung 1: Fragen zur Verfahrenswahl .....................................................................................5
Abbildung 2: Anwendungsbeispiele für Stereo-3D, (sphärische) Panoramen und
Streaming ................................................................................................................6
Abbildung 3: 360- und Stereokamera-Vergleich ....................................................................... 11
Abbildung 4: Streaming-Encoder-Hardware ............................................................................. 12
Abbildung 5: Streaming-Encoder-Software............................................................................... 13
Abbildung 6: Streaming-Plattformen ........................................................................................ 13
Abbildung 7: Legende zu Schemata der Audio-Schaltungen .................................................... 14
Abbildung 8: Störendes Übersprechen beim Nebeneinandersitzen in einer
Videokonferenz .................................................................................................... 14
Abbildung 9: Übersprechen bei Betrieb von Videokonferenz- und 360°-Kamera-
Software auf einem Rechner mit Lautsprecher ................................................... 15
Abbildung 10: Einfacher möglicher Aufbau mit beweglicher 360°-Kamera, zwei
Mikrofonen und beweglichem Videokonferenzmoderator ................................. 15
Abbildung 11: Möglicher Aufbau mit einem zentralem Mikrofon ............................................. 15
Abbildung 12: Mobiler "Reporter" unterstützt Moderator ........................................................ 16
Abbildung 13: Audio-Lösung 1 mit Mischpult und externer Soundkarte.................................... 16
Abbildung 14: Möglicher Konflikt bei Betrieb einer externen Soundkarte ................................. 16
Abbildung 15: Audio-Lösung 2 mit eigener Videokonferenz-Teilnahme der 360°-Kamera
und mobilem Reporter per Tablet PC und Audio-Headset. ................................. 16
Abbildung 16: Insta360Pro-Anwendung am VDC........................................................................ 18
Abbildung 17: 360°-Kamera am VDC........................................................................................... 18
Abbildung 18: Start mit YouTube-Studio..................................................................................... 18
Abbildung 19: Stream-URL und Streamschlüssel werden aus YouTube Studio kopiert ............. 19
Abbildung 20: YouTube Studio zeigt den Stream der Kamera und ist zum Senden bereit ......... 19
Abbildung 21: 360°-3D-Streaming-Gesamtprozess am VDC ....................................................... 19
Abbildung 22: Funkmikrofon K&F ConceptM-8 UHF................................................................... 20
Abbildung 23: USB-Audio-Mischpult Behringer Xenyx................................................................ 20
Abbildung 24: Screenshot der Anwendung Action Director von Cyberlink/Samsung ................ 21
Abbildung 25: Screenshot der Anwendung Insta 360 Pro Stitcher ............................................. 22
Abbildung 26: XMP-Tag-Gruppen GPano und GSpherical........................................................... 24
Abbildung 27: Konfigurationsdatei des ExifTools ........................................................................ 25
Abbildung 28: Verwenden des ExifTools ..................................................................................... 26
Abbildung 29: Verwenden des ExifTool Workspace-Managers .................................................. 26
Abbildung 30: Konfiguration des Workspace-Managers im Werkzeug ExifTool......................... 27
Abbildung 31: Werte zum Setzen der Meta Data Tags ............................................................... 27
Abbildung 32: Verwendung des Werkzeugs Spatial Media Metadata Injector .......................... 28
Abbildung 33: Auflistung einiger bedeutender 360°-Viewer-Apps und -Hardware.................... 31
Abbildung 34: Vergleich und Kompatibilität von 360°-Viewer-Apps .......................................... 32
Abbildung 35: Vergleich von Lösungen für 360°-Panoramatouren ............................................ 33
3
1 Einführung - Aufgabenstellung
Hintergrund
Spätestens seit den Einschränkungen der Bewegungsfreiheit im Zuge der Maßnahmen zur Ein-
dämmung der Covid19-Pandemie ist klar geworden, wie sinnvoll und wichtig Videokonferenzlö-
sungen sein können. Dennoch ersetzen auch diese Werkzeuge nicht das Gefühl vollständiger
Präsenz an einem entfernten Meeting-Ort und werden dieses wohl auch nie erreichen. Ob die-
ses jemals durch digitale überhaupt Medien erreichbar ist, sei an dieser Stelle dahingestellt. Si-
cher ist heute aber auch, dass es interessante Lösungen jenseits der allgemein bekannten Vide-
okonferenz-Lösungen gibt, die es Teilnehmern ermöglichen, einen wesentlich besseren Eindruck
vom Ort des Gegenübers zu erlangen: Virtual Reality (VR) ist eine Technologie und Methode, die
für Anwendungen namens "Telepräsenz" seit Langem bekannt ist. Seit wenigen Jahren sind leis-
tungsfähige und sehr kostengünstige (dafür weniger leistungsfähige) Lösungen auf dem Markt.
Diese eignen sich dafür, Nutzern in eine entfernte Realität eintauchen zu lassen - sowohl als Auf-
zeichnung als auch Live - und zwar in 360°-Rundumsicht und mit Stereoskopie. Auf diese Weise
können ganz neue Möglichkeiten der Partizipation, der Kooperation und der Entscheidungsfin-
dung erschlossen werden. Interessant kann dieses für zahllose professionelle oder private An-
wendungen sein, denken wir etwa an eine Begehung einer Immobilie über Distanz oder einem
verteilten Live-Training in 3D.
Problemstellung
In der heute verfügbaren enormen Bandbreite technischer Lösungen liegt denn auch die Heraus-
forderungen für den prospektiven Nutzer: was wird denn für seine Aufgabe wirklich benötigt,
welche technischen Aufbauten haben welche Vor- und Nachteile? An dieser Stelle tun sich Ein-
steiger sicher erst einmal schwer. Dienstleister können natürlich unterstützen; einen Überblick
zu haben oder erste eigene Versuche zu unternehmen wäre dennoch sehr hilfreich. Genau hier
soll dieser Leitfaden ansetzen.
Zielsetzung
Das Ziel dieses Leitfadens ist es, Unternehmen zur Durchführung von 360°-Live-Streams oder
360°-Aufzeichnungen zu befähigen, um mittels verbesserter verteilter Kooperation und Präsen-
tation ihre Dynamik und Effizienz - damit ihre Wettbewerbsfähigkeit - zu steigern.
4
2 Fragen zur Auswahl des passenden Mediums
Stereo-3D, (sphärische) Panoramadarstellungen und Live-Streaming sind mächtige Werkzeuge,
die – insofern sinnvoll eingesetzt - einen signifikanten Nutzen generieren können. Allerdings
bedeuten der Einsatz dieser Aufnahme- und Wiedergabeverfahren fast immer einen höheren
Einrichtungs- und/oder Systemaufwand (Hardware, Software). Daher muss für dem Einsatz die-
ser Werkzeuge immer die Frage gestellt werden, welche Aufgabe mit deren Einsatz bearbeitet
wird und was den Darstellungsgegenstand ausmacht. Die Relevanz der drei genannten Verfah-
ren lässt sich separat voneinander diskutieren:
▪ Die Stereoskopie dient dem besse-
ren Verständnis räumlich-geomet-
risch komplexer Anordnungen. Liegt
eine solche Anordnung nicht vor,
wird Stereo-3D nicht benötigt. Der
Mensch kann allerdings auch nur bis
maximal 15m stereoskopisch sehen.
Dieses bedeutet, dass sich die o.a.
Anordnung im Nahbereich befindet
muss, damit Stereo-3D sinnvoll wird.
▪ Panoramadarstellungen zeigen eine
Rundumsicht. Die umgebende Geo-
metrie (eine Landschaft; ein Fahr-
zeug, in dem man sich befindet)
kann der der Darstellungsgegen-
stand sein, oder aber es wird ein
spezieller Zweck mit der eigenen
Hinwendung hin zu einem Objekt
verfolgt: die bewusste Ausrichtung
der Sinnesorgane umfasst durch die
Drehung eben auch das Vestibulär-
System (Orientierungssinn) und un-
terstützt damit die Schaffung eines
konsistenten, geistigen Abbilds der
räumlichen Umgebung beim Benut-
zer.
▪ Live-Streaming seinerseits wird erst
dann sinnvoll, wenn ein wichtiges
Ereignis sehr zeitnah, gar in Echtzeit,
übertragen werden muss oder aber
wenn der Präsentator sofort auf Zu-
schaueräußerungen reagieren will.
Ist beides nicht gegeben, könnte
man auch Aufzeichnungen einset-
zen.
Abbildung 1 zeigt die Leitfragen zur
Abbildung 1: Fragen zur Verfahrenswahl
Identifikation der Relevanz von Ste-
reo-3D, Panoramadarstellungen und
Live-Streaming.
5
Abbildung 2 zeigt einige
typische Beispiele der
Anwendung von Stereo-
3D, Panoramadarstellun-
gen und Live-Streaming.
Darüber hinaus gibt es
natürlich viele mehr.
Entscheidend sind die
o.a. Leitfragen.
Abbildung 2: Anwendungsbeispiele für Stereo-3D, (sphärische) Panoramen und
Streaming
6
3 Aufnahme: Kamera-Vergleich
Stereo-3D, Panoramadarstellungen und Live-Streaming werden in diesem Dokument nur in ihrer
Anwendung auf Kamera-Aufnahmen sowie der Wiedergabetechnik betrachtet. Daneben sind
Stereo-3D, 360°-Darstellungen und Live-Zusammenarbeit integraler Bestandteil verteilter, kolla-
borativer Virtual-Reality(VR)- oder Augmented-Reality(AR)-Umgebungen. Der Inhalt solcher An-
wendungen sind Computer-generierte 3D-Daten, etwa aus der 3D-Modellierung, der Konstruk-
tion, der Simulation oder aus dem LASER-Scanning. Diese Anwendungen sind jedoch nicht Ge-
genstand dieses Projektberichts; hier geht es um Realaufnahmen.
Eine ganze Reihe von Herstellern haben mittlerweile Kameras auf den Markt gebracht, in einer
Preisspanne von ca. € 200 bis hin zu € 40.000, mit und ohne Streaming-Fähigkeit. Die Kameras
seien im Folgenden kurz portraitiert:
Hersteller Modell Preis ca. Auflösung, Features Abbildung
VIRB 360 699 € 4K bei 60fps
5,7K bei 30fps
Garmin
Link
Max 639 € 5,2K
GoPro
Link
Vuze 599 € 4K
Humaneyes
Technologies
Ltd.
Link
Vuze+ 999 € 4K
Vuze XR 439 € bis zu 5,7K
7
Pro 3.999 € 360°-Fotos: max. 8K
360°-Videos: max. 8K bei 30fps
360°-3D-Fotos: max. 8K
Insta360 360°-3D-Videos: max. 6K bei 30fps
Link
Pro 2 5.999 € Foto: max. 12K
Video: max. 8K
Titan 17.000 11K 360°-Fotos in 3D und mono
€ 11K bei 30 FPS
10K 3D bei 30 FPS
One 359 € Bildaufnahmen: 6912*3456
Videoaufnahmen:
3840*1920 bei 30fps,
2560*1280 bei 60fps,
2048*512 bei 120fps
Z2XL180 2.000 € 4K
iZugar
Link
K1Pro 2.995 €
K2Pro 6.000 € 5120×2560 @60fps
ONE J1- >10.000€ bis zu 8K
24G
(abgekün-
Jaunt digt)
Link
8
Obsidian 2.000 € Video: 4K
Go Bild: 8K
Kandao
Link
QooCam 300 € 4K
Mirage 299 € 4K
(abgekün-
Lenovo digt)
Link
360 Cam 200 € Bild: 5560 x 2830 (16 MP)
Video: 2560 x 1280
LG
Link
OZO > Acht Sensoren mit 2K*2K
(abgekün- 10.000
digt) €
Nokia
Link
Panono 1.500 € 108 Megapixel
Camera
Panono
Link
Theta m15 299 € 1920×1080
Ricoh Theta S 375 € 1920×1080
Link
Theta SC 275 € 1920×1080
9
Theta SC2 299 € 3840×1920
Theta V 399 € Bilder: 5376×2688
Video: 4K Full HD
Theta Z1 999 € Bilder: 23 MP(6720 x 3360
Video: 4K 3840 × 1920
Gear 360 189 € 4K
Samsung
Link
ZED 349 $ 2 x 2,2K
StereoLabs
Link
ZED2 449 $ 2 x 2,2K
ZED mini 399 $ 2 x 2,2K
Horizon 369 € 5,7K bei 30fps
(abgekün-
digt)
Yi
Link
360 VR 170 € 4K
Camera
(abgekün-
digt)
10S1 2.000 $ 6K bei 30fps
4K bei 60fps
Z Cam
Link
S1 Pro 8.880 $ 6K @30fps
V1 Pro 33.880 $ Mono 8K @30fps / 4K @60fps,
Stereo 7K @30fps / 4K @60fps
K1 Pro 2.995 $ 6K @30fps / 4K @60fps
Abbildung 3: 360- und Stereokamera-Vergleich
114 Live: Streaming
4.1 Überblick Streaming
Um Inhalte in Echtzeit mit anderen Personen - auch einer großen Anzahl von Empfängern zu tei-
len - bieten sich Streaming-Ansätze an. Live-Streaming war in der Vergangenheit ein Exper-
tenthema mit einer überschaubaren Anzahl kostenpflichtiger Werkzeuge. Insbesondere die So-
zialen Medien sorgten dafür, dass kostenfreie Live-Streaming-Dienste in vergleichsweiser einfa-
cher Form auch für Laien zur Verfügung stehen.
Um streamen zu können, muss zunächst das Videosignal der angeschlossenen Kamera in ein
Web-kompatibles Format konvertiert (enkodiert) werden. Dazu dienen so genannte Encoder.
Ein Encoder dient also dazu, Videoinhalte zu konvertieren, damit sie über entsprechende Platt-
formen gestreamt werden können.
4.2 Encoder-Hardware
Encoder gibt es in Form spezieller Encoder-Hardware (also kein Rechner oder zusätzliche Soft-
ware fürs Streaming erforderlich). Die folgende Abbildung zeigt einige Streaming-Hardware. Ei-
nige erhältliche Systeme sind auch in der Lage, sphärische Daten (360°) zu verarbeiten.
Hersteller System Abbildung URL
Matrox Monarch https://www.matrox.com/video/de/products/monarch_
hd/compare_models/
VidiU VidiUGo https://teradek.com/collections/vidiu-go-family#web-
streaming
cube Cube 755 - H.265 https://teradek.com/collections/cube-family#web-
(HEVC) streaming
BOND BOND-757 https://teradek.com/collections/bond-family#web-
streaming
BirdDog 4K HMDI https://bird-dog.tv/category/streaming/
SPHERE Teradek Sphere https://teradek.com/products/b-stock-sphere-
360° Camera hdmi?variant=29539421945901#sphere
Monitoring
GoSolo LiveU https://gosolo.tv/de/
Abbildung 4: Streaming-Encoder-Hardware
124.3 Encoder-Software
Alternativ ist es möglich, Encoder-Software zu verwenden, die auf einem PC ausgeführt wird.
Folgende Abbildung zeigt einige Beispiele:
Hersteller Lösung URL
OBS Community OBS (Open Broadcaster Software) https://obsproject.com/de
FFPlit Community FFSplit https://www.ffsplit.com/
telestream Wirecast https://www.telestream.net/wirecast/overview.htm
Abbildung 5: Streaming-Encoder-Software
4.4 Streaming-Plattformen
Ist der Video-Stream enkodiert, so kann er auf einer Streaming-Plattform verbreitet werden. In-
teressant ist es hier, eine Plattform zu wählen, die weit verbreitet ist, damit die Nutzer (Empfän-
ger) sie kennen, Accounts besitzen und die Reichweite aufgrund der Größe der Plattform-
Community signifikant wird. Gängige Streaming-Plattformen sind in der folgenden Abbildung
aufgeführt (daneben gibt es noch Lösungen unter Abbildung 35 auf Seite 33).
Anbieter Streaming-Plattform URL
Facebook Facebook Live https://www.facebook.com/formedia/solutions/facebook-live
Facebook Watch https://www.facebook.com/watch
Instagram Instagramm Live https://www.instagram.com
Twitch Twitch.tv https://www.twitch.tv
Twitter Periscope https://www.pscp.tv
Youtube YouTubeStudio https://vr.youtube.com
https://www.youtube.com/channel/UC4R8DWoMoI7CAwX8_LjQHig
YouTube Live
Abbildung 6: Streaming-Plattformen
134.5 Audio im Streaming: Konfliktpunkte und einfache praktische Audio-Lösungen
Grundsätzlich ist die Übertragung einer Audiospur beim Broadcasting ein sinnvoller Mechanis-
mus um akustisch zu präsentieren oder zu kommunizieren. Etliche der (vor allem teureren) 360°-
Kameras verfügen über Mikrofone und ermöglichen sogar 3D(gerichteten)-Sound. Das kann je
nach Anwendung sinnvoll sein, da auch die Audiolokalisation beim Menschen ein Mechanismus
ist, mit welchem er ein konsistentes gedankliches Bild seiner räumlichen Umgebung erwirbt.
Räumliches Audio lässt sich in Filmdateien ablegen; dafür existieren Formate wie das recht ver-
breitete ambiX ACN / SN3D-Format.
Sehr sinnvolle Anzeigegeräte für 360°-Streams (ob stereoskopisch oder nicht) sind VR-Headsets.
Nun ist es aber durchaus möglich, dass eine Live-Veranstaltung nicht in 360° gestartet wird, son-
dern am Desktop. Es ist auch möglich, dass nicht jeder Teilnehmer über ein VR-Headset verfügt,
sondern eine Veranstaltung am Desktop weiterverfolgen möchte, während andere Teilnehmer
auf ein VR-Headset wechseln. In beiden Fällen ergibt sich die Herausforderung, unter Umstän-
den zwei Plattformen (Video-Konferenzsystem und VR-Streaming-Plattform) mit einem Audio-
signal zu versorgen.
In der Folge werden einige praktikable Audio-Schaltungen gezeigt und auch Audio-System-
entwürfe, die vermieden werden sollten.
Eine komplexe Audio-Schaltung kann
eine Vielzahl an Elementen umfassen.
Dazu zählen Software zur Verwaltung
der 360°-Kamera, Videokonferenz-
Software, Kopfhörer, Mikrofone,
Lautsprecher, Audio-Headsets mit
Mikrofon, die 360°-Kamera, elektri-
sche Verkabelung, Funkstrecken,
Abbildung 7: Legende zu Schemata der Audio-Schaltungen
Rechner, Mischpulte und externe
Audiokarten. In Abbildung 7 sind die
Symbole dieser Elemente erläutert.
Auf dieser Basis werden im Anschluss
einige Skizzen erstellt.
Bei Videokonferenzsystemen hört man sein in die Konferenz gesprochenes
Wort selbst nicht wieder über den Lautsprecher / Kopfhörer. Auch Lautspre-
chersignale (etwa bei Benutzung eines Laptops ohne Audio-Headset) werden
durch das lokale Mikrofon nicht wieder in die Konferenz zurückgeschleust,
was eine unangenehme Rückkopplung zur Folge hätte. Dass dieses beides so
funktioniert, ist keine Selbstverständlichkeit, sondern Ergebnis einer komple-
xen Signalverarbeitung innerhalb der Videokonferenzsysteme, die heutzuta- Abbildung 8: Stören-
ge sehr effektiv Rückkopplungen verhindern. Diese Rückkopplungsunterdrü- des Übersprechen
ckung kann allerdings an ihre technischen Grenzen kommen: beim Nebeneinander-
sitzen in einer Video-
▪ Für den Fall, dass zwei Personen, nebeneinandersitzend, an einer Videokon- konferenz
ferenz teilnehmen, muss vermieden werden, dass man die eigene Stimme
über das Mikrofon des Nachbarn über die Videokonferenz-Software dann
14wieder auf den eigenen Kopfhörer erhält. Man fällt sich damit quasi perma-
nent selbst beim Sprechen ins Wort - mit einer spürbaren Zeitverzögerung,
was enorm störend ist. Entweder müssen also die Abstände der Personen
weit genug gewählt werden oder aber die Mikrofone müssen bei Nicht-
Benutzung immer konsequent deaktiviert sein.
▪ Die Software zur Verwaltung der 360°-Kamera zeigt beim Betrieb der Kame-
ra deren Bild und gibt auch deren Audioaufnahme wieder. Damit hört man
also an seinem Rechner, was die Kamera gerade aufnimmt. Dieses zusätzli-
che Audiosignal kann den Benutzer bereits bei der Teilnahme an einer Vi-
deokonferenz stören. Noch schlimmer wird es, wenn gleichzeitig die Emp-
fangsseite (z. B. YouTube) des 360°-Streams angezeigt wird, da das Audio-
Signal dann zweimal - einmal auch zeitversetzt - ankommt. Ebenfalls
schlimmer wird es, wenn kein Headset verwendet wird: in dem Fall ist es Abbildung 9: Über-
möglich, dass das Kamera-Audio-Signal über den Laptop-Lautsprecher und sprechen bei Betrieb
von Videokonferenz-
das Laptop in die gesamte Konferenz eingespeist wird. Im Worst-Case-
und 360°-Kamera-
Szenario können sich verstärkende Rückkopplungen der beiden Audio- Software auf einem
Schleifen Videokonferenz und 360°-Kamera ergeben. Um negative Effekte Rechner mit Lautspre-
cher
zu verhindern, sollte der Nutzer ein Audio-Headset verwenden und die
Software zur Verwaltung der 360°-Kamera auf einem separaten Rechner
laufen lassen.
Abbildung 10 zeigt einen möglichen, einfachen
Ansatz einer Audio-Schaltung. Die Software zur
Verwaltung der 360°-Kamera läuft auf einem
eigenen Rechner. Dort kann auch die Empfangs-
seite (z. B. YouTube) des 360°-Streams angezeigt
werden. Der Benutzer verwendet die Videokon-
ferenz-Software mit einem Headset und spricht
gleichzeitig in ein Funkmikrofon, welches seine
Abbildung 10: Einfacher möglicher Aufbau mit bewegli-
Sprache an die 360°-Kamera weiterleitet. Wird cher 360°-Kamera, zwei Mikrofonen und beweglichem
hier ein Laptop oder Tablet PC eingesetzt, kann Videokonferenzmoderator
der Benutzer sogar mobil unterwegs sein und
eine Führung durch Räume machen. Problema-
tisch ist hier, dass die 360°-Stream-Zuschauer die
Diskussion der Videokonferenz nicht mitver-
folgen können, sondern nur den Moderator hö-
ren.
Alternativ könnte man den Benutzer auch mit
einem langen Kopfhörerkabel ausstatten und
das Mikrofon-Funksignal sowohl an die 360°-
Abbildung 11: Möglicher Aufbau mit einem zentralem
Kamera als auch an die Videokonferenz senden Mikrofon
(Abbildung 11). Auch hier hören die Stream-
Zuschauer die Videokonferenz nicht.
15Es kann sinnvoll sein, wenn sich ein mobiler
"Reporter" von lokal von einem stationären Vi-
deokonferenz-Moderator unterstützen lässt
(Abbildung 12). Die o.a. Vorgaben (siehe Abbil-
dung 8) sind dabei zu erfüllen.
Lösung 1: Ein guter Ansatz besteht in der Ver-
wendung einer externen Soundkarte mit inte-
griertem Mischpult (Abbildung 13). Diese wird
an den Videokonferenz-Rechner angeschlossen.
In der Videokonferenz-Software müssen der Abbildung 12: Mobiler "Reporter" unterstützt Modera-
neue Audio-Ein- und Ausgang (Soundkarte) aus- tor
gewählt werden. Das Audio-Headset wird an das
Mischpult angeschlossen. Der Audio-Funksender
wird an den Ausgang des Mischpults angeschlos-
sen und sendet an die 360°-Kamera. Die 360°-
Stream-Zuschauer können nun auch den Ton der
Videokonferenz verfolgen.
Aufgrund von Signallatenzen kann die Verwen-
Abbildung 13: Audio-Lösung 1 mit Mischpult und exter-
dung von Funkstrecken aber problematisch wer- ner Soundkarte
den, wenn Rückkopplungsschleifen eingebaut
werden, etwa durch die Verwendung von Laut-
sprechern und Mikrofonen (siehe Abbildung 14).
Ziel sollte es hier sein, den über den Lautspre-
cher (statt Kopfhörer) Reporter mobil zu halten;
aber auf diese Weise nimmt das Mikrofon den
Schall des Lautsprechers auf und schickt ihn über
die Funkstrecke erneut an den Lautsprecher:
eine Rückkopplung entsteht.
Abbildung 14: Möglicher Konflikt bei Betrieb einer ex-
Lösung 2: Eine zweite Lösung, die hier ohne ternen Soundkarte
Mischpult auskommt, verwendet einen separa-
ten Videokonferenz-Rechner, dessen Audiosignal
einfach an die 360°-Kamera gefunkt wird: die
Zuschauer des 360°-Streams können so also
mithören. Der Reporter ist per Tablet PC und
Audio-Headset mobil und kann so sprechen und
filmen. Eine weitere Person überwacht den
360°-Stream und kann dort chatten und den Abbildung 15: Audio-Lösung 2 mit eigener Videokonfe-
Reporter über Fragen im Chat informieren. renz-Teilnahme der 360°-Kamera und mobilem Reporter
per Tablet PC und Audio-Headset.
16Einige Grundregeln gibt es also beim Aufbau des Audio-Systems zu beachten:
1. Rückkopplungen minimieren: Lautsprecher vermeiden und Headsets verwenden
2. Rückkopplungen minimieren: gleichzeitige, nebeneinandersitzende Teilnehmer einer Video-
konferenz auf Distanz halten und auf Mikrofon-Disziplin achten
3. Rückkopplungen und Störgeräusche minimieren: (1) Verwaltungs-/Encoder-Software der
360°-Kamera und (2) Stream-Anzeige (etwa YouTube) und (3) Videokonferenz-Software auf
separaten Rechnern laufen lassen. Mindestens die ersten beiden Software-Systeme gehören
auf einen eigenen Rechner.
4. Rückkopplungen minimieren: über die Funkstrecke (und die damit verbundene Signallaufzeit
v.a. durch das Wandeln beim Senden und Empfangen) wird die Rückkopplungsunterdrückung
einer Videokonferenz-Software ausgehebelt. Schleifen wie in Abbildung 14 sind zu vermei-
den.
5. Die 360°-Kamera wurde hier immer per Funk angebunden, damit sie mobil bleibt und auf
verschiedene Standpunkt verschoben werden kann. Auf diese Weise erhalten die Zuschauer
unterschiedliche Einblicke. Da die Zuschauer aber immersiv per VR-Headset auf die Position
der 360°-Kamera "teleportiert" sind, sollte man von dieser Möglichkeit nur sparsam Ge-
brauch machen und die Re-Positionierung ankündigen, damit die Zuschauer ihr VR-Headset
kurz absetzen können oder sich physischen Halt suchen. Grundsätzlich verursacht die sicht-
bare Re-Positionierung im VR-Headset ohne physische Entsprechung (also einer Bewegung
des Nutzers) massive Cyber Sickness.
6. Eine machbare Lösung liegt in der Verwendung einer externen Soundkarte mit integriertem
Mischpult (Abbildung 13). Darüber lassen sich auch die Zuschauer des 360°-Streams mit dem
Audiosignal der Videokonferenz versorgen.
7. Eine weitere machbare Lösung liegt in dem Anschluss der 360°-Kamera an einen eigenen Vi-
deokonferenz-Rechner und der Mobilisierung eines Reporters mit Audio-Headset an einem
Tablet PC (Abbildung 15).
174.6 Hands-On: 360°-3D-Streaming mit YouTubeVR am VDC
Im Folgenden sei kurz gezeigt, wie ein komplettes Streaming-Setup aussehen kann. Als Beispiel
wird eine 360°-3D-Installation am Virtual Dimension Center (VDC) herangezogen.
a) Video
Um 360°-3D ist guter Auflösung aufzunehmen,
wird das Kameramodell Pro der Fa. Insta360
auf ein Stativ aufgespannt und aufgestellt. In
den Kameraeinstellungen werden als Auflösung
4K, als Refresh-Rate 24 Frames/Sekunde und
die Option 3D gesetzt. Über die Verwaltungs-
App eines Smartphones wird die Kamera in das
lokale WLAN eingehängt. Die Kamera zeigt auf
ihrem Display nun ihre IP-Adresse an. Abbildung 17: 360°-Kamera am VDC
Auf einem PC wird nun die Insta360Pro-Anwendung (App) gestartet. Diese Anwendung dient als
Fernadministrationswerkzeug für die
Kamera, als Echtzeit-Stitching-Werk-
zeug (zum Stitching siehe Kapitel 5.1)
und als Encoder-Software (zu Enco-
der-Software siehe Kapitel 4.3). Mit
der bekannten IP-Adresse der Ka-
mera wird eine Verbindung der Soft-
ware zu ihr hergestellt. Die Software
zeigt daraufhin das Kamerabild. In
der Anwendung (siehe Abbildung 16)
wird ein benutzerdefinierter Abbildung 16: Insta360Pro-Anwendung am VDC
RTMP(Real-Time Messaging Proto-
col)-Server etabliert, die Auflösung
auf 3840x2150 Pixel gesetzt, die Bit-
rate lokalen Gegebenheiten ange-
passt, die Einzellinsenauflösung auf
1920 x 1440 Pixel festgelegt. Für wei-
tere Einstellungen hier benötigen wir
Angaben aus dem YouTube Studio.
YouTube Studio wird in einem Web-
Browser geöffnet. Der Nutzer loggt
sich in sein YouTube-Konto ein und
wählt die Optionen "Erstellen" und
dann "Livestream starten" (siehe Ab-
Abbildung 18: Start mit YouTube-Studio
bildung 18).
18Aus YouTube Studio werden nun die
Stream-URL und der Stream-
Schlüssel kopiert (siehe Abbildung
19) und in die Insta360Pro-
Anwendung (Abbildung 16) übertra-
gen.
Nun kann man auf den Live-Knopf
der Insta360Pro-Anwendung
(Abbildung 16) drücken um die
Übertragung des Streams an You-
Tube-Studio zu beginnen. YouTube
Studio beginnt den Stream der Ka-
Abbildung 19: Stream-URL und Streamschlüssel werden aus YouTube
mera anzuzeigen (Abbildung 20) und Studio kopiert
ist zum Senden bereit. Wird der
Stream auch hier von uns gestartet,
wird er auf dem eigenen YouTube-
Kanal angezeigt und ist für andere
dort abrufbar.
Die Anzeige des Streams erfolgte
mittels einer Oculus-Quest-II-VR-
Brille. Bemerkenswerterweise funk-
tionierte die YouTube-App der Ocu-
lus Quest II bei diesem Stream nicht
korrekt. Daher wurde hier der Brow-
ser Firefox Reality gestartet und
über diesen der YouTube-Kanal des Abbildung 20: YouTube Studio zeigt den Stream der Kamera und ist
VDCs geöffnet. Man bringt das Vi- zum Senden bereit
deo dort in den Vollbildmodus und
teilt dem Browser mit, dass es sich
um einen 360°-3D-Stream handelt.
Der funktionierende 360°-3D-Streaming-Gesamtprozess am VDC umfasst demnach folgende
Komponenten:
Kamera Stitching, Encoding Streaming-Plattform Anzeige-Hardware Viewing-App
Insta360 Pro Insta360Pro-App YouTube Studio Oculus Quest II Firefox Reality
Abbildung 21: 360°-3D-Streaming-Gesamtprozess am VDC
19b) Audio
Die zuvor diskutierten Audio-Probleme und -Lösungen entstan-
den während einiger Tests am Virtual Dimension Center. Neben
zahllosen Kabeln, Adaptern, Splittern, einem Mini-Mischpult
(Audio Sound Mixer Compact ammoon K1000) waren für die
oben beschriebenen Aufbauten das USB-Audio-Mischpult Beh-
ringer Xenyx und zwei Sets des Funkmikrofons K&F ConceptM-
8 UHF im Einsatz. Über diese zwei Sets waren zwei separate
1:1-Verbindungen, aber auch 1:2 und 2:1 möglich. Beim USB-
Mischpult ist zu beachten, dass das Audio-Headset per 3.5mm-
Klinkenstecker angeschlossen wird. Bluetooth-Headsets mit Abbildung 22: Funkmikrofon K&F
USB-Anschluss scheiden damit aus. Man könnte aber das ConceptM-8 UHF
Funkmikrofon und einen separaten Funkkopfhörer mit Klinken-
anschluss verwenden. Auf diese Weise wäre der Nutzer auch
hier kabellos unterwegs.
Abbildung 23: USB-Audio-Mischpult
Behringer Xenyx
205 Aufzeichnungen: Medienformate und -eigenschaften
360°/360°-3D-Inhalte können auch in einer Mediathek vorgehalten werden, wenn es keinen Grund
für ein Echtzeit(Live)-Ausstrahlung gibt. Aufgrund von Unterschieden in der Behandlung werden Bild-
dateien und Filmdateien im Hinblick auf Datenformate und hier relevante Bearbeitungsoptionen von
getrennt voneinander behandelt. Doch zunächst werden an dieser Stelle die grundlegende Verfahren
Stitching und Meta Data Tagging / Injection (zur Qualifizierung von Bild- und Videodateien) beschrie-
ben.
5.1 Stitching
Für Panorama-Darstellungen werden mehrere, sich überlagernde Aufnahmen erzeugt. Diese
sind anschließend zu einem kongruenten Gesamtpanoramabild oder -film zusammenzusetzen.
Diesen Prozess nennt man Stitching. Ebenso kann es wünschenswert sein, störende Inhalte aus
dem Bild zu entfernen, so beispielweise etwa ein Kamera-Stativ in einer 360°-Aufnahme. Mittels
benutzergesteuerte Verzerrungseinstellungen können etliche Stitching-Lösungen dieses auch
bereits leisten. Für das Streaming von 180°/360°-Inhalten muss das Stitching natürlich zur Lauf-
zeit erfolgen. Den 360°-Kameras sind zumeist eigene Stitching-Softwarelösungen mitgeliefert. Ist
eine Kamera als „Streaming-fähig“ deklariert, so beherrscht deren Software das Stitching zur
Laufzeit. Beispiele von gängigen Stitching-Lösungen sind:
▪ Cyberlink / Samsung ActionDirector
Abbildung 24: Screenshot der Anwendung Action Director von Cyberlink/Samsung
21▪ Insta 360 Pro Stitcher
Abbildung 25: Screenshot der Anwendung Insta 360 Pro Stitcher
5.2 Meta Data Tagging
Damit ein Video oder Bild von einer Darstellungssoftware korrekt dargestellt werden kann, so
muss der Darstellungssoftware mitgeteilt werden, welcher Art dieses Video oder Bild ist, ob es
beispielsweise stereoskopisch und / oder als sphärisch (180°, 360°) aufgenommen wurde
[01][03]. Um ein Video / Bild korrekt zu betrachten, kann man häufig die richtigen Einstellungen
in der Darstellungssoftware manuell vornehmen. Dazu muss der Nutzer aber wissen, wie das Vi-
deo / Bild aufgenommen wurde. Besser wäre es, die Aufnahmeeinstellungen werden der Video-
/Bilddatei explizit mitgegeben. Dieses geschieht mittels so genannter Meta-Daten. Für die Defi-
nition Video-/Bild-bezogener Meta-Daten existieren verschiedene Standards, die auch kombi-
niert miteinander verwendet werden können. Die bekanntesten sind:
▪ Exchangeable Image File Format (EXIF [02]): Dieses ist ein Standardformat der Japan Electro-
nic and Information Technology Industries Association (JEITA) für das Abspeichern von Meta-
daten in digitalen Bildern. Die letzte Version des Standards (2.32, April 2010, letzte Revision
im Mai 2019) wurde von einer Kooperation der JEITA mit der ebenfalls japanischen Organisa-
tion CIPA (Camera & Imaging Products Association, Nachfolge-Organisation der JCIA – Japan
Camera Industry Association) formuliert. In den Exif-Daten einer Bilddatei werden technische
Informationen zur Aufnahme, unter anderem Kameramodell, Zeitpunkt der Aufnahme und
Kameraeinstellungen, gespeichert.
▪ Der IPTC-IIM-Standard (oft kurz nur IPTC [04]) ist ein Datenformat zur Speicherung von Me-
tadaten in Bilddateien (z. B. in JPEG- oder TIFF-Dateien). Es wurde 1991 als Information Inter-
change Model (IIM) definiert. Informationen – sowohl Text als auch Datums- und Zahlenwer-
te – werden in einem durch diesen Standard definierten Format in einem speziellen Bereich
der Datei abgelegt.
22▪ Die Extensible Metadata Platform (XMP [05][06][07][08][12][13][14][15][16]) ist ein Stan-
dard, um Metadaten, also bei einem Foto beispielsweise Daten über den Fotografen, die
verwendete Ausrüstung und den Aufnahmeort, in digitale Medien einzubetten oder als Filial-
datei dazuzulegen. Sie wurde von Adobe im Jahr 2001 veröffentlicht und erstmals in den
Acrobat Reader 5 integriert. Im Februar 2012 ist der Kernteil der XMP-Spezifikation als ISO-
Standard ISO 16684-1 erschienen. XMP basiert auf offenen Standards und bettet die vom
World Wide Web Consortium veröffentlichte formale Sprache RDF (Resource Description
Framework) in Binärdaten ein. Damit sollen die Metadaten in verschiedenen Applikationen
nach einem einheitlichen Schema so integriert werden, dass die Dateien auch weiterhin von
anderen Programmen gelesen werden können. Das Format wird von allen Adobe-Produkten,
von Software anderer Hersteller sowie auch durch Anbieter von Redaktionssystemen unter-
stützt.
5.3 Bilddateien verarbeiten
a) Datenformate von stereoskopischen und sphärischen Bilddateien
Es gibt kein spezifisches Datenformat für sphärische (Panorama-)Bilder. Ob ein Bild ein Panora-
ma abbildet, wird vielmehr über das Einfügen gewisser Meta Tags (siehe nachfolgenden Ab-
schnitt b) definiert. Wohl gibt es zahlreiche Darstellungsformate für Panoramabilder [11].
Für stereoskopische Bilddateien werden im Allgemeinen die zwei nachfolgenden Dateiformate
eingesetzt:
▪ Multi Picture Object (MPO [09][10]) oder Multi Picture Format (MPF) ist ein Bildformat für
die dreidimensionale Fotografie: Klassische und in der zweidimensionalen Fotografie etab-
lierte Bildformate wie JPEG oder PNG waren ursprünglich nicht zur Speicherung stereoskopi-
scher Bilder gedacht – in den Dateien findet jeweils nur eine Fotografie Platz, es werden aber
zumindest zwei Fotografien, eine für das rechte und eine für das linke Auge benötigt. Bei
dem Format Multi Picture Object werden alle zur Anzeige notwendigen Daten innerhalb ei-
ner einzigen Datei mit der Erweiterung .MPO gespeichert, um dem Nutzer den Umgang mit
dem stereoskopischen Bildmaterial zu erleichtern. Zwar wäre es möglich, beide Fotografien
in jeweils separaten Dateien in einem der genannten Formate zu speichern, problematisch
kann es jedoch werden, wenn eine der beiden Dateien versehentlich gelöscht wird oder irr-
tümlicherweise an einem anderen Ort gespeichert wird und so für die Betrachtersoftware
nicht mehr auffindbar ist. Der MPO-Standard basiert auf dem JFIF-Standard, welcher wiede-
rum ein Containerformat für JPEG-Dateien beschreibt.
▪ JPEG Stereoscopic (JPS) ist ein weiteres Bildformat, welches zur Speicherung und Darstellung
stereoskopischer Bilder geeignet ist. Wie das MPO Format basiert es auf dem JPEG Verfahren
und auf dem JFIF Container, bietet jedoch weit weniger Möglichkeiten als MPO und ist in der
Praxis weniger verbreitet. Eine JPS-Datei besteht – im Gegensatz zu einer MPO Datei – aus
einer einzigen JPEG/JFIF-Datei. Die Erweiterungen für die dreidimensionale Anzeige sowie die
Identifizierung als JPS-Datei werden dabei im bislang nicht genutzten APP3-Marker gespei-
chert. Die zwei Ansichten des Bildes für die stereoskopische Darstellung sind innerhalb eines
einzigen Bildes, Seite an Seite gespeichert. JPS-Dateien enthalten außerdem wie gewöhnliche
JPG Dateien, anders als die verketteten Bilder innerhalb einer MPO-Datei, üblicherweise den
APP0-Marker mit den JFIF-Versionsinformationen. Die spezielle Art der Speicherung inner-
23halb einer JPS-Datei hat einen großen Vorteil gegenüber der Speicherung innerhalb einer
MPO-Datei: Der einzige Unterschied zu einer herkömmlichen JPEG-Datei ist der APP3-
Marker, welcher von mit JPS nicht kompatiblen Anzeigeprogrammen ignoriert wird. Daher
können beide Ansichten innerhalb jedes beliebigen zur Darstellung von gewöhnlichem JPEG-
fähigen Anzeigeprogramm dargestellt werden. Auch MPO bietet eine solche Möglichkeit zur
Darstellung auf nicht kompatiblen Plattformen, jedoch nur für das erste Bild in der Verket-
tung.
b) Qualifizierung von stereoskopischen und sphärischen Bilddateien
Die für 3D- und sphärische Inhalte wichtigen Mata-Daten-Tags sind in den XMP-Gruppen „XMP
GPano“ (Pano steht für Panorama-Aufnahmen) und „XMP GSPherical“ aufgeführt. [siehe XMP
Tag-Erläuterungen in o.a. Literatur]
XMP GPano Tags XMP GSpherical Tags
Panorama Tags erstellt durch Google Photosphere. Dieses sind keine offiziellen / allgemeingültig verein-
Diese Tags gehören zur ExifTool XMP-GPano-Familie- barten XMP Tags. Diese werden allerdings in Google
1-Gruppe (ExifTool: [13]). Photosphere MP4-Videos (!) eingesetzt und haben
daher einen gewissen Verbreitungsgrad. Diese Tags
werden in die Video-Tracks von MOV/MP4-Dateien
geschrieben, und nicht im Top-Level wie andere XMP-
Tags. Diese Tags gehören zur ExifTool XMP-
GSpherical-Familie-1-Gruppe (ExifTool: [13]).
Tag-Name Datenformat Tag-Name Datenformat
CaptureSoftware string CroppedAreaImageHeightPixels integer
CroppedAreaImageHeightPixels real CroppedAreaImageWidthPixels integer
CroppedAreaImageWidthPixels real CroppedAreaLeftPixels integer
CroppedAreaLeftPixels real CroppedAreaTopPixels integer
CroppedAreaTopPixels real FullPanoHeightPixels integer
ExposureLockUsed boolean FullPanoWidthPixels integer
FirstPhotoDate date InitialViewHeadingDegrees real
FullPanoHeightPixels real InitialViewPitchDegrees real
FullPanoWidthPixels real InitialViewRollDegrees real
InitialCameraDolly real ProjectionType string
InitialHorizontalFOVDegrees real SourceCount integer
InitialVerticalFOVDegrees real Spherical boolean
InitialViewHeadingDegrees real StereoMode string
InitialViewPitchDegrees real Stitched boolean
InitialViewRollDegrees real StitchingSoftware string
LargestValidInteriorRectHeight real TimeStamp integer
LargestValidInteriorRectLeft real
LargestValidInteriorRectTop real Legende:
LargestValidInteriorRectWidth real
LastPhotoDate date rot & fett = relevant für
PoseHeadingDegrees real sphärische Aufnahmen
PosePitchDegrees real
PoseRollDegrees real
blau & fett = relevant für
ProjectionType string stereoskopische Aufnahmen
SourcePhotosCount integer
StitchingSoftware string
UsePanoramaViewer boolean
Abbildung 26: XMP-Tag-Gruppen GPano und GSpherical
24c) Meta Data Injection für Bilddateien
Es gibt verschiedene Werkzeuge um Metadaten von Bilddateien zu bearbeiten und zu speichern.
Die gängigsten Werkzeuge sind hier:
▪ The Exifer (Online-Werkzeug) https://www.thexifer.net/
▪ EXIF Fixer https://exiffixer.com/
▪ ExifTool https://exiftool.org/
Ein Problem an dieser Stelle ist, dass die Gruppe XMP-GSpherical zwar für Videodateien definiert
ist, allerdings nicht für Bilddateien. Für Bilddateien gibt es nur o.a. die Definitionen der XMP-
Untergruppe XMP-GPano. Es besteht allerdings die Möglichkeit, das Programm ExifTool nach ei-
genen Wünschen anzupassen und neue, selbst-definierte Tags einzusetzen (mit den o.a. Werk-
zeugen „The Exifer“ und „EXIF Fixer“ ist dieses nicht möglich). Dazu ist eine Konfigurationsdatei
„.ExifTool_config“ für EXIFTool zu programmieren. Der Code lautet:
%Image::ExifTool::UserDefined = (
'Image::ExifTool::XMP::Main' => {
GSpherical => {
SubDirectory => {
TagTable => 'Image::ExifTool::UserDefined::GSpherical',
},
},
},
);
%Image::ExifTool::UserDefined::GSpherical = (
GROUPS => { 0 => 'XMP', 1 => 'XMP-GSpherical', 2 => 'Image' },
NAMESPACE => { 'GSpherical' => 'http://ns.myname.com/xxx/1.0/' },
ProjectionType => { Writable => 'string' },
Spherical => { Writable => 'boolean' },
StereoMode => { Writable => 'string' },
);
Abbildung 27: Konfigurationsdatei des ExifTools
Wird diese Konfiguration eingesetzt, so lassen sich für Bilddateien (was ursprünglich ja nicht
vorgesehen war) die Tags „GSpherical:ProjectionType“, „GSpherical:Spherical“, „GSpheri-
cal:StereoMode“ anlegen und abspeichern.
25Abbildung 28: Verwenden des ExifTools EXIFTool selbst erlaubt natürlich ebenso das Editieren der Werte dieser Felder. Dazu müssen die Felder, die der Nutzer ändern möchte, im Workspace-Manager von EXIFTool angelegt werden: Abbildung 29: Verwenden des ExifTool Workspace-Managers 26
Die Tag-Definitionen im Workspace-Manager (aufzurufen unter -> Programm -> Workspace Ma-
nager …) lauten hier:
Tag name to display Tag definition Hint text
GPano: ProjectionType -xmp-gpano:ProjectionType should be equirectangular
GPano: UsePanoramaViewer -xmp-gpano:UsePanoramaViewer boolean
GSpherical: StereoMode -xmp-gspherical:StereoMode mono OR left-right OR
top-bottom
GSpherical: ProjectionType -xmp-gspherical:ProjectionType should be equirectangular
GSpherical: Spherical -xmp-gspherical:Spherical boolean
Abbildung 30: Konfiguration des Workspace-Managers im Werkzeug ExifTool
Je nachdem, ob stereoskopischer oder sphärischer Inhalt vorliegt, sollten folgende Tags in den
Mediendateien mit nachfolgenden Werten gesetzt und gespeichert werden:
3D-Stereoskopie Sphärische Aufnahme
nein ja nein ja
XMP GPano ProjectionType [leer] equirectangular
UsePanoramaViewer false true
XMP GSpherical ProjectionType [leer] equirectangular
Spherical false true
StereoMode mono top-bottom,
left-right
Abbildung 31: Werte zum Setzen der Meta Data Tags
Anmerkung: Neben dem Panoramadarstellungsformat „equirectangular“ gibt es noch zahlreiche
weitere (cubic, cylindrical, arc formed, little planet, rectilinear, partial ppherical), die aber bei
den Entwicklern der Panorama-Viewer noch deutlich weniger Unterstützung erfahren [11].
275.4 Filmdateien verarbeiten
a) Datenformate von stereoskopischen und sphärischen Filmdateien
Es gibt keine spezifisches Datenformate für stereoskopische oder sphärische (Panorama-)Filme.
Ob ein Film ein Panorama und/oder stereoskopisch abbildet, wird vielmehr über das Einfügen
gewisser Meta Tags (siehe nachfolgenden Abschnitt b) definiert.
b) Qualifizierung von stereoskopischen und sphärischen Filmdateien
Es werden die XMP-Meta-Tags der Gruppe „XMP GSpherical“ (siehe Abbildung 26) benötigt, um
einen Film als stereoskopisch und/oder sphärisch zu qualifizieren. Relevant sind die Felder Pro-
jectionType, Spherical und StereoMode.
c) Meta Data Injection für Filmdateien
Zum Einsatz kommt nun entweder:
▪ ExifTool https://exiftool.org/ oder
▪ Spatial Media Metadata Injector: https://github.com/google/spatial-media/releases/tag/v2.0
Dieses Werkzeug ist in der Lage, MP4-Filmdateien zu öffnen, und einfach per Mausklicks
Häkchen bei den Optionsfeldern „spherical“, „stereoscopic“ und „spatial audio“ zu setzen.
Abbildung 32: Verwendung des Werkzeugs Spatial Media Metadata Injector
Die Datei wird anschließend wieder als MP4-Datei geschrieben.
Anmerkung: Medien-Dateien, die einem Stitching mittels Cyberlink / Samsung Action Director
unterzogen wurden, zeigten Probleme bei der Meta Data Injection. Die Meta Data Injection
funktionierte bei solchen Dateien erst, nachdem sie mit einem Formatkonvertierungswerkzeug
einmal neu erzeugt/formatiert wurden. Das Problem ist anscheinend länglich bekannt, so dass
dieser Umstand auf verschiedenen Internetforen diskutiert wird.
286 Wiedergabe: Endgeräte und Software
Will man 360°- und 3D-Inhalte wiedergeben, so bieten sich aufgrund des niedrigen Preises (im
Vergleich zu etwa Projektionen) VR-Headsets an. Diese gibt es mittlerweile in sehr vielen Ausfüh-
rungen mit großen Unterschieden in der Leistungsfähigkeit und der jeweiligen Preisklasse. Zudem
haben wir es hier mit einem Markt zu tun, auf dem ebenfalls ein intensiver Wettbewerb um den
Ausbau digitaler Ökosysteme herrscht. Dieses schränkt zum Teil die Interoperabilität verschiede-
ner Lösungen signifikant ein.
Für eine stärkere Verbreitung von VR-Inhalten an sehr große Menschengruppen sind im Grunde
die seit wenigen Jahren verfügbaren VR-Cardboard-Systeme eine signifikante Option. Das Google
Cardboard (https://arvr.google.com/cardboard/) ist eine Halterung aus Karton, welche aus eini-
gen Smartphones eine Virtual-Reality-Brille macht. Die Konstruktion besteht neben dem Karton
aus zwei Sammellinsen und einem Druckschalter. Dieser bestand in der ersten Version von 2014
aus zwei Magneten, die durch Einwirken auf den Magnetsensor des Smartphones als Betätigungs-
knopf dienen; in der zweiten Version von 2015 einem Schalter mit konduktivem Bezug. Der Deckel
wird mit einem Klettverschluss geschlossen. Wenn man nun auf dem Smartphone eine App mit
der Unterstützung einer stereoskopischen Ansicht öffnet, wird durch die VR-Brille aus den zwei
einzelnen Bildern ein Stereo-3D-Bild. Durch die Sensoren im Smartphone kann man sich in dieser
3D-VR-Welt auch umsehen, die Drehung des Kopfes wird zur App übertragen. Die VR-Brille wurde
von Google entworfen und 2014 auf der Google I/O vorgestellt. Da die Cardboard-Systeme derart
einfach sind, haben unzählige Firmen eigens gebrandete Cardboards herausgebracht und dazu
passende Inhalte entwickelt (z.B. Volvo, Stihl, Heller Maschinenfabrik).
Preislich ebenso interessant sind die Hybrid-VR-Systeme Samsung GearVR und Google Daydream
(https://arvr.google.com/intl/de_de/daydream/). Beide Systeme bestehen aus soliden Kunst-
stoffhalterungen, in die ebenfalls Smartphones eingelegt werden. Beide Systeme verfügen zudem
(im Gegensatz zu o.a. Cardboad-Systemen) über jeweils einen einfachen Hand-Controller, mit
dem sich die Inhalte des VR-Headsets steuern lassen. Samsungs GearVR weist außerdem noch ein
Touchpad an der Seite sowie zwei Taster auf, die durch ein elektrisches Ankoppeln beim Einste-
cken des Smartphones angeschlossen werden. Beide Hybridsysteme verfügen über einen eigenen
App-Store, in welchem Anwendungen speziell für das spezifische Headset erworben und herun-
tergeladen werden können. Google hat allerdings sein Daydream-System aufgegeben und verwal-
tet aktuell nur noch den App Store. Dort gibt es sowohl noch Nutzer als auch Entwickler. Die neu-
eren Smartphones von Google unterstützen Daydream nicht mehr. Auch Samsung hat sich von
seiner GearVR-Plattform getrennt und diese an Oculus veräußert (https://www.oculus.com/gear-
vr/). Hier sind anscheinend die Erwartungen an die eigene VR-Plattform nicht erfüllt worden: das
zu Facebook gehörende Unternehmen Oculus VR entwarf gemeinsam mit Samsung GearVR, aber
auch die eigenen Systeme Oculus Go, Oculus Rift S sowie Oculus Quest. Schon 2019 verkündete
Oculus, dass man GearVR nicht weiter unterstützen wolle. Samsung integrierte sein VR-
Ökosystem nicht mehr ins Samsung Galaxy S20 oder Note 10. Samsung-XR- und Samsung-VR-
Videoclients erhalten keine Aktualisierungen mehr. Ab dem 30. Juni 2020 entfernte Samsung die
Samsung-VR-Video-App aus dem Oculus Store, so dass man auch nicht mehr von der Oculus Go,
der Oculus Rift und der Oculus Quest darauf zugreifen konnte. Ab dem 30. September 2020 wur-
de die VR-Videoplattform Samsung XR eingestellt. Der Hersteller deaktiviert sämtliche Accounts
29und löscht diese Dateien auch. Bereits ab dem 15. September 2020 sind Entwickler nicht mehr in
der Lage, neue Apps für GearVR zu veröffentlichen. Ernsthafte Alternativen zu GearVR gibt es im
niedrigen Preissegment nicht, denn Samsungs Brille setzte zwar ein Galaxy-S-Smartphone voraus,
kostete aber sonst um die 100 Euro. Bezogen auf die Performance und das Gebotene kommt die
nach wie vor erhältliche Facebook Go (ca. € 160,-) sehr nach an Gear VR heran. Auch andere Her-
steller bieten mittlerweile VR-Headsets ab € 200,- an. Die sehr leistungsstarke Oculus Quest II ist
ab ca. € 350,- zu haben. Die Zeit wird zeigen, ob sich wieder ein Hersteller des Konzepts der hybri-
den VR-Headsets ernsthaft annimmt. Die zwei größten aktuellen Plattformen / Ökosysteme für
VR-Headset-Software sind zurzeit Oculus und Steam VR. Daher müssen diese beiden Plattformen
selbstverständlich auch in der weiteren Analyse berücksichtigt werden.
Der einfachste Weg, 3D- und 360°-Inhalte zu betrachten, liegt in der Verwendung von geeigneter
Viewer-Software. Die Lösungen unterscheiden sich hinsichtlich interpretierbarer Dateiformate,
Darstellungsformaten, Dateizugriff (nur lokal oder auch Netzwerk) oder der Fähigkeit, online-
Streaming-Daten aus dem WWW anzuzeigen. Eines der wichtigsten Unterscheidungskriterien ist
zudem, ob man
▪ nur einzelne Mediendateien (Bild, Video) betrachten will: hierfür sind die bedeutendsten 360°-
3D-Viewer in Abbildung 33 kurz aufgeführt und dann in Abbildung 34 detaillierter verglichen.
▪ eine Tour durch sukzessive Foto-/Filmaufnahmen ("Panorama-Tour") unternehmen möchte:
hierfür muss der Bereitsteller des Dienstes (der "Tour") eine kostenpflichtige Panoramatour-
Software einsetzen. Die Ansicht solcher Touren ist in der Regel kostenfrei. Eine Übersicht mit
Vergleich gängiger Panoramatour-Lösungen findet sich in Abbildung 35.
30Viewer-
Cardboard-Systeme
Google Daydream
Samsung GearVR
Hardware
Oculus Quest II
Steam-Geräte
App
DeoVR: komfortabler 3D-Dateiviewer für viele Plattformen, der lokal
✓ ✓ ✓ ✓
und in DLNA-Verbindungen sucht
Firefox Reality: WWW-Browser zum Einsatz in VR-Headsets; sehr wert-
✓
volle Einstellmöglichkeiten für Streaming unter Oculus
GizmoVR: komfortabel, sehr gute Benutzerführung, sehr weite Verbrei-
✓ ✓ ✓ ✓
tung, einzig verbliebener Browser für Cardboard-Systeme.
Google Cardboard App: für unsere Aufgaben leider untauglich. ✓
HereSphere VR Player: auf SteamVR ✓
krpano / Video360player: dient als Streaming-Engine zur Integration
von Panorama-Videos auf Websites und Sozialen Medien. Ergebnis ✓ ✓ ✓ ✓ ✓
kann in HTML5-Browsern abgespielt werden.
Oculus Browser: unterstützt schlecht VR-Streaming; einzige Option für
VR-Streaming für die GearVR ✓ ✓
Oculus TV: kann einige lokale Bilddateien darstellen, teils aber nur
✓
verzerrt.
Orion360 (Finwe): SDK / Plattform für das kontrollierte Abspielen von
Content auf mehreren Endgeräten ✓ ✓ ✓
Pigasus: sehr komfortable App mit sehr guter Benutzerführung, guter
✓ ✓
Netzwerkzugriff, den meisten erkannten Dateiformaten
Samsung Gallery: einfacher Viewer mit vielen Schwächen; interessant
✓
nur noch unter GearVR
SkyBox: unterstützt nur Videos, keine Bilder; läuft nur unter Steam und
✓ ✓
Oculus
VRTV: recht komfortable App, die aber nur unter Google Daydream
✓
läuft, dort aber vergleichsweise gut
YouTubeVR: zur Anzeige lokaler Dateien oder WWW-Inhalte; Schwä-
chen bei 360-3D-Streaming ✓ ✓
Abbildung 33: Auflistung einiger bedeutender 360°-Viewer-Apps und -Hardware
31Sie können auch lesen
