VRET.at
DEEN

StageShift Technik

Herkunft, Signalweg und Werkzeuge

Faltung des Live-Signals mit gemessenen Raumimpulsantworten, auf Android, iPhone und iPad, mit gemeinsamem C++-Kern und quelloffenem Code.

Herkunft

StageShift kommt aus dem Projekt VRET. Im Lab liefert der Augmented Practice Room des IEM Graz den Raumklang, präzise, aber mit Computer, Kabeln, Headtracker und Betreuung. Frank und Bertsch (2024) beschreiben das Prinzip: den echten Direktklang über offene Kopfhörer erhalten und nur den Raumanteil mit möglichst geringer Verzögerung zuspielen. In der Feldstudie mit Jugendorchestern war der Laboraufbau nicht mobil genug, die VR-Szenen liefen ohne Live-Raumklang (Bertsch et al., 2026). StageShift macht diesen Teil tragbar.

Studentische Arbeiten haben den Bedarf früh gezeigt: Stöger (2020) fehlte der gemeinsame Raumklang mit dem Korrepetitor, Bramböck (2022) schlug eine einfache App vor, Auer (2023) und Kollreider (2026) fanden, dass zum Bild passender Raumklang Präsenz und Zufriedenheit mitbestimmt.

Signalweg

  1. Mikrofon / Interface
  2. Gewählte Raumantwort
  3. Kopfhörerkorrektur (optional)
  4. Pegelbegrenzung
  5. Kopfhörer

Die Verarbeitung bleibt vom Eingang bis zur Ausgabe lokal. Dateien und Filter werden außerhalb des zeitkritischen Audiopfads vorbereitet. Die Verarbeitung startet erst nach Start und Freigabe des Mikrofons und stoppt kontrolliert, wenn der Audioausgang wegfällt, eine Unterbrechung kommt oder die App in den Hintergrund geht. Eine Pegelbegrenzung am Ende reduziert digitale Spitzen; die Lautstärke am Ohr hängt weiter von Kopfhörer und Gerät ab.

Technische Daten

PlattformenAndroid, iPhone, iPad; native Oberflächen, gemeinsames Design System, gemeinsamer C++-Audiokern
VerfahrenEchtzeitfaltung mit gemessenen Raumimpulsantworten (WAV); Varianten Legacy und Optimized
RäumeBeta: 20 Einträge plus „Direkt“ (11 benannte Messorte, 9 allgemeine Räume). Entwicklungskatalog: 16 benannte Orte, 25 Einträge, u. a. Grazer Dom, Ligeti-Saal, IEM Experimentalstudio, Goethehäuschen, Calypso (TU Berlin)
Kopfhörer6.224 Modellprofile offline, Korrektur ein- und ausschaltbar, Zielkurve und Korrektur als Grafik; Profilurheber und Lizenzen in der App, Katalog samt Lizenzinformationen exportierbar
Eingangeingebautes Mikrofon oder standardkonformes USB-Audiointerface; Wahl von Eingang und Kanal
Ausgangkabelgebunden oder USB; Bluetooth wird wegen der Latenz nicht empfohlen
Datenkeine Aufnahme, kein Upload, kein Konto, keine Analyse- oder Tracking-SDKs; Einstellungen und IR-Bearbeitungen lokal
LizenzProjektcode Apache-2.0; Raumdaten und Kopfhörerprofile mit eigenen Lizenzen, Quellen und Lizenztexte offline in der App
SprachenDeutsch, Englisch; vergrößerte Schrift und plattformeigene Bedienungshilfen
Qualitätssicherungautomatisierte Signal-, Zustands-, Oberflächen-, Build- und Paketprüfungen, Prüfsummenabgleich

Für Nerds

Die erweiterten Werkzeuge liegen in einem eigenen Bereich. Er ist kostenlos, experimentell und ohne Support, Grundkenntnisse in Akustik helfen. Zugang auf Anfrage per E-Mail an bertsch@mdw.ac.at.

IR-Lab

Eine Impulsantwort beschreibt, wie ein Raum auf ein kurzes Schallereignis reagiert. Im IR-Lab öffnest du die Antwort eines vorhandenen Raums oder importierst eine eigene WAV-Datei. Automatische Analyse und übernehmbare Vorschläge helfen bei Ausrichtung und Einteilung.

  • Vier Bereiche getrennt absenken oder stummschalten: Direktschall, frühe Reflexionen, Hallkörper, später Ausklang
  • Grenzen, Startpunkt und Gesamtpegel einstellbar; Zeitabstände auch als Schallwegunterschiede
  • Systemlatenzkompensation, die den zeitlichen Spielraum der Raumantwort nutzt
  • Rückgängig, A/B-Vergleich, Hörvorschau; das Original bleibt erhalten
App-Ansicht: IR-Lab mit Wellenformübersicht
IR-Lab

Audiowerkzeuge

  • Puffer, Geräteprofile und Ausgleich zwischen Eingangs- und Ausgangstakt
  • Android: Pufferkalibrierung, gespeicherte Profile, Stabilitätshinweise
  • Lokale Diagnose von Audiowegen, Pufferung, Rechenzeiten und Fehlern
  • Geführter Latenztest über eine Stereo-USB-Verbindung mit elektrischer Rückführung; die Werte hängen von Gerät, System, Interface und Einstellungen ab

Offene Forschungsfragen

  • Welche Verzögerung wird bei Stimme, Streichern, Bläsern, Klavier und Gitarre noch als natürlich erlebt?
  • Wie unterscheiden sich offene, geschlossene und In-Ear-Kopfhörer in Selbstwahrnehmung und Spielgefühl?
  • Wie genau muss eine Raumantwort sein, damit sie zum gesehenen Ort passt: Nachhallzeit, frühe Reflexionen, Frequenzgang?
  • Wirkt Üben am späteren Auftrittsort, gesehen in VR und gehört mit StageShift, besser als in allgemeinen Sälen?

Literatur

  1. Bertsch, M., Roos, M., Leitz, T., Smale, M., & Reuter, C. (2026). Sound, stress, and health in youth orchestras: Feasibility of a multimodal psychophysiological health promotion program. Frontiers in Psychology, 17, 1742780. https://doi.org/10.3389/fpsyg.2026.1742780
  2. Frank, M., & Bertsch, M. (2024). Virtuelle Akustik für musikalisches Training. Akustik Journal, 2024(1), 16–18.
  3. Frank, M., Rudrich, D., & Brandner, M. (2020). Augmented practice-room – Augmented acoustics in music education. In Fortschritte der Akustik – DAGA 2020. DEGA.
  4. Klanjscek, N., David, L., & Frank, M. (2021). Evaluation of an e-learning tool for augmented acoustics in music education. Music & Science, 4. https://doi.org/10.1177/20592043211037511
  5. Zotter, F., & Frank, M. (2019). Ambisonics: A practical 3D audio theory for recording, studio production, sound reinforcement, and virtual reality. Springer. https://doi.org/10.1007/978-3-030-17207-7

Studentische Arbeiten: Stöger (2020), Bramböck (2022), Auer (2023), Kollreider (2026); vollständige Angaben auf der VRET-Wissenschaftsseite.