Studentische Arbeit - Details
Machine Learning zum Upscaling der Higher-Order-Ambisonics-Signale
Betreuer: Egke Chatzimoustafa
Themengebiet: Spatial Audio, Machine Learning
Status: offen
Tools: Python, MATLAB
Aufgabenstellung:
Spatial Audio ermöglicht es, Schallquellen im Raum zu platzieren und ein immersives Hörerlebnis zu schaffen. Ein Beispiel für die Anwendung findet sich in der virtuellen/augmentierten Realität (VR/AR). Hier werden realistische akustische Umgebungen erzeugt, die den Nutzern es ermöglicht, in die virtuelle Umgebung einzutauchen und die Szene immersiv zu erleben.
Die vollständige Information über ein Schallfeld ist durch das Wissen über den Schalldruck an der Oberfläche einer einzigen Kugel verfügbar. Dies erfolgt durch die Kugelflächenfunktionen, die als Lösungen der Wellengleichung in Kugelkoordinaten auftreten. Ein Schallfeld kann somit durch spezielle Kugelmikrofonarrays aufgenommen und durch die Kugelflächenfunktionen kodiert werden. Je höher die Ordnung dieser Funktionen ist, desto komplexere Muster können beschrieben werden.
Eine Herausforderung stellt der sogenannte physikalische Sweet-Spot dar, der die räumliche Wiedergabe außerhalb eines idealen Hörbereichs beeinträchtigt, was zu einem Verlust an Immersion und Klangqualität führt. In der Praxis ist die Größe dieses Bereichs durch die Ordnung der Kugelflächenfunktionen begrenzt. Ein interessantes Forschungsgebiet ergibt sich daraus, zu untersuchen, wie und inwiefern sich der Sweet-Spot vergrößern lässt. Zu diesem Zweck können Machine-Learning-Modelle eingesetzt werden, die die Ordnung der Kugelfächenfunktionen hochskalieren und damit die Klangqualität verbessern.
Die folgenden Arbeitspunkte können in diesem Zusammenhang im Rahmen einer Abschlussarbeit bearbeitet werden:
- Identifizierung und Analyse geeigneter Bewertungsmaßnahmen sowie die Umsetzung von darauf basierenden Trainingsprozessen
- Implementierung und Evaluierung neuer modellbasierter und/oder Machine-Learning-basierter Modelle (wie z.B. Generative Adversarial Networks, Diffusion Models usw.) für das HOA-Upscaling
- Evaluierung der existierenden/neuen Methoden durch Messungen oder Hörtests
Bei Interesse können weitere Details in einem persönlichen Gespräch erläutert werden. Die genaue Aufgabenstellung der Abschlussarbeit wird anschließend in enger Abstimmung und entsprechend den Interessen des/der Kandidaten/Kandidatin festgelegt.