Wakeword Detection auf einem Humanoiden Roboter
Kontext
Die Verarbeitung von Audiodaten mit großen künstlichen neuronalen Netzwerken ist oft rechenintensiv und energieaufwendig. Daher nutzen Systeme wie Amazon Alexa Wakeword Detection. Ein effizienteres Modell hört kontinuierlich auf ein bestimmtes Schlüsselwort („Alexa“) und aktiviert nur bei dessen Erkennung die größeren, leistungsstärkeren Netzwerke.
Im JuBot Projekt wird ein humanoider Roboter entwickelt, der eine ähnliche Wakeword-Erkennung benötigt. Damit soll der Roboter nur dann reagieren, wenn er direkt angesprochen wird und in der Zwischenzeit möglichst wenig Energie verbrauchen.
Aufgaben
- Ziel ist die Implementierung einer Wakeword Detection Komponente, die speziell auf den humanoiden Roboter Amar-7 zugeschnitten ist. Das System soll in der Lage sein, bestimmte Sprachbefehle wie „Armar“ (zur Aktivierung) oder „Stop“ (zum sofortigen Anhalten) zuverlässig zu erkennen. Ein zentraler Bestandteil der Arbeit ist die kontinuierliche Verbesserung des Modells, um Fehlaktivierungen und verpasste Erkennungen zu minimieren.
- Entwicklung eines neuronalen Netzwerks (ggf. basierend auf BCResNet) zur Wakeword Detection
- Integration in die ARMAR-X Plattform zur Anbindung an den Roboter
- Testen, Wartung und Fine-tuning
Voraussetzungen
- Gute Python Kenntnisse
- Gute Grundlagen im Bereich Deep Learning
- Grundkenntnisse in PyTorch