Spiking Neural Networks for Motion Planning in Pedestrian-rich Environments using Reinforcement Learning

Kontext

Intelligente, hoch autonome Roboter und mobile Plattformen haben das Potenzial eine Zukunft zu gestalten in der Menschen und Maschinen zusammen, in den gleichen Umgebungen, interagieren und sich frei bewegen können. Im Fokus der aktuellen Forschung werden hierfür Machine-Learning-Methoden wie Deep Reinforcement Learning (DRL) mit Artificial Neural Networks (ANN) erforscht, um eine Policy zu trainieren, die die Bewegungen des Roboters in Menschenmengen plant. Spiking Neural Networks (SNNs) sind eine einzigartige Klasse künstlicher neuronaler Netze, die durch das biologische Verhalten von Neuronen inspiriert sind. Im Gegensatz zu herkömmlichen neuronalen Netzen, die kontinuierliche Aktivierungswerte verwenden, arbeiten SNNs mit diskreten Ereignissen, die Spikes genannt werden. Diese Spikes tragen zeitliche Informationen und werden erzeugt, wenn die kumulative Eingabe an ein Neuron einen bestimmten Schwellenwert erreicht. SNNs eignen sich ideal für Aufgaben, die eine zeitliche Verarbeitung erfordern, wie etwa in der Robotik.

Ziele

Ziel dieser Masterarbeit ist es zu erforschen, wie SNN und DRL zusammen für die Bewegungsplanung genutzt werden können und wie diese neuartige Architektur im Vergleich zu herkömmlichen Ansätzen abschneiden. Als Grundlage für Masterarbeit wird ein Institutseigener Ansatz verwendet:
[1] Flögel et. al. „Socially Integrated Navigation: A Social Acting Robot with Deep Reinforcement Learning“, 2024, https://arxiv.org/abs/2403.09793

• Du arbeitest dich in bestehende DRL-Bewegungsplanungs-Methoden ein und vertiefst die Einarbeitung in SNNs und DRL.
• Du Konzeptionierst eine Architektur für das Spiking Neural Network und bindest diese in DRL Algorithmen mit ein.
• Du implementierst deinen neuen Ansatz in ein bestehendes Framework.
• Du vergleichst deinen Ansatz mit der Architektur und Ergebnissen aus dem Paper [1].
• Optional: Du erzeugst eine Embedded Variante der beiden Ansätze und vergleichst den Energieverbrauch.

Voraussetzungen 

• Du hast ein Grundverständnis von Machine-Learning und Reinforcement Learning.
• Du hast sehr gute Kenntnisse in Python.
• Du bist motiviert und arbeitest eigenständig.