Meta-Learning: learning to learn. Generalisierung der Fähigkeit von neuronalen Netzen für Aufgabenserien

Kontext 

Die neuronalen Netze haben ihre starken Fähigkeiten in verschiedene Domäne nachgewiesen, wie z.B. Objekte in Bilder erkennen, Sprache übersetzen und Spiele spielen. Allerdings wird ein neuronales Netz nur für eine spezifische Aufgabe trainiert und die Fähigkeit kann nicht in einem anderen Szenario übernommen werden. Ein neuronales Netz, das die Handschriften erkennen kann, kann aber die Unterschiede zwischen Katze und Hunde nicht herausfinden.
Das Meta-Learning Verfahren beschreibt die Philosophie von „learning to learn“. Dabei werden eine Menge von Aufgaben zusammen betrachtet und die Generalisierung wird gelernt. Ein Machine Learning Modell lernt hier nicht nur die Aufgaben selbst, sondern auch wie es sich besser trainieren kann. 
Im Rahmen dieser Arbeit werden je nach Auswahl der Schwerpunkte neue Methoden zum Meta-Learning untersucht. Mögliche Themen sind z.B.: Meta-Learning in multi-task learning environments, Imitation learning, Adaptive learning usw.

Aufgaben

Die konkreten Aufgaben beziehen sich auf das gewählte Thema, aber der allgemeine Ablauf der Arbeit lässt sich wie folgt zusammenfassen:

• Literaturrecherche zu der SOTA-Technik in dem betreffenden Gebiet
• Konzeption der Arbeit bezüglich des Arbeitsaufwandes (z.B. Klassifikations-, Regressions- und Reinforcement-Learning Probleme)
• Design, Training und Optimierung von neuronalen Netzen (z.B. Feature Selection, Network Pruning & Quantization, Knowledge Distillation), Vergleich mit anderen SOTA oder klassischen Methoden
• Generalisierung des Frameworks, um gute Performance bei verschiedenen Aufgaben zu ermöglichen
• Auswertung und Analyse der Ergebnisse sowie Verfassen der Abschlussarbeit

Voraussetzungen

• Motivation und Interesse am selbstständigen Lösen von technischen Problemen
• Kenntnisse von Machine Learning, idealerweise Reinforcement Learning 
• Erfahrung mit Programmierung (Python, C++, Java…)
• Analytische Fähigkeiten, Problemlösungs- und Kommunikationsfähigkeiten