Knowledge Distillation für Interpretierbaren Neuronalen Netzwerken

Kontext

Im Kontext von Cyber-physikalischen Systemen ist der Einsatz von künstlicher Intelligenz durch die Modellgröße begrenzt. Ein Ansatz, um das Problem zu lösen, ist, die KI-Funktionalität in die Cloud zu verschieben. Das führt zur Abhängigkeit von einer in der Regel drahtlosen Verbindung. Als Alternative dazu werden die gelernten Repräsentationen eines großen Modells (Teacher-Model) auf ein kleineres Modell (Student-Model) übertragen. Dieser Prozess der sog. Knowledge Distillation (KD) soll im Rahmen einer Abschlussarbeit auf intrinsisch erklärbare KI-Modelle übertragen werden.

Dazu soll im Rahmen dieser Arbeit die aktuelle Forschung zum Thema KD im Kontext intrinsisch erklärbarer KI recherchiert und aufbereitet werden, mit Fokus auf prototyp-basierten neuronalen Netzen. Passende Metriken zur Bewertung der Leistung von KD und dem Student-Model sollen recherchiert und/oder entwickelt werden. Für eine Architektur soll ein Konzept zur KD entwickelt und anhand der Metriken sowie eines geeigneten Datensatzes evaluiert werden.

Die konkreten Ziele werden zusammen mit der Bewerberin oder dem Bewerber festgelegt und entsprechend der Art der Abschlussarbeit angepasst.

Ziele

• Strukturierte Analyse und Einordnung von einschlägiger Literatur
• Konzeption und Implementierung eines Ansatzes zur KD in intrinsisch erklärbaren NNs
• Evaluation und Analyse auf Basis von vordefinierten Metriken

Voraussetzungen

• Erfahrung im Bereich der Entwicklung von Machine-Learning-Modellen und PyTorch
• Programmierkenntnisse in Python
• Vorwissen zu Wahrscheinlichkeitstheorie
• Grundkenntnisse in Methoden der Explainable AI (XAI)
• Vertrautheit mit wissenschaftlichem Arbeiten und Literaturrecherche