Abschlussarbeit Data Science: Inkrementelle, nicht-parametrische Schätzung von Datenverteilung für eine rückgekoppelte Datensammlung

Kontext

Moderne Fahrzeuge erzeugen während der Fahrt sehr große Datenmengen (bis zu 2,5 GB/s). Das vollständige Speichern, Übertragen und Verarbeiten dieser Daten ist in der Praxis jedoch extrem teuer. Gleichzeitig sind diese Daten essenziell für datengetriebene Methoden wie Machine Learning. Ein zentrales Problem: Fahrzeugdaten folgen häufig Long-Tail-Verteilungen. Viele Daten sind redundant, während seltene Ereignisse (Anomalien, Corner Cases) nur sehr sporadisch auftreten. Ein vielversprechender Ansatz ist daher eine rückgekoppelte Datensammlung, bei der bereits gesammelte Daten kontinuierlich ausgewertet werden, um neue Daten während der Fahrt nach ihrem Neuigkeitswert zu bewerten. Der bisherige Ansatz beruht auf einer parametrischen Schätzung mittels Gaußverteilungen und der Bewertung über die analytisch berechenbare Mahalanobis-Distanz. In dieser Arbeit sollen nicht-parametrische Verfahren als Alternative untersucht werden.

Aufgaben

• Einarbeitung in rückgekoppelte Datensammlung für Fahrzeugdaten

• Recherche und Auswahl geeigneter nicht-parametrischer Verfahren zur Dichteschätzung

• Integration einer Methode in ein rückgekoppelte Datensammlungsframework

• Vergleich nicht-parametrischer vs. parametrischer Verfahren für eine rückgekoppelte Datensammlung

Voraussetzungen

• Du arbeitest selbständig und strukturiert, bist motiviert und engagiert.

• Python Kenntnisse

• Du besitzt sehr gute Deutsch- und Englischkenntnisse in Wort und Schrift.

• Kenntnisse in Machine Learning / Statistik, optimalerweise in Streaming Algorithmen und Anomalieerkennung/Verteilungsschätzungen