Labor für angewandte Machine Learning Algorithmen (LAMA)

Voraussetzungen

Erforderlich sind grundlegende Programmierkenntnisse. Vorausgesetzt werden daneben Kenntnisse in den Grundlagen der Informationstechnik, Signal- und Systemtheorie sowie Wahrscheinlichkeitstheorie.

Inhalt

Die Relevanz von Maschinellem Lernen und Künstlicher Intelligenz (KI) in der modernen Gesellschaft ist unbestreitbar. Fortschritte in der Rechenleistung, kombiniert mit neuen Technologien wie KI-Beschleunigern, GPUs und FPGAs, haben den Weg für effiziente, parallelisierte Frameworks und Algorithmen geebnet.
In jüngster Zeit haben Large Language Models (LLMs) wie GPT und multimodale Netzwerke die KI-Landschaft grundlegend verändert. Diese Systeme, die Sprache, Bild und andere Modalitäten verarbeiten können, eröffnen neue Möglichkeiten in der Mensch-Maschine-Interaktion und Datenanalyse.
Diese Veranstaltung bietet Elektrotechnikstudierenden eine fundierte Einführung in die Methoden und Werkzeuge des Maschinellen Lernens, einschließlich aktueller Entwicklungen:

• Implementierung grundlegender Algorithmen (z.B. Perzeptron, Decision Trees)
• Anwendung industrierelevanter Tools (Keras, Tensorflow, Pytorch)
• Einblicke in die Architektur und Funktionsweise von LLMs und multimodalen Netzen
• Nutzung leistungsfähiger Workstations für praktische Übungen
• Bearbeitung realer Problemstellungen aus verschiedenen Domänen

Die Veranstaltung deckt ein breites Spektrum ab - von der Analyse medizinischer Bildgebung über Sprachverarbeitung bis hin zu komplexen Vorhersagemodellen. Im "Into-the-Wild"-Abschnitt können Studierende eigene Projektideen verfolgen oder sich an aktuellen Forschungsfragen beteiligen, möglicherweise auch im Bereich der LLMs oder multimodalen Systeme.

Ziel ist es die nötigen Kompetenzen zu vermitteln, um die Möglichkeiten und Herausforderungen von KI im zukünftigen Berufsfeld zu verstehen und zu nutzen. Die erworbenen Fähigkeiten bilden eine solide Grundlage für weiterführende Arbeiten im Bereich das Maschinellen Lernens im Studium.

Organisatorisches

Für alle Termine sowie die Vorbesprechung gilt Anwesenheitspflicht.

• Sie bearbeiten die Aufgaben in Zweier- bzw Dreierteams.
• Die Bewertung setzt sich aus den abgegebenen Aufgabenblätter, dem „Into the wild“-Teil und einem Kolloquium zusammen.
• Genauere Details zur Bewertung werden in der Einführungsveranstaltung erklärt.
• Es werden sechs ETCS Punkte vergeben.

Inhalt

• Vorbesprechung und Gruppeneinteilung
• Verarbeitung und Analyse von Datensätzen
• Bewertung von ML-Systemen
• Grundlagen Überwachtes Lernen
• Unüberwachtes Lernen
• Neuronale Netze
• Evolutionäre Algorithmen  
• Convolutional Neural Networks
• Recurrent Neural Networks und Transformermodelle
• Into the Wild…

Ablauf der Labortermine 1-8

• Während der einzelnen Labortermine werden vorgegebene Aufgabenstellungen bearbeitet. Diese beinhalten zum einen Programmieraufgaben sowie solche, die in Textform beantwortet werden sollen.
• Die Aufgabenblätter werden in Form von Jupyter Notebooks ausgegeben. Mit dieser interaktiven Entwicklungsumgebung können Sie Programmcodes direkt im Aufgabenblatt testen, Lösungen darstellen und die Dokumentation beziehungsweise Antworten ergänzen.
• Nach jedem Labortermin wird das bearbeitete Aufgabenblatt (das entsprechende Jupyter Notebook) abgegeben.
• Die Abgabe jeweils einer Ausfertigung des Notebooks pro Gruppe ist ausreichend.
• Die erfolgreiche Bearbeitung und Abgabe der Aufgabenblätter ist Voraussetzung für die Teilnahme am mündlichen Kolloquium am Ende des Semesters. Bei Nichtabgabe werden die entsprechenden Teilnehmer nicht zum Kolloquium zugelassen!

Into the Wild…

• Zu Beginn des zweiten Teils werden verschiedene Datensätze vorgestellt, die für die Bearbeitung zur Auswahl stehen.
• Jede Gruppe entscheidet sich für einen der vorgestellten Datensätze, selbstverständlich können auch mehrere Gruppen den gleichen Datensatz nutzen. Die Problemstellung wird von der Gruppe selbst definiert. Auch eigene Problemstellungen zu eigenen Datensätzen sind möglich.
• Auf Basis des zuvor Gelernten wird ein Konzept zur Lösung der Problemstellung entwickelt. Dieses wird implementiert und getestet.
• Neben der Arbeit auf den Daten ist es auch möglich einen bestehenden Ansatz für einen Datensatz hinsichtlich der Laufzeit oder Latenz zu optimieren. Hierzu kann unter anderem versucht werden dies mittels passender Hardware zu erreichen.
• Zum Abschluss wird von jeder Gruppe eine Präsentation vorbereitet, die das entwickelte Konzept vorstellt und die Ergebnisse darstellt. Hierbei sollen durch eine kritische Reflektion der zuvor getroffenen Entscheidungen auch mögliche nächste Schritte aufgezeigt werden.

Anmeldeverfahren

Dieses Jahr werden voraussichtlich 30 Plätze für das Labor angeboten.
Die Anmeldung zum Labor erfolgt über das WiWi-Portal unter folgendem Link: https://portal.wiwi.kit.edu/ys/8270

Materialien

Die notwendigen Materialien für das LAMA werden über ILIAS zur Verfügung gestellt. Nach der erfolgreichen Anmeldung beim LAMA erhalten Sie Zugriff auf die Aufgaben, Datensätze und zusätzliches Infomaterial.
Das Material wird in englischer Sprache bereitgestellt, kann aber auf Deutsch bearbeitet werden.

Tutoren gesucht

Für ehemalige Teilnehmer oder andere Studierende im Master, die sich mit den Thematiken beschäftigen möchte, gibt es Möglichkeiten im Rahmen der Lehrveranstaltung Tutor zu sein. Bei Interesse bitte mit entsprechendem Betreff eine Mail an die Kontaktadresse: lama∂itiv.kit.edu.