AI Inference on FPGAs

Kontext

Field Programmable Gate Arrays (FPGAs) sind flexibel programmierbare Hardwarebausteine, die sich gut für spezialisierte Rechenaufgaben eignen. Im Bereich der KI Inferenz können sie eine sinnvolle Alternative zu klassischen CPUs und GPUs darstellen, besonders wenn es auf einen niedrigen Energieverbrauch ankommt. FPGAs ermöglichen eine effiziente Verarbeitung von Aufgaben wie Objekterkennung oder Spracherkennung, da sie Abläufe parallelisieren und unnötige Berechnungen vermeiden können. Das macht sie besonders nützlich für Anwendungen, bei denen KI Modelle zuverlässig und stromsparend arbeiten müssen.

Aufgaben

• Bestehende neuronale Netzwerke, die aktuell auf GPUs ausgeführt werden, sollen für die Ausführung auf einer FPGA Plattform angepasst werden. Die Modelle werden im Hinblick auf Genauigkeit, Latenz und Energieeffizienz evaluiert. Der Fokus liegt auf Anwendungen wie Objekterkennung oder Spracherkennung in einem humanoiden Roboter.
• Quantisierung und Pruning künstlicher neuronaler Netzwerke
• Toolchain basierte Umsetzung mit FINN, Vitis AI oder ähnlichen Tools

Voraussetzungen

• Grundlagen von Neuronalen Netzen
• Vertrautheit mit FPGAs ist von Vorteil