Patrick Schmidt, M.Sc

  • Engesserstraße 5
    76131 Karlsruhe

Forschung

High-Level-Synthese für KI-Beschleuniger

Um die Entwurfszeit von KI-Beschleunigern zu verkürzen, hat das Gebiet der High-Level-Synthese an Bedeutung gewonnen. Es verlagert den Entwurf von den traditionellen HDL-Sprachen auf eine abstraktere Ebene, wie z. B. SystemC oder C++, und ermöglicht dem Entwickler eine schnelle Bewertung verschiedener Architekturen. Da KI-Beschleuniger sehr datenpfadlastig sind, eignen sie sich gut für diese Art der Modellierung, da sie leicht algorithmisch beschrieben werden können.  Durch diese Methoden können sich die Entwickler auf die Architektur konzentrieren, während die Low-Level-Modellierung, wie z. B. Pipelining und Interfaces, von den Tools übernommen werden kann.

Compiler für Neuronale Netze

Die letzten Jahre haben eine Vielzahl von Beschleunigerarchitekturen für verschiedenste Anwendungen hervorgebracht. Insbesondere für KI-Algorithmen steht heute eine enorme Menge an Beschleunigern zur Verfügung. Eine große Herausforderung entsteht hierbei jedoch durch das Fehlen von Compiler-Toolchains, um neuronale Netze schnell und optimiert auf der Hardware evaluieren zu können. Eine vielversprechende Technologie hierbei stellt MLIR dar, da es das Design von Compilern enorm vereinfacht durch das Bereitstellen einer umfangreichen Infrastruktur.

System-Level Design Evaluation

Die größte Herausforderung im Design von KI-Beschleunigern stellt nicht die verfügbare Rechenleistung, sondern die verfügbare Bandbreite dar. Um die Recheneinheiten voll auszulasten, müssen große Mengen an Daten transportiert werden. Deshalb ist die Full-Stack Evaluation eines Systems von zentraler Bedeutung. Um dieses Vorgehen zu unterstützen, bieten Architecture Description Languages eine Möglichkeit, das System abstrakt zu beschreiben. Aus dieser Beschreibung kann dann eine Simulationsplattform des Gesamtsystems erzeugt werden. Zusammen mit einem Compiler kann damit ein mächtiges Tool für die Analyse und Evaluation des Systems geschaffen werden.

Publikationen


2025
Proceedingsbeiträge
A Pixel Histogram-Based Safety Mechanism and Fault Detection Methodology for a Robust Image Signal Processor
Hoefer, J.; Schmidt, P.; Toto-Kiesa, H.; Hoefer, S.; Schewior, G.; Engelke, D.; Eickel, K.-H.; Grantz, D.; Harbaum, T.; Becker, J.
2025. Proceedings of the Great Lakes Symposium on VLSI 2025, 704–711, Association for Computing Machinery (ACM). doi:10.1145/3716368.3735208
Deep Neural Network Inference Partitioning in Embedded Hybrid Analog-Digital Systems
Kreß, F.; Hoefer, J.; Lin, Q.; Schmidt, P.; Zhu, Z.; Zhu, Y.; Harbaum, T.; Wang, Y.; Becker, J.
2025. 2025 26th International Symposium on Quality Electronic Design (ISQED), 23rd-24th April 2025, San Francisco, 1–8, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/ISQED65160.2025.11014471
2024
Proceedingsbeiträge
ZuSE-KI-Mobil AI Chip Design Platform: An Overview
Mojumder, S.; Friedrich, S.; Matúš, E.; Fettweis, G.; Lueders, M.; Friedrich, M.; Renke, O.; Blume, H.; Hoefer, J.; Schmidt, P.; Becker, J.; Grantz, D.; Kock, M.; Benndorf, J.; Fasfous, N.; Mori, P.; Voegel, H.-J.; Ahmadifarsani, S.; Kontopoulos, L.; Schlichtmann, U.; Bierzynski, K.
2024. 2024 IEEE Nordic Circuits and Systems Conference (NorCAS), Lund, Sweden, 29-30 October 2024, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/NorCAS64408.2024.10752454
EMDRIVE Architecture: Embedded Distributed Computing and Diagnostics from Sensor to Edge
Schmidt, P.; Topko, I.; Stammler, M.; Harbaum, T.; Becker, J.; Berner, R.; Ahmed, O.; Jagielski, J.; Seidler, T.; Abel, M.; Kreutzer, M.; Kirschner, M.; Betancourt, V. P.; Sehm, R.; Groth, L.; Neskovic, A.; Meyer, R.; Mulhem, S.; Berekovic, M.; Probst, M.; Brosch, M.; Sigl, G.; Wild, T.; Ernst, M.; Herkersdorf, A.; Aigner, F.; Hommes, S.; Lauer, S.; Seidler, M.; Raste, T.; Bozic, G. S.; Ceberio, I. I.; Hassan, M.; Mayer, A.
2024. 27th Design, Automation and Test in Europe Conference and Exhibition (DATE 2024), 6 S., Institute of Electrical and Electronics Engineers (IEEE). doi:10.23919/DATE58400.2024.10546796
RVVe: A Minimal RISC-V Vector Processor for Embedded AI Acceleration
Schmidt, P.; Pfau, J.; Hotfilter, T.; Stammler, M.; Harbaum, T.; Becker, J.
2024. 2024 IEEE 37th International System-on-Chip Conference (SOCC), Dresden, 16th-19th September 2024, 1–6, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/SOCC62300.2024.10737723
ICE TEA: Insertion of Custom Early Exits for Time-, Energy- & Anomaly-Aware Neural Networks
Stammler, J. M.; Hoefer, J.; Schmidt, P.; Harbaum, T.; Becker, J.
2024. 2024 IEEE Computer Society Annual Symposium on VLSI (ISVLSI), 656 – 660, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/ISVLSI61997.2024.00125
A Dynamically Pipelined Dataflow Architecture for Graph Convolutions in Real-Time Event Interpretation
Neu, M.; Karle, C.; Schmidt, P.; Höfer, J.; Harbaum, T.; Becker, J.
2024. IEEE 37th International System-on-Chip Conference (SOCC 2024), 6 S., Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/SOCC62300.2024.10737798
Ph.D. Project: Compiler-Driven Hardware/Software Co- Design for Embedded AI
Schmidt, P.; Becker, J.
2024. 2024 IEEE 32nd Annual International Symposium on Field-Programmable Custom Computing Machines (FCCM), Orlando, 5th-8th May 2024, 241 – 242, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/FCCM60383.2024.00055
Context-Aware Layer Scheduling for Seamless Neural Network Inference in Cloud-Edge Systems
Stammler, M.; Sidorenko, V.; Kreß, F.; Schmidt, P.; Becker, J.
2024. 2023 IEEE 16th International Symposium on Embedded Multicore/Many-core Systems-on-Chip (MCSoC), Singapur, 18th-21st December 2023, 97–104, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/MCSoC60832.2023.00022
2023
Zeitschriftenaufsätze
EFFECT: An End-to-End Framework for Evaluating Strategies for Parallel AI Anomaly Detection
Stammler, M.; Höfer, J.; Kraus, D.; Schmidt, P.; Hotfilter, T.; Harbaum, T.; Becker, J.
2023. Procedia Computer Science, 222, 499 – 508. doi:10.1016/j.procs.2023.08.188
CNNParted: An open source framework for efficient Convolutional Neural Network inference partitioning in embedded systems
Kreß, F.; Sidorenko, V.; Schmidt, P.; Hoefer, J.; Hotfilter, T.; Walter, I.; Harbaum, T.; Becker, J.
2023. Computer Networks, 229, Article no: 109759. doi:10.1016/j.comnet.2023.109759
Proceedingsbeiträge
Automated Replacement of State-Holding Flip-Flops to Enable Non-Volatile Checkpointing
Kreß, F.; Pfau, J.; Kempf, F.; Schmidt, P.; He, Z.; Harbaum, T.; Becker, J.
2023. 2023 IEEE Nordic Circuits and Systems Conference (NorCAS), 31st October - 1st November 2023, Aalborg, Denmark, 1–7, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/NorCAS58970.2023.10305469
LETSCOPE: Lifecycle Extensions Through Software-Defined Predictive Control of Power Electronics
Chu, A.; Hermann, C. M.; Silz, J.; Pfau, J.; Barón, K. M.; Anantharajaiah, N.; Schmidt, P.; Hotfilter, T.; Xie, X.; Becker, J.; Kallfass, I.; Roth-Stielow, J.; Stork, W.
2023. IEEE EUROCON 2023 - 20th International Conference on Smart Technologies, 665–670, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/EUROCON56442.2023.10199076
An Analytical Model of Configurable Systolic Arrays to find the Best-Fitting Accelerator for a given DNN Workload
Hotfilter, T.; Schmidt, P.; Höfer, J.; Kreß, F.; Harbaum, T.; Becker, J.
2023. DroneSE and RAPIDO: System Engineering for constrained embedded systems, 73–78, Association for Computing Machinery (ACM). doi:10.1145/3579170.3579258