Dr.-Ing. Tim Hotfilter, M.Sc.

  • Engesserstr. 5

    76131 Karlsruhe

Forschung

Entwurfsraumexploration für effizientes KI-Beschleuniger / Algorithmen Co-Design

KI Algorithmen drängen immer stärker in den Vordergrund der aktuellen Forschung aber auch in der Industrie. Schon heute werden den Algorithmen durch die Hardwarebeschränkungen wie Energieverbrauch oder Speicherbandbreite Grenzen gesetzt. Deswegen wird es zunehmend wichtiger dedizierte neue KI-Beschleuniger und Berücksichtigung der Algorithmen zu entwickeln. Insbesondere wird bei uns am ITIV an einer Architekturexploration gearbeitet, welche zum Ziel hat einen optimalen Trade-Off zwischen verschiedenen Optimierungsstrategien, der Algorithmengenauigkeit und der Performance zu erhalten.

Energieoptimierung von KI Beschleuniger Architekturen

Für viele KI-Anwendungen spielt der Energieverbrauch eine sehr große Rolle. Dies gilt nicht nur für batteriebetriebene Mobilgeräte, sondern zunehmend auch für Datencenter. Heute sorgt insbesondere das Training der Algorithmen für einen großen Stromverbrauch. Am ITIV werden deshalb neuartige Beschleunigerarchitekturen erforscht, die speziell auf einen niedrigen Energieverbrauch optimiert sind. Dazu kommen verschiedene Strategien wie Approximate Computing, Quantisierung oder Pruning zum Einsatz

Erleichtertes Mapping von KI-Algorithmen dedizierte Beschleuniger

Spezialisierte Beschleuniger für neuronale Netze und KI ermöglichen es erst diese Algorithmen auf eingebetteten Systemen effizient auszuführen. Aus diesem Grund wurden in der letzten Zeit sehr viele solcher Beschleuniger vorgestellt. Dennoch zeichnet sich der wichtige Zusammenhang zwischen den Algorithmen und den Beschleunigern immer deutlicher ab. Für eine schnelle Ausrollung der Algorithmen auf die passenden Beschleuniger, sowie für das Co-Design dieser, sind einfach-einzusetzende Entwicklungswerkzeuge unabdingbar. Das ITIV arbeitet hier an neuen Mapping Strategien, um den Einsatz von KI-Beschleunigern zu vereinfachen.

Lehre

Betreute abgeschlossene studentische Arbeiten (Auswahl)

  • MA: "Evaluation of Concepts for Hardware Accelerated Neural Network Training;"
  • BA: "Implementierung und Evaluation von Mixed Precision Systolischen Arrays im Bereich von Convolutional Neural Networks; Implementation and Evaluation of Mixed Precision Systolic Arrays for Convolutional Neural Networks"
  • BA: "Concept and Evaluation of a High Throughput Neural Network Accelerator Hardware Architecture"
  • MA: "Machine Learning for Material Analysis"

Publikationen


2024
Dissertationen
Efficient Optimization of Convolutional Neural Networks for Modern Embedded High-Performance Applications. Dissertation
Hotfilter, T.
2024, August 14. Karlsruher Institut für Technologie (KIT). doi:10.5445/IR/1000173259
2023
Zeitschriftenaufsätze
EFFECT: An End-to-End Framework for Evaluating Strategies for Parallel AI Anomaly Detection
Stammler, M.; Höfer, J.; Kraus, D.; Schmidt, P.; Hotfilter, T.; Harbaum, T.; Becker, J.
2023. Procedia Computer Science, 222, 499 – 508. doi:10.1016/j.procs.2023.08.188
CNNParted: An open source framework for efficient Convolutional Neural Network inference partitioning in embedded systems
Kreß, F.; Sidorenko, V.; Schmidt, P.; Hoefer, J.; Hotfilter, T.; Walter, I.; Harbaum, T.; Becker, J.
2023. Computer Networks, 229, Article no: 109759. doi:10.1016/j.comnet.2023.109759
Proceedingsbeiträge
ATLAS: An Approximate Time-Series LSTM Accelerator for Low-Power IoT Applications
Kreß, F.; Serdyuk, A.; Hiegle, M.; Waldmann, D.; Hotfilter, T.; Hoefer, J.; Hamann, T.; Barth, J.; Kämpf, P.; Harbaum, T.; Becker, J.
2023. 26th Euromicro Conference on Digital System Design (DSD 2023), 569–576, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/DSD60849.2023.00084
A Low-Stall Methodology for an Interleaved Processor State Replication
Kempf, F.; Höfer, J.; Hotfilter, T.; Becker, J.
2023. 2023 IEEE 16th International Symposium on Embedded Multicore/Many-core Systems-on-Chip (MCSoC), 276 – 283, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/MCSoC60832.2023.00048
Leveraging Mixed-Precision CNN Inference for Increased Robustness and Energy Efficiency
Hotfilter, T.; Hoefer, J.; Merz, P.; Kreß, F.; Kempf, F.; Harbaum, T.; Becker, J.
2023. 2023 IEEE 36th International System-on-Chip Conference (SOCC), Santa Clara, USA, 05-08 September 2023, 1–6, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/SOCC58585.2023.10256738
European Processor Initiative Demonstration of Integrated Semi-Autonomous Driving System
Hofman, D.; Brcic, M.; Kovac, M.; Hotfilter, T.; Becker, J.; Reinhardt, D.; Grigorescu, S. M.; Stevens, R.; Vo, T. T.
2023. 2023 IEEE 36th International System-on-Chip Conference (SOCC), Santa Clara, USA, 05-08 September 2023, 1–6, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/SOCC58585.2023.10257105
A Hardware-Aware Sampling Parameter Search for Efficient Probabilistic Object Detection
Hoefer, J.; Hotfilter, T.; Kreß, F.; Qiu, C.; Harbaum, T.; Becker, J.
2023. Computer Vision Systems – 14th International Conference, ICVS 2023, Vienna, Austria, September 27–29, 2023. Ed.: H. Christensen, 299–309, Springer Nature Switzerland. doi:10.1007/978-3-031-44137-0_25
A Hardware-Centric Approach to Increase and Prune Regular Activation Sparsity in CNNs
Hotfilter, T.; Höfer, J.; Kreß, F.; Kempf, F.; Kraft, L.; Harbaum, T.; Becker, J.
2023. 2023 IEEE 5th International Conference on Artificial Intelligence Circuits and Systems (AICAS), 1–5, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/AICAS57966.2023.10168566
LETSCOPE: Lifecycle Extensions Through Software-Defined Predictive Control of Power Electronics
Chu, A.; Hermann, C. M.; Silz, J.; Pfau, J.; Barón, K. M.; Anantharajaiah, N.; Schmidt, P.; Hotfilter, T.; Xie, X.; Becker, J.; Kallfass, I.; Roth-Stielow, J.; Stork, W.
2023. IEEE EUROCON 2023 - 20th International Conference on Smart Technologies, 665–670, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/EUROCON56442.2023.10199076
SiFI-AI: A Fast and Flexible RTL Fault Simulation Framework Tailored for AI Models and Accelerators
Hoefer, J.; Kempf, F.; Hotfilter, T.; Kreß, F.; Harbaum, T.; Becker, J.
2023. Proceedings of the Great Lakes Symposium on VLSI 2023, 287–292, Association for Computing Machinery (ACM). doi:10.1145/3583781.3590226
An Analytical Model of Configurable Systolic Arrays to find the Best-Fitting Accelerator for a given DNN Workload
Hotfilter, T.; Schmidt, P.; Höfer, J.; Kreß, F.; Harbaum, T.; Becker, J.
2023. DroneSE and RAPIDO: System Engineering for constrained embedded systems, 73–78, Association for Computing Machinery (ACM). doi:10.1145/3579170.3579258
Automated Search for Deep Neural Network Inference Partitioning on Embedded FPGA
Kreß, F.; Hoefer, J.; Hotfilter, T.; Walter, I.; El Annabi, E. M.; Harbaum, T.; Becker, J.
2023. Machine Learning and Principles and Practice of Knowledge Discovery in Databases. Hrsg.: I. Koprinska. Pt. 1, 557–568, Springer International Publishing. doi:10.1007/978-3-031-23618-1_37
2022
Proceedingsbeiträge
Runtime Adaptive Cache Checkpointing for RISC Multi-Core Processors
Kempf, F.; Höfer, J.; Kreß, F.; Hotfilter, T.; Harbaum, T.; Becker, J.
2022. Conference Proceedings: 2022 IEEE 35th International System-on-Chip Conference (SOCC) Ed.: S. Sezer, 1–6, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/SOCC56010.2022.9908110
Data Movement Reduction for DNN Accelerators: Enabling Dynamic Quantization Through an eFPGA
Hotfilter, T.; Kreß, F.; Kempf, F.; Becker, J.; Baili, I.
2022. 2022 IEEE Computer Society Annual Symposium on VLSI (ISVLSI), Nicosia, Cyprus, 04-06 July 2022, 371–372. doi:10.1109/ISVLSI54635.2022.00082
Hardware-aware Partitioning of Convolutional Neural Network Inference for Embedded AI Applications
Kreß, F.; Hoefer, J.; Hotfilter, T.; Walter, I.; Sidorenko, V.; Harbaum, T.; Becker, J.
2022. 18th International Conference on Distributed Computing in Sensor Systems (DCOSS), 133–140, IEEEXplore. doi:10.1109/DCOSS54816.2022.00034
Hardware-aware Workload Distribution for AI-based Online Handwriting Recognition in a Sensor Pen
Kreß, F.; Serdyuk, A.; Hotfilter, T.; Höfer, J.; Harbaum, T.; Becker, J.; Hamann, T.
2022. 2022 11th Mediterranean Conference on Embedded Computing (MECO). Ed.: IEEE, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/MECO55406.2022.9797131
Towards Reconfigurable Accelerators in HPC: Designing a Multipurpose eFPGA Tile for Heterogeneous SoCs
Hotfilter, T.; Kreß, F.; Kempf, F.; Becker, J.; Haro, J. M. De; Jiménez-González, D.; Moretó, M.; Álvarez, C.; Labarta, J.; Baili, I.
2022. 2022 Design, Automation & Test in Europe Conference & Exhibition (DATE), Antwerp, Belgium, 14-23 March 2022, 628–631, Institute of Electrical and Electronics Engineers (IEEE). doi:10.23919/DATE54114.2022.9774716
Embedded Face Recognition for Personalized Services in the Assistive Robotics
Walter, I.; Ney, J.; Hotfilter, T.; Rybalkin, V.; Hoefer, J.; Wehn, N.; Becker, J.
2022. Machine Learning and Principles and Practice of Knowledge Discovery in Databases – International Workshops of ECML PKDD 2021, Virtual Event, September 13-17, 2021, Proceedings, Part I. Ed.: M. Kamp, 339–350, Springer International Publishing. doi:10.1007/978-3-030-93736-2_26
2021
Proceedingsbeiträge
FLECSim-SoC: A Flexible End-to-End Co-Design Simulation Framework for System on Chips
Hotfilter, T.; Hoefer, J.; Kreß, F.; Kempf, F.; Becker, J.
2021. IEEE 34th International System-on-Chip Conference (SOCC), 14th-17th September 2021, Las Vegas, Nevada, USA, 83–88, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/SOCC52499.2021.9739212
2020
Proceedingsbeiträge
QUA³CK - A Machine Learning Development Process
Stock, S. C.; Becker, J.; Grimm, D.; Hotfilter, T.; Molinar, G.; Stang, M.; Stork, W.
2020. Proceedings of Artificial Intelligence for Science, Industry and Society — PoS(AISIS2019), 026, Scuola Internazionale Superiore di Studi Avanzati (SISSA). doi:10.22323/1.372.0026
Embedded Image Processing the European Way: A new platform for the future automotive market
Hotfilter, T.; Kempf, F.; Becker, J.; Reinhardt, D.; Baili, I.
2020. 6th IEEE World Forum on Internet of Things, WF-IoT 2020, New Orleans, United States, 2 - 16 June 2020, Art.Nr. 9221396, Institute of Electrical and Electronics Engineers (IEEE). doi:10.1109/WF-IoT48130.2020.9221396
2019
Zeitschriftenaufsätze
Evaluation of a high-throughput communication link for future automotive ADAS controllers
Yigui, L.; Youteng, S.; Schade, F.; Hotfilter, T.; Becker, J.; Yuan, Z.; Zizhou, O.; Weiming, L.
2019. Proceedings of the Institution of Mechanical Engineers / D, 233 (9), 2371–2378. doi:10.1177/0954407019851334
Vorträge
The QUA³CK Machine Learning Development Process and the Laboratory for Applied Machine Learning Approaches (LAMA)
Becker, J.; Grimm, D.; Hotfilter, T.; Meier, C.; Molinar, G.; Stang, M.; Stock, S.; Stork, W.
2019, Oktober 22. Symposium Artificial Intelligence for Science, Industry and Society (AISIS 2019), Mexiko-Stadt, Mexiko, 20. Oktober–25. Dezember 2019