Schriftspurrekonstruktion eines Sensorstiftes mit Spiking Neural Networks

Schriftspurrekonstruktion eines Sensorstiftes mit Spiking Neural Networks

. KIT
.
. STABILO
.
. STABILO
.


Umfeld

Umfeld der Arbeit ist die Digitalisierung von Handschrift in Echtzeit, beim Schreiben auf Papier. Ein solches System wäre im Alltag flexibel einsetzbar und eröffnet neue Möglichkeiten zur Dokumentation und Kollaboration. Dafür wird ein digitaler Stift entwickelt, ausgestattet z.B. mit Inertialsensoren und Verarbeitungseinheiten. Diesen Stift zu implementieren birgt viele Herausforderungen - schon die präzise Trajektorienrekonstruktion der Handschrift aus Sensordaten stellt ein komplexes Problem dar. Konventionelle Machine-Learning-Ansätze (ML) mit Artificial Neural Networks (ANN) erzielen hier gute Ergebnisse, jedoch sind Training und Ausführung der ANN zu ressourcenintensiv für Kleinstsysteme. Neuerdings haben Spiking Neural Networks (SNN) und ihre Ausführung auf ultra-low-power Neuromorphic Hardware (z.B. Intel Loihi) vielversprechende Ergebnisse erzielt, insbesondere bei der Verarbeitung von Zeitreihendaten – ähnlich jenen aus der Inertialsensorik des digitalen Stifts.   


Aufgabe

Im Rahmen dieser Arbeit werden Spiking Neural Networks für die Rekonstruktion der Schriftspur eines inertialen Sensorstiftes untersucht und implementiert.

Relevant für die Recherche des Stands der Technik sind verschiedene Ansätze der Schriftspur-rekonstruktion, v.a. bestehende ANN-Ansätze. Schlussfolgerungen aus der Recherche ermöglichen dann Entwurf und Training eines SNN, das die Regressionsaufgabe lösen kann. Außerdem ist die Analyse und Vorverarbeitung des verfügbaren Datensatzes von Stabilo ein Kernaspekt der Arbeit, denn die Rohdaten sind erst nach geeigneter Transkodierung kompatibel mit SNN. Sobald das SNN-Software implementiert und evaluiert ist, folgt zum Schluss eine Abwägung zu den Grenzen der Anwendbarkeit von SNN in ressourcenbeschränkten eingebetteten Systemen.  


Voraussetzungen

  • Grundkentnisse in ML und in einem Deep Learning Framework (Keras + Tensorflow, Pytorch, usw.)
  • Erfahrungen mit MEMS-Sensorik von Vorteil
  • Motivation und selbständiger Arbeitsstil