Test it, till you break it: Testen von KI-Systemen

Umfeld

Andrew Ng, ehemaliger Baidu Chief Scientist, Coursera-Mitbegründer und Stanford Adjunct Professor äußerte sich zu Künstlicher Intelligenz wie folgt:

„Just as electricity transformed almost everything 100 years ago,today I actually have a hard time thinking of an industry that Idon’t think AI will transform in the next several years.“

Angesichts der Tatsache, dass immer mehr selbstlernende Systeme in sicherheitskritische Bereiche vordringen, ist es daher notwendig, Vertrauen in KI-Systeme und ihre Entscheidungen aufzubauen. Wie können wir also Menschen dazu bringen, einem Algorithmus zu vertrauen? Eine Möglichkeit ist weitreichende Testen von KI-Systemen. Die besondere Anforderung beim Testen eines selbst lernenden Systems besteht darin, einerseits aus der enormen Anzahl möglicher Testfälle die relevanten Testfälle zu finden und andererseits unbekannte Testfälle zu generieren, die während des Einsatzes des Systems auftreten könnten.

Aufgabe

Ziel der Arbeit ist die Auswahl und Generation von Testfällen zum Absichern eines vorliegenden KI-Systems. Es soll betrachtet wie am besten geeignete Testfälle generiert werden sollen und was eigentlich „geeignet“ genau bedeutet.

Voraussetzungen

Programmierkenntnisse (Python), Machine Learning Skills