Prüfungsbereich LF 10c · Prüfung Teil 2

Datenquellen, Datenaufbereitung und Merkmale

Daten für maschinelles Lernen aufbereiten: Datenquellen und Lizenzen, fehlende Werte, Ausreißer, Kodierung, Skalierung und Aufteilung der Daten.

13 Aufgaben dazu übenKostenlos, ohne Anmeldung, mit Lösungsweg

Darum geht es

Ein Modell ist nur so gut wie seine Daten. Zuerst führst du die benötigten Daten zusammen, aus eigenen Systemen, freien Quellen wie offenen Verwaltungsdaten oder von kommerziellen Anbietern. Du prüfst Lizenz, Qualität, Aktualität, Auflösung, Schnittstelle und Kosten. Bei offenen Daten verlangen Lizenzen wie CC BY oder die Datenlizenz Deutschland Namensnennung meist einen Quellenhinweis, NC schließt kommerzielle Nutzung aus.

Beim Bereinigen entfernst du Dubletten, behandelst fehlende Werte (löschen oder ersetzen, etwa durch den Median) und prüfst Ausreißer auf Plausibilität. Merkmale bereitest du passend zu ihrem Skalenniveau auf: Nominale Merkmale wie eine Zahlungsart kodierst du mit One-Hot-Kodierung, Zahlenwerte skalierst du mit Min-Max-Normalisierung oder Standardisierung. Aus Zeitstempeln leitest du nützliche Merkmale wie Wochentag oder Feiertag ab.

Dann teilst du die Daten in Trainings-, Validierungs- und Testdaten, oft etwa 70 zu 15 zu 15. Kennwerte der Skalierung bestimmst du nur an den Trainingsdaten, sonst entsteht ein Datenleck und die Bewertung fällt zu gut aus. Ebenso gefährlich ist ein Merkmal, das die Antwort schon enthält oder zum Vorhersagezeitpunkt noch gar nicht bekannt ist. Bei seltenen Klassen helfen eine geschichtete Aufteilung, Klassengewichte oder Überabtastung.

Das solltest du dir merken

Erst Lizenz und Eignung der Datenquelle prüfen, dann Daten zusammenführen.
Nominale Merkmale per One-Hot-Kodierung, nie als Zahlen 1, 2, 3 mit Rangfolge.
Erst aufteilen, dann Skalierung an den Trainingsdaten bestimmen.
Ein Merkmal darf zum Zeitpunkt der Vorhersage nur bekannte Informationen enthalten.
Unplausible Werte prüfen und dokumentiert behandeln, echte Extremwerte nicht ungeprüft löschen.

Formeln

Min-Max-Normalisierung: $x^{'} = \frac{x - x _{m i n}}{x _{m a x} - x _{m i n}}$; $x$ Messwert, $x_{m i n}$ und $x_{m a x}$ kleinster und größter Wert der Trainingsdaten, $x^{'}$ skalierter Wert zwischen 0 und 1
Standardisierung: $z = \frac{x - x ˉ}{σ}$; $x ˉ$ Mittelwert und $σ$ Standardabweichung der Trainingsdaten, $z$ standardisierter Wert

Typische Fehler in der Prüfung

Skalierung über den gesamten Datensatz berechnet und erst danach aufgeteilt.
Kategorien als fortlaufende Zahlen kodiert, sodass das Modell eine Rangfolge annimmt.
Ein Merkmal verwendet, das die Zielgröße schon enthält, etwa das tatsächliche Lieferdatum.
Freie Daten genutzt, ohne Lizenzbedingungen wie Namensnennung oder Ausschluss kommerzieller Nutzung zu prüfen.

Tipps aus der Werkstatt

Faustregel gegen Datenlecks: erst aufteilen, dann alles andere. Mittelwert, Minimum, Maximum oder fehlende Werte bestimmst du nur aus den Trainingsdaten. Und prüfe jedes Merkmal mit der Frage, ob es zum Zeitpunkt der Vorhersage schon bekannt ist.

Sitzt das Thema? Teste dich mit echten Prüfungsfragen.

13 Aufgaben zu „Datenquellen, Datenaufbereitung und Merkmale“, falsche Antworten kommen in der Runde noch einmal.

Jetzt üben

Grundlage: KMK-Rahmenlehrplan Fachinformatiker/-in (2019), Lernfeld 10c (Werkzeuge des maschinellen Lernens einsetzen). Eigene Erklärung, keine Originalaufgaben der Prüfungsausschüsse.