Lernfeld 8 · Prüfung Teil 2

Datenintegration und Übertragung

Daten zwischen Systemen übertragen: ETL, Batch und Echtzeit, Push und Pull, Message Queue, Replikation, sichere Protokolle und Datenraten.

21 Aufgaben dazu übenKostenlos, ohne Anmeldung, mit Lösungsweg

Darum geht es

Datenintegration bringt Daten aus verschiedenen Systemen zusammen. Beim ETL-Verfahren werden Daten aus der Quelle gelesen (Extract), bereinigt und umgeformt (Transform) und in das Ziel geladen (Load). Ein Batch-Lauf überträgt gesammelte Daten zu festen Zeiten, etwa nachts; bei Echtzeit oder Streaming fließen Daten sofort. Beim Pull fragt der Empfänger regelmäßig nach, beim Push meldet die Quelle von sich aus, etwa über einen Webhook. Eine Message Queue entkoppelt Sender und Empfänger: Ist der Empfänger kurz nicht erreichbar, bleiben die Nachrichten in der Warteschlange und gehen nicht verloren.

Bei der Replikation zu einem zweiten Standort gilt eine Schreiboperation synchron erst dann als fertig, wenn beide Seiten sie gespeichert haben. Das verhindert Datenverlust, verlangt aber kurze Laufzeiten. Asynchron schreibt der zweite Standort etwas später nach, sodass bei einem Ausfall die letzten Änderungen fehlen können. Werkzeuge wie rsync übertragen nur geänderte Teile.

Übertragen wird verschlüsselt, etwa mit SFTP, FTPS oder HTTPS; einfaches FTP sendet Zugangsdaten im Klartext. Ein Hashwert über denselben Kanal zeigt nur zufällige Übertragungsfehler, nicht aber eine gezielte Manipulation, denn der Angreifer kann den Hash mit austauschen. Bei der Planung rechnest du, ob die Datenmenge in das Zeitfenster passt oder welche Datenrate viele kleine Nachrichten zusammen erzeugen. Bei einer Migration gehören Bestandsaufnahme, Bereinigung von Dubletten, Testmigration, Prüfung und ein Rückfallplan dazu.

Das solltest du dir merken

ETL heißt Extract, Transform, Load.
Synchrone Replikation verliert keine Daten, braucht aber kurze Laufzeiten.
Eine Message Queue puffert Nachrichten, wenn der Empfänger nicht erreichbar ist.
FTP überträgt Passwörter im Klartext, SFTP und FTPS verschlüsseln.
Ein Hash über denselben Kanal schützt nicht vor Manipulation.

Formeln

Übertragungszeit: $t = \frac{S \cdot 8}{r}$; $t$ Zeit in s, $S$ Datenmenge in Byte, $r$ Datenrate in bit/s
Erforderliche Datenrate: $r = \frac{S \cdot 8}{t _{Fenster}}$; $S$ Datenmenge in Byte, $t_{Fenster}$ verfügbares Zeitfenster in s, $r$ in bit/s
Datenrate vieler Sender: $r = \frac{n \cdot s \cdot 8}{T}$; $n$ Anzahl Sender, $s$ Nachrichtengröße in Byte, $T$ Sendeintervall in s

Typische Fehler in der Prüfung

Synchrone und asynchrone Replikation verwechselt.
Bei der Übertragungszeit Byte nicht in Bit umgerechnet.
Stunden des Zeitfensters nicht in Sekunden umgerechnet.
Einen Hash über denselben Kanal als Schutz gegen Angreifer bewertet.

Tipps aus der Werkstatt

ETL in Reihenfolge: Extract holt die Daten, Transform bereinigt und vereinheitlicht, Load schreibt ins Ziel. Doppelte Kunden nach Import sind ein Transform-Problem: Schreibweisen normieren und Dubletten über eindeutige Merkmale zusammenführen.
Verschlüsselte Übertragung heißt SFTP oder SCP, nie FTP. Für regelmäßige Abgleiche überträgt rsync nur die Unterschiede. Mindestdatenrate = Datenmenge in Bit geteilt durch Zeitfenster in Sekunden, Byte mal 8 nicht vergessen.

Sitzt das Thema? Teste dich mit echten Prüfungsfragen.

21 Aufgaben zu „Datenintegration und Übertragung“, falsche Antworten kommen in der Runde noch einmal.

Jetzt üben

Grundlage: Rahmenlehrplan IT-Berufe (KMK 2019), Lernfeld 8; RFC 4253 (SSH), RFC 4217 (FTPS). Eigene Erklärung, keine Originalaufgaben der Prüfungsausschüsse.