ETL/ELT (Bridge-Datendienst)

Wenn ein ETL/ELT-Job nicht direkt in der Lobster Data Platform (LDP), sondern auf einer Bridge (externer Server) ausgeführt werden soll, delegiert die LDP die Verarbeitung an die Bridge. Nach Abschluss meldet die Bridge den Job-Status über eine Callback-URL an die LDP zurück. Dafür sind zwei Konfigurationsschritte notwendig: die Auswahl der Bridge in der Pipeline und die Angabe der Callback-URL in der startup.xml der LDP.

Pipeline auf Bridge verweisen

Damit ein ETL/ELT-Job auf einer Bridge ausgeführt wird, setzen Sie in der ETL/ELT-Pipeline:

• Abarbeitung → External server

• Remote Server Alias → Alias der Bridge, auf der die Verarbeitung laufen soll

Die Bridge führt den Job anschließend mit ihren eigenen Verarbeitungsfunktionen aus. Auf der Bridge selbst ist keine zusätzliche Konfiguration erforderlich.

Callback-URL für Bridge konfigurieren

Die Bridge benötigt eine Rückmelde-Adresse (Callback-URL), um den Job-Abschluss an die LDP zu signalisieren. Diese URL wird zentral in der startup.xml der LDP über den Parameter webServiceUrl gesetzt und von der LDP automatisch in den ETL-Job-Payload eingebettet, der an die Bridge übergeben wird.

Fügen Sie in der startup.xml der LDP folgende Zeile ein oder passen Sie sie an:

<Set name="webServiceUrl">https://<LDP_IP_ADDRESS>/dw/Request</Set>

Ersetzen Sie <LDP_IP_ADDRESS> durch den Hostnamen oder die IP-Adresse Ihrer LDP-Instanz, die von der Bridge aus erreichbar ist.

Anforderungen an die Callback-URL

• Fully qualified URL: Verwenden Sie eine vollständige URL (inklusive Schema und Host), die aus dem Netzwerksegment der Bridge aufgelöst und erreicht werden kann. Interne Kurznamen oder localhost funktionieren nicht.

• Netzwerk-Konnektivität: Prüfen Sie Firewall-Regeln und DNS-Auflösung zwischen Bridge und LDP. Die Bridge muss die LDP auf dem konfigurierten Port (in der Regel HTTPS/443) erreichen können.

• Endpoint-Test: Testen Sie den Callback-Endpoint und das Payload-Handling, bevor Sie produktive ETL-Jobs auf der Bridge ausführen. So stellen Sie sicher, dass Statusmeldungen korrekt entgegengenommen und verarbeitet werden.

Hinweis

Ohne gültige webServiceUrl kann die Bridge den Job-Abschluss nicht zurückmelden. Die LDP erhält in diesem Fall keinen finalen Status, obwohl der Job auf der Bridge erfolgreich verarbeitet wurde.

Hintergrund: ETL und ELT

ETL (Extract, Transform, Load) und ELT (Extract, Load, Transform) bezeichnen zwei Muster für Datenintegration. Bei ETL werden die Daten vor dem Laden in das Zielsystem transformiert; bei ELT erfolgt die Transformation nach dem Laden, typischerweise innerhalb des Zielsystems (z. B. eines Data Warehouse). Die Bridge-Delegation und die Callback-Konfiguration gelten für beide Varianten gleichermaßen.