Mit dem Quelltyp Dateiordner erzeugen Sie aus den Dateien eines Verzeichnisses eine Liste. Jeder Dateiname wird zu einer Datenzeile. Diese Datenzeilen verarbeiten Sie anschließend in den Zieldaten oder dateiweise in einem Kind-Task.
Typische Einsatzfälle:
Stapelverarbeitung aller Dateien in einem Eingangsordner.
Iteration über eine Dateimenge mit einem Kind-Task pro Datei.
Inventarisierung eines Verzeichnisses ohne Inhaltsverarbeitung.
Einstellungen
Nr. | Feld | Beschreibung |
|---|---|---|
(1) | Dateiordner | Lobster durchsucht dieses Verzeichnis nach Dateien. Die Suche erfolgt nicht rekursiv. Sie können auch eine URL angeben. Beispiel: |
(2) | Icon rechts neben (1) | Öffnet die Auswahl der ETL/ELT-Variablen. |
(3) | Dateifilter | Filtert die Dateien nach ihrem Namen. Standardmäßig erwartet Lobster ein Glob-Pattern. Mit dem Präfix
|
(4) | Sortierung | Sortiert die gefundenen Dateien nach Dateiname oder Änderungsdatum, aufsteigend oder absteigend. |
(5) | Abfrage/Einstellungen testen | Führt eine Testabfrage aus und liefert eine Liste der gefundenen Dateien. |
(6) | ETL/ELT-Feld Dateiname | Definiert die Namen der ETL/ELT-Felder, über die Sie den Dateinamen oder den vollständigen Pfad in Zieldaten oder Kind-Tasks auslesen. Beispiele: |
Ablauf
Lobster erstellt aus dem angegebenen Dateiordner eine Liste der gefundenen Dateien. Filter und Sortierung beeinflussen das Ergebnis. Jeder Dateiname entspricht einer Datenzeile.
Sie haben zwei Möglichkeiten, die Datenzeilen weiterzuverarbeiten:
Verarbeitung in den Zieldaten: Sie greifen über die in (6) definierten ETL/ELT-Felder auf den Dateinamen und den Pfad zu.
Verarbeitung in einem Kind-Task: Der Eltern-Task liest die Dateinamen aus. Der Kind-Task verarbeitet pro Datei eine. Geben Sie den Dateinamen im Kind-Task über eines der ETL/ELT-Felder (6) an.
Beispielpfad im Kind-Task:
./webapps/root/upload/myfiles/$FILENAME