Datenladenvorgang

Dieser Task-Typ lädt Daten au seiner externen Quelle in die Datenbank von SELLIGENT. Wenn ein Datenladevorgang ausgeführt wird, wird automatisch eine temporäre Tabelle erstellt. Pro Task kann nur eine temporäre Tabelle erstellt werden. Am Ende des Vorgangs wird ein gespeichertes Verfahren aufgerufen, das die Daten in der temporären Datei in einer SELLIGENT Tabelle zusammenführt.

Hinweis: Kunden, die die Vorgängerversion des SELLIGENT Dataloaders haben, überprüfen bitte in der Tabelle DATALOADER_FILEPROC Folgendes: Das Feld SIMJOBID des Typs „int“ muss vorhanden sein. Falls dies nicht der Fall ist, fügen Sie es bitte hinzu.

Wählen Sie den Quellort für den Import (Registerkarte "Quelle").

Von Datei laden

Es ist eine Auswahl an Medium verfügbar. (Die Liste entspricht der Liste für den Task Datenexport): FTP/FTPS/SFP; Repository und URL. Je nach ausgewähltem Medium werden unterschiedliche Parameter festgelegt:

Repository:

Lädt die Datei von der Festplatte; die Datei muss sich in einem der Repository-Speicherorte des JobAgents befinden. Es handelt sich hierbei um vordefinierte Speicherorte (in den SELLIGENT Settings), die vom JobAgent zum Speichern und Laden von Dateien verwendet werden können..

  • Datenaustausch: Stammspeicherort des Repository, wo die Datei gespeichert ist.

  • Unterordner: Unterordner im Repository. Verwenden Sie die Schaltfläche “Job-Agent Dateiablage-Browser”(…) zur Konfiguration.

FTP/FTPS/SFTP:
  • Server: Der FTP-Server, auf dem sich die Datei befindet
  • Login
  • Passwort
  • Unterordner:Der Unterordner auf dem FTP-Server, in dem sich die Datei befindet; wen der Unterordner leer ist, wird die Datei aus dem FTP-Stammverzeichnis geladen.
URL:
  • url: Eine URL, die auf die Datei verweist, die geladen werden muss
  • Login: Das Login für die URL
  • Passwort: Das Passwort für die URL

 

Für die importierten Dateien kann ein Dateifilter definiert werden: Es wird eine Endung eingegeben, die den Import auf diese Dateien begrenzt.

Es kann eine Trigger-Datei verwendet werden. Setzen Sie einfach bei der Option ein Häkchen und geben Sie die Dateiendung ein. Diese Trigger-Datei dient der Überprüfung der Importdatei auf Vollständigkeit. Wenn die Trigger-Datei vorhanden ist, kann der Import beginnen.

Hinweis: Die Trigger-Datei hat denselben Namen wie die Importdatei; der Unterschied liegt in der Endung.

 

Es sind verschiedene zusätzliche Import-Optionen verfügbar:

  • Allow multiple imports of the same file name: Diese Option legt fest, ob eine bestimmte Datei mehr als einmal geladen werden kann. Die Liste geladener Dateien wird während der Ausführung der Vorgänge beibehalten; wenn also diese Option deaktiviert wird, können Sie zum Beispiel nicht täglich eine Datei mit den Namen“my_data.csv” importieren.
  • Fail if no files are found: Legt fest, ob der Vorgang als fehlgeschlagen (“fail”) gilt, wenn keine Dateien gefunden werden, die dem Datei-Filter entsprechen.
  • Delete after processing (nach Verarbeitung löschen)
  • Keep a backup file (Eine Backup-Datei speichern): Aktivieren Sie diese Einstellung, um ein Backup der verarbeiteten Dateien im Backup-Ordner des JobAgent zu speichern. Die Backup Retention (Backup-Aufbewahrung) legt fest, wie viele Backup-Dateien im Backup-Ordner gespeichert bleiben (wenn z.B. die Retention auf 10 eingestellt wird, und der Vorgang einmal pro Tag abläuft, bestehen Backups für 10 Tage). Neben der Einstellung für die Aufbewahrung gibt es auch ein konfigurierbares Backup-Pensum in den SELLIGENT Einstellungen. Dieses Backup hat Priorität vor der Retention-Einstellung (d.h. Wenn Sie eine Aufbewahrung (Retention) von 10 Ausführungen eingeben, und ein Pensum von 500 MB, dann befinden sich bei ungefährer Größe der Backup Datei von 100 MB nur 5 Backups im Backup-Ordner.

Datei-Optionen

Wenn ‘Aus Datei laden‘ ausgewählt wird, werden im unteren Bereich der Seite zusätzlich Datei-Optionen festgelegt:

Es muss ein Dateityp ausgewählt werden. Sie können wählen zwischen Comma separated, RSS, TAB, XLS, XML und FIXED width. Je nach ausgewähltem Typ werden unterschiedliche Optionen festgelegt:

  • RSS: Wenn eine RSS-Datei importiert wird, muss der Wurzelknoten angegeben werden. Alle Wurzelknoten in diesem Stammverzeichnis werden abgerufen.
  • Kommagetrennt: Wird als Dateityp ‘Durch Komma getrennt’ ausgewählt, sind über die Registerkarte “Optionen” mehrere Optionen verfügbar.
  • Tabulatorgetrennt: Wenn eine CSV-Datei mit einem TAB-Trennzeichen importiert wird, können verschiedene Optionen für die Dateistruktur festgelegt werden. (Weitere Informationen zu diesen Optionen finden Sie im Abschnitt zu kommagetrennten Dateien).
  • XLS: Setzen Sie bei dieser Option ein Häkchen, wenn der Import mit einer Excel-Datei durchgeführt wird. Mit den folgenden Optionen definieren Sie die Struktur der XLS-Datei, und wie sie vom JobAgent interpretiert werden soll.
    • Arbeitsblatt-Name: Der Name des Blattes in der XLS-Datei, das Gegenstand des Imports ist
    • Zeilen überspringen: Anzahl der Zeilen in der Datei, die ausgelassen werden sollen.
    • Erste Zeile enthält Spaltenüberschriften: Aktivieren Sie diese Option, wenn die XLS-Datei Spaltennnamen enthält. Die Zeile wird als solche interpretiert.
  • Feste Breite: Alle Felder haben eine feste Länge. Über den “Optionen”-Dialog können Sie die Länge der verschiedenen Spalten in der Quelle einstellen. Die Struktur der Spaltenlänge ist folgendermaßen: Col1Name;Col1Length|Col2Name;Col2Length (i.e.: ID;10|NAME;50|DESC;250)
  • XML: Die eingehende XML-Datei muss analysiert werden. Mit dem “XML Format-Deskriptor” können die Tabellen und Felder festgelegt werden, die von der XML-Datei getrennt werden müssen. (Technischer Hinweis)
  • JSONDie eingehende XML-Datei muss analysiert werden. Mit dem "Format-Deskriptor” können die Tabellen und Felder festgelegt werden, die von derJSON-Datei getrennt werden müssen.

 

Manche der oben genannten Dateitypen haben eine zusätzliche Option: Batch-Größe. Wenn diese konfiguriert wurde, wird der Dateiprozessor für jedes Batch (Stapeldatei) ausgeführt, und die Daten werden stapelweise, mit maximal x Zeilen geladen.

Technischer Hinweis: Bei der Verwendung von Batch-Dateien, enthält die temporäre Sync-Tabelle keine Daten. Wenn keine Batch-Dateien verwendet werden, enthält diese Tabelle alle Daten.

Die Option ‘MD5 von Dateiname überprüfen?’ wird verwendet, um den Inhalt der Datei zu überprüfen. Dieser MD5-Schlüssel wird zum Dateinamen hinzugefügt und basierend auf dem Inhalt der Datei erstellt. Wenn die Option aktiviert ist, wird der MD5-Schlüssel mit dem Dateiinhalt verglichen und ermöglicht die Erkennung von Änderungen in der Datei.

 

 

 

Stellen Sie die Verschlüsselung und die Option für das Entzippen ein (Registerkarte "Verarbeitung").

Wenn die Quelldatei verzippt ist, überprüfen Sie zunächst die Option zum Entzippen von Dateien.

Wenn die Quelldatei mit PGP verschlüsselt ist, muss der Benutzer die Pass Phrase und den Empfänger eingeben. Der Empfänger ist eigentlich eine Mail-Adresse, die zum Empfang des öffentlichen Schlüssels genutzt wird. Die Pass-Phrase wird als Passwort zur Entschlüsselung verwendet.

Wenn die Option „Bearbeitungsordner verwenden" verwendet wird, können Benutzer mehr kontrollieren und besser prüfen, was während der Bearbeitung der Datei passiert. Während der Behandlung werden Dateien im Bearbeitungsordner abgelegt, wenn sie fertig sind im Abgeschlossen-Ordner und wenn etwas schief gelaufen ist, werden die Dateien im Fehlgeschlagen-Ordner gespeichert. Die Ordner befinden sich auf dem (S)FTP(S)-Server .

 

 

Wählen Sie die Zwischenzieltabelle (Registerkarte "Ziel").

Die Registerkarte "Ziel" wird zur Festlegung der temporären Tabelle verwendet, wo die Daten während des Ladevorgangs gespeichert werden. Zusätzlich dazu kann das danach ausgeführte gespeicherte Verfahren identifiziert werden, das für die Zusammenführung der Daten in der temporären Tabelle mit der SELLIGENT Tabelle verantwortlich ist.

Pro Task kann nur eine temporäre Tabelle erstellt werden. Geben Sie den Namen  der Tabelle ein

Hinweis: Der Name der Tabelle kann frei gewählt werden. Die folgenden Beschränkungen existieren jedoch: Der Name einer bestehenden Datenbank ist nicht zulässig. Die Tabelle darf nicht in einer SELLIGENT tabelle in Verwendung sein. Der Tabellenname darf nicht mit SURVEY_ oder INTERFACE_ anfangen.

Aktivieren Sie die Option, um eine MAID-Spalte hinzuzufügen, falls wiederholte Importe auftreten. Bei Aktivierung dieses Kontrollkästchens wird eine zusätzliche Spalte MAID zu der vom JobAgent erstellten Tabelle hinzugefügt. Hier können bequem Datensätze in der Haupttabelle mit den entsprechenden Datensätzen der temporären Tabelle aktualisiert werden.

Zur Verbreitung von Daten muss ein gespeichertes Verfahren ausgewählt werden. Dieses Verfahren wird nach der Übertragung ausgeführt und aktualisiert die SELLIGENT Datenbank. Setzen Sie ein Häkchen bei der Option ‘Process data’ und drücken Sie die Schaltfläche “Details”, um ein gespeichertes Verfahren auszuwählen.

HINWEIS: Um das ausgewählte Stored Procedure zu ändern, müssen Sie zuerst „Löschen“ und dann „Details“ klicken, um ein anderes auszuwählen..

 

 

Exportieren Sie abgelehnte Datensätze (Registerkarte "Ablehnung").

Die Registerkarte „Ablehnungsverwaltung“ wird verwendet, wenn die Datenquelle Validierung erfordert. Alle ungültigen Datensätze werden in einer separaten Datei exportiert.

Basiskonzept:

  • Daten werden in eine temporäre Tabelle übertragen
  • Wenn Ablehnungsverwaltung aktiviert ist, werden zwei zusätzliche Spalten zur temporären Tabelle hinzugefügt (OPTI_REJECTED & OPTI_REJECTED_REASON)
  • Das gespeicherte Verfahren führt Datenüberprüfungen durch. Wenn Datensätze fehlerhafte Daten enthalten, muss die Spalte OPTI_REJECTED auf ‘1’ gesetzt werden, d.h., der Datensatz wird abgelehnt. Im Feld OPTI_REJECTED_REASON kann eine benutzerdefinierte Ablehnungsmeldung (reject message) eingestellt werden.
  • Danach überträgt das gespeicherte Verfahren alle gültigen Daten aus der temporären Tabelle in die SELLIGENT Tabelle.

Die tabelle möglicher Medientypen enthält Repository, FTP, SFTP, FTPS, und URL. Die auszufüllenden Parameter hängen vom ausgewählten Medientyp ab.

Zum Speichern der Datei kann der Benutzer einen Unterordner auswählen. Der Dateityp ist per Default kommagetrennt.

 

 

Zurück