Tâches chargement de données

Ce type de tâche permet de charger les données d'une source externe dans la base de données SELLIGENT. Lorsque la tâche de chargement de données est exécutée, une table temporaire est automatiquement créée. Une seule table temporaire peut être créée par tâche. À la fin du job, une procédure stockée est appelée : cette procédure fusionne les données de la table temporaire dans une table SELLIGENT

Note : les clients qui ont utilisé la version précédente du SELLIGENT Dataloader doivent vérifier que la table DATALOADER_FILEPROC contient bien le champ SIMJOBID de type int. Si ce n’est pas le cas, il faut le rajouter.

 

1. Sélectionnez l’emplacement source de l’importation (onglet Source)

Charger à partir du fichier

Une sélection de supports est disponible. (La liste est identique à celle de la tâche 'Exportation des données') : FTP/FTPS/SFP ; Dossier virtuel et URL. Selon le support sélectionné, différents paramètres sont définis.

DOSSIER VIRTUEL :

Charger le fichier à partir du disque ; le fichier doit se trouver dans l'un des emplacements du dossier virtuel JobAgent. Il s'agit d'emplacements prédéfinis (paramètres SELLIGENT), qui peuvent être utilisés par JobAgent pour stocker ou charger des fichiers.

  • Échange de données : Emplacement racine du dossier virtuel dans lequel le fichier est situé.
  • Sous-dossier : Sous-dossier dans le dossier virtuel. Utilisez le bouton 'Parcourir' pour le configurer.

FTP, FTPS, SFTP :

Charger le fichier à partir d'un serveur FTP.

  • Serveur : Le serveur FTP sur lequel le fichier est situé.
  • Login : Le login du serveur FTP.
  • Mot de passe : Le mot de passe du serveur FTP.
  • Sous-dossier : Le sous-dossier du serveur FTP dans lequel le fichier est situé. Si le sous-dossier est vide, le fichier doit être chargé à partir de la racine FTP.

URL :

Charger le fichier à partir de l'URL (HTTP)

  • URL : URL qui pointe vers le fichier qui doit être chargé.
  • Login : Le login pour l'URL.
  • Mot de passe : Le mot de passe pour l'URL.

 

Vous pouvez également définir un filtre sur les fichiers importés : saisissez une extension pour restreindre l'importation à ces fichiers.

Vous pouvez utiliser un fichier déclencheur. Vérifiez l'option et saisissez l'extension du fichier. Le fichier déclencheur permet de vérifier si le fichier d'importation est complet. Si un fichier déclencheur existe, l'importation peut démarrer.

Remarque : le fichier déclencheur porte le même nom que le fichier d'importation. La seule différence réside dans l'extension.

 

Plusieurs autres options d'importation sont disponibles :

  • Autoriser plusieurs importations du même nom de fichier : cette option détermine si un fichier spécifique peut être chargé plus d'une fois. La liste des fichiers chargés est conservée d'une exécution de job à l'autre. Si cette option n'est pas activée, vous ne pourrez par exemple pas importer quotidiennement un fichier nommé 'my_data.csv'.
  • Échec si aucun fichier n'est trouvé : détermine si le job chargé échoue si aucun fichier correspondant au filtre de fichiers n'est trouvé.
  • Supprimer après traitement
  • Conserver un fichier de sauvegarde : activez ce paramètre pour réaliser une copie de sauvegarde des fichiers qui ont été traités dans le dossier Sauvegarde de l'agent Tâche. La conservation de la sauvegarde indique le nombre de fichiers de sauvegarde qui peuvent être conservés dans le dossier de sauvegarde (par ex. si la conservation est définie sur 10 et que le job est exécuté une fois par jour, vous disposerez de 10 jours de sauvegarde). Outre le paramètre de conservation, vous pouvez également configurer un quota de sauvegarde dans les paramètres SELLIGENT. Ce quota a priorité sur la conservation (p. ex. : Si vous définissez une conservation de 10 exécutions et un quota de 500 Mo et que chaque fichier de sauvegarde a une taille = approx. 100 Mo, seules 5 sauvegardes seront conservées dans le dossier de sauvegarde).

 

Options fichier

Si vous sélectionnez l'option 'Charger à partir du fichier', des options supplémentaires peuvent être définies pour le fichier, au bas de la page :

Sélectionnez un type de fichier. Vous pouvez choisir entre : CSV, RSS, TAB, XLS, XML et FIXEDLEN. Selon le type sélectionné, différentes options sont définies :

  • RSS: Lorsqu'un fichier RSS est importé, vous devez indiquer le noeud racine. Tous les noeuds enfants au sein du noeud racine sont récupérés
  • Comma separé:  lorsque Comma separé est sélectionné comme type de fichier, de multiple options sont fournies.
  • Tabulation: whLorsqu'un fichier CSV est importé avec un délimiteur de tabulation, un certain nombre d'options peuvent être définies pour la structure de fichiers.
  • XLS:  activez cette option s'il s'agit de l'importation d'un fichier Excel. Les options ci-dessous vous permettent de définir la structure du fichier xls et la façon dont il doit être interprété par l'agent Tâche.
    • Nom de feuille : le nom de la feuille du fichier xls qui est le sujet de l'importation.
    • Passer les X premières lignes: permet d'indiquer le nombre de lignes du fichier qui ne doivent pas être inclues.
    • La première ligne contient les noms des colonnes : si le fichier xls contient des noms de colonnes, activez cette option. La ligne sera interprétée comme telle.
  • FixedLen: tous les champs ont une longueur fixe. La page de dialogue 'Options' permet de définir la longueur des différentes colonnes dans la source. La structure de la longueur de la colonne est la suivante : Col1Name;Col1Length|Col2Name;Col2Length (i.e.: ID;10|NAME;50|DESC;250)
  • XML: le fichier XML entrant doit être analysé. Le descripteur de format XML permet de définir les tables et les champs qui doivent être séparés du fichier XML.  (note technique XML parsing)
  • JSON: le fichier entrant JSON doit être analysé. Le descripteurformat permet de définir les tables et champs qui doivent être séparés du fichier JSON.

Parmi les types de fichiers ci-dessus, certains disposent d'une option supplémentaire : Taille de lot. Si cette option est configurée, le processeur du fichier est exécuté pour chaque lot et le chargement des données est effectué en lot, avec un maximum de x lignes.

Note technique : lorsqu’on utilise des lots (batches), la table temporaire sync ne contient aucune donnée. Lorsqu’on n’utilise pas de fichiers lots, cette table contient toutes les données

L'option 'Vérifier MD5 à partir du nom du fichier' est utilisée pour revérifier le contenu du fichier. Cette clé MD5 est ajoutée au nom du fichier et est créée sur la base du contenu du fichier. Si cette option est activée, la clé MD5 est vérifiée par rapport au contenu du fichier et active la détection de modifications dans le fichier.

 

2. Définissez le chiffrement et l’option de décompression (onglet Traitement)

Si le fichier source est compressé, activez l'option permettant premièrement de dézipper les fichiers.

Si le fichier source est crypté avec PGP, l'utilisateur doit saisir la phrase secrète et le destinataire. Le destinataire est en réalité une adresse e-mail, utilisée pour récupérer la clé publique. La phrase secrète est utilisée comme mot de passe pour décrypter les données.

Si l'optionUtiliser les dossiers de traitementest utilisée, les clients pourront effectuer plus de contrôle et vérifier davantage ce qui se passe durant le traitement du fichier. Lors de leur traitement, les fichiers sont placés dans le dossier Traitement. Ils passent dans le dossier Terminé une fois terminés et en cas d'erreur, ils sont stockés dans le dossier Échec. Les dossiers sont situés sur le serveur (S)FTP(S).

 

3. Sélectionnez la table de destination intermédiaire (onglet Destination)

L'onglet Destination est utilisé pour déterminer la table temporaire dans laquelle les données sont stockées au cours de la procédure de chargement. En outre, il permet d'identifier la procédure stockée en charge de fusionner les données de la table temporaire avec la table SELLIGENT exécutée ensuite

Une seule table peut être créée par tâche. Saisissez le nom de la table.

Remarque : Le nom de la table peut être saisi librement. Cependant, les restrictions suivantes s'appliquent : Vous ne pouvez pas utiliser le nom d'une table de base de données existante La table ne peut pas être utilisée dans une liste SELLIGENT Le nom de la table ne peut pas débuter par SURVEY_ ou INTERFACE_

Activez cette option pour inclure une colonne MAID, si l'importation est répétée. Si la case à cocher est activée, une colonne MAID supplémentaire est ajoutée à la table créée par l'agent Tâche. Cette option se révèle très pratique pour mettre à jour les enregistrements de la table principale avec les enregistrements correspondants de la table temporaire.

Pour traiter les données, vous devez sélectionner une procédure stockée. Cette procédure est exécutée après le transfert des données et met à jour la base de données SELLIGENT. Activez l'option 'Traiter données' et cliquez sur le bouton Détails pour sélectionner une procédure stockée.

Remarque : Pour modifier la procédure stockée sélectionnée, appuyez sur Effacer puis sur Détails pour en sélectionner une autre.

 

4. Exportez les fiches rejetées (onglet Rejet)

L'onglet Gestion des rejets est utilisé lorsque la source de données doit être validée. Tous les enregistrements qui ne sont pas valides sont exportés dans un fichier séparé.

Concept de base :

  • Les données sont transférées dans une table temporaire.
  • Lorsque l'option Gestion des rejets est activée, deux colonnes supplémentaires sont ajoutées dans la table temporaire (OPTI_REJECTED & OPTI_REJECTED_REASON).
  • La procédure stockée effectue des vérifications des données. Si certains enregistrements contiennent des informations corrompues, la colonne OPTI_REJECTED doit être définie sur '1', ce qui signifie que l'enregistrement est rejeté. Un message de rejet personnalisé peut être défini dans le champ OPTI_REJECTED_REASON.
  • Ensuite, la procédure stockée transfère toutes les données valides depuis la table temporaire vers la table SELLIGENT.

 

La liste des types de supports possibles comprend : le dossier virtuel, FTP, SFTP, FTPS et URL. Les paramètres à compléter dépendent du type de support sélectionné.

L'utilisateur peut sélectionner un sous-dossier pour stocker le fichier. Le type de fichier est défini par défaut sur CSV.

 

Retournez aux Tâches