ACTUALITÉS

Principe de base

ONYX impose de déclarer une clé primaire sur chaque table captée. Cette clé est nécessaire à la capture du changement. C’est en effet sur cette clé que les lignes lues dans une source de données sont rapprochées avec celles présentes dans l’ODS, issues d’un captage précédant.

Il arrive toutefois que certaines sources de données ne permettent pas de déclarer une clé parfaitement unique.

Dans ce cas, les lignes en doublon sur la clé primaire doivent être gérées.

 

La première version d’ONYX avait un mode de gestion assez brutal consistant à ignorer les doublons. Ainsi, seule la première ligne de chaque groupe de doublons était chargée dans l’ODS.

Si ce mode de gestion est efficace, il pose toutefois problème : la présence de doublons dans la source de données est parfois justifiée et doit être prise en compte.

 

La nouvelle version d’ONYX gère les doublons différemment, de manière à n’exclure aucune  des lignes captées.

En pratique

Chaque table de l’ODS contient désormais la colonne « sn_duplicate_number ». Cette colonne est valorisée avec le rang (unique) de la ligne dans le groupe de doublons.

Le rang est affecté à chaque doublon de manière arbitraire, sans règle de tri.

Toutes les lignes d’un groupe de doublons ont en commun la colonne « sn_oid ».

Pour les lignes sans doublon, cette colonne est toujours valorisée à 1.

 

Les principes généraux de traitement des lignes en doublon s’appliquent à l’identique de ce qui est fait pour les lignes sans doublon, notamment le versionnage qui s’effectue désormais sur la clé primaire et le numéro de doublon.

Onyx Paris, vos données, maintenant.