Autoritatea contractanta

3.6.6.3Transformare date

Componenta Transformare date va oferi facilități de de tipul ETL (Extract – Transform – Load = Extragere – Transformare - Incarcare) si va avea rolul de a prelua datele modificate primite de la componenta de replicare date, de a aplica reguli de transformare pe campurile inregistrarilor modificate pentru a corespunde structurilor de date din bazele de date destinatie si de a încărca înregistrările transformate in bazele de date de interogari portal si de raportare.

Componenta Transformare date va asigura atât încărcarea inițială a datelor din baza de date sursa (baza de date operationala) in cele doua baze de date destinatie, cat si încărcarea modificărilor ce apar in baza de date sursa pe parcursul exploatării sistemului de către utilizatori.

Principalele cerinte la care trebuie sa raspunda si functionalitati pe care componenta de Transformare date va trebui sa le ofere sunt:

• 
  Compatibilitate cu bazele de date Oracle existente in infrastructura ONRC si cu baza de date ofertata;.
  
• 
  Definirea proceselor de extragere – transformare – incarcare dintr-o interfata grafica;
  
• 
  Gestionarea urmatoarelor cerinte de proces:
  

Agregare;

Compresie/Decompresie;

Conversie tip şi/sau format date;

Manipulare şi executare de operaţii aritmetice pe seturi de date;

Alocare (Assign) şi conectare condiţională;

Filtrare;

Partiţionare/grupare pentru seturile de înregistrări;

Recunoaştere/împerechere pentru înregistrările duplicate;

Sortare;

Manipularea inregistrarilor;

Alocarea şi rezoluţia cheilor surogat;

Validarea datelor;

Procesarea înregistrarilor respinse;

Executarea de job-uri multiple în mod concurent;

Să poată accesa si integra date din baze de date diferite şi să ofere suport pentru accesarea datelor aflate in fisiere (.txt, .csv, .xml)

Să permita implementarea propriului mecanism de detectare a modificării datelor (Changed Data Capture)

Să suporte modalităţi diferite de incărcare a datelor:

incărcare masivă de date (Bulk Load);

incărcare incrementală (Incremental Update);

incărcare a datelor captate printr-un mecanism de detectare a modificării datelor (Changed Data Capture);

Să permită definirea şi incorporarea de componente reutilizabile suplimentare. Aceste componente trebuie să acopere majoritatea tipurilor de transferuri de date: din fişiere in suport relationaI, intre tipuri diferite de baze de date relaţionale (de exemplu intre Oracle şi Fox Pro sau alt tip de baza de date relationala).

Procesele de extracţie, transformare şi incărcare să poată fi definite sub formă declarativă, prin selectarea şi maparea vizuală a tabelelor implicate şi menţionarea componentelor de transfer necesare (pentru optimizarea procesului de dezvoltare)

Să permită vizualizarea/modificarea procesului sau codului generat şi reluarea anumitor paşi de proces astfel incat să se detecteze eventualele erori

Instrumentul propus trebuie sa genereze automat codul programelor de incarcare si transformare, pornind de la specificatiile vizuale introduse de dezvoltator, fiind optimizat pentru fiecare tehnologie de baza de date accesata

In cadrul mapărilor de date, să se permită definirea de filtre şi de restricţii asupra câmpurilor implicate

Să permită consolidarea pasilor de integrare de date sub forma unor fluxuri cu operatori de loop, ramificare pe baza unor conditii etc.

Să permită notificarea prin email a administratorilor in anumite conditii de lucru şi să poată intrerupe fluxul de execuţie in cazul unor erori considerate grave

Fluxurile definite să poată fi rulate in medii diferite (producţie, dezvoltare) doar prin selectarea contextului de lucru

Mediul de lucru să nu necesite cunoştinţe avansate de programare

Să permită păstrarea istoricului diverselor versiuni ale mapărilor de date

Pentru optimizarea proceselor şi a accesului la date, soluţia trebuie să se bazeze pe componente reutilizabile, gata construite, de tipul celor mai bune practici, care să incorporeze elemente predefinite pentru consolidarea, asigurarea calităţii şi accesul specific pentru fiecare din tipurile de surse accesate

Sa permita extinderea conectivitatii sistemului prin adaugarea de noi surse de date

Componentele reutilizabile predefinite pentru accesul la date trebuie să cuprindă logica necesară extracţiei şi integrării de date, cu toţi paşii ce trebuie parcurşi, inclusiv pentru detectarea modificărilor (mecanism de Change Data Capture) la sursă pentru incărcări incrementale

In cadrul mapărilor trebuie să fie permisă utilizarea unor funcţii native ale bazei de date accesate

3.6.6.4Achizitie date

Componenta Achizitie date va avea rolul de incarcare in sistemul de fisiere distribuit de tip Big Data atat a datelor structurate din baza de date de raportare, cat si a datelor nestructurate, conținute in documentele din Sistemul de Arhivare Electronica, in alte surse de date si in log-urile generate de aplicatiile din cadrul organizatiei. Componenta va include un conector special pentru sistemul de fișiere distribuit de tip Big Data in care se vor încărca datele, care va utiliza facilitatile de procesare paralela puse la dispozitie de acesta din urma, in scopul optimizarii procesului de incarcare a datelor. Aceasta componenta va fi utilizata atat pentru incarcarea initiala a datelor, cat si pentru încărcarea modificărilor ce apar in dataele structurate si nestructurate pe parcursul exploatării sistemului de către utilizatori.

Pentru incarcarea datelor structurate, componenta Achitizitie date va dispune de un conector specific tipului de baza de date sursa (Baza de date raportare) si de un mecanism care sa permita captarea datelor modificate in tabelele bazei de date sursa. Acest mecanism nu trebuie sa se bazeze pe trigger-i, care ar avea un impact negativ asupra performantei bazei de date sursa. De asemenea, va asigura si incarcarea initiala a datelor istorice stocate in baza de date FoxPro, precum si a altor seturi de date care vor fi identificate pe perioada etapei de analiza.

Pentru incarcarea datelor nestructurate, componenta Achizitie date va dispune de un mecanism care ii va permite identificarea fisierelor modificate dintr-un anume director intr-un anume interval de timp, pentru a le incarca in sistemul destinatie.

Componenta Achizitie date va dispune de capabilitati de transformare si filtrare a datelor la incarcarea in sistemul de fisiere distribuit de tip Big Data.

Funcționalitățile majore pe care trebuie sa le asigure componenta Achizitie date sunt:

• 
  Integrarea nativa cu sistemul de fisiere distribuit de tip Big Data;
  
• 
  Procesarea datelor se va efectua in sistemul de fisiere distribuit de tip Big Data;
  
• 
  Posibilitatea de programare a job-urilor de incarcare date;
  
• 
  Managementul job-urilor de incarcare date dintr-o interfata utilizator;
  
• 
  Coordonarea job-urilor de incarcare pe tot parcursul ciclului lor de viata care ruleaza pe sistemul de fisiere distribuit de tip Big Data;
  
• 
  Posibilitatea de scriere in cadrul componentei a regulilor de transformare ce au loc in sistemul de fisiere distribuit de tip Big Data intr-un limbaj similar SQL.