Academia de studii economice din bucureşti facultatea de cibernetică, statistică
Yüklə 44,82 Kb.
|
- Bu səhifədəki naviqasiya:
- Anul II Master Informatică Economică BUCUREŞTI 2013 Cuprins
- Oracle Data Integrator - Prezentare
- Bulk Data Integration si Transformation
- Hadoop
- Real – Time Data Integration si Replication
- Oracle GoldenGate Veridata
- Oracle GoldeGate Application Adapters
- ETL – Extract, Transform, Load
- E-LT -Extract, Load, Transform
|
ACADEMIA DE STUDII ECONOMICE din BUCUREŞTI FACULTATEA DE CIBERNETICĂ, STATISTICĂ ȘI INFORMATICĂ ECONOMICĂ SISTEME INFORMATICE INTEGRATE Oracle Data Integrator Mecanisme de integrare Student: Anghelescu Flavius Octavian Grupa: 1069 Anul II Master Informatică Economică BUCUREŞTI 2013 Cuprins 1. Oracle Data Integrator-Prezentare............................................................................................. 3 2. ETL – Extract, Transform, Load............................................................................................................... 6 3. Unelte ETL:.............................................................................................................................. 7 4. E-LT Extract,Load,Transform................................................................................................................... 8 5. Componente ODI:................................................................................................................................ 9 6. Metode de Integrare................................................................................................................ 10 7. ETL versus E-LT....................................................................................................................... 12 8. Concluzii .................................................................................................................................12 9. Bibliografie ............................................................................................................................... 13
Oracle Data Integration ofera acces universal si continuu la date de incredere in tot sistemul. Capabilitatile sale cuprinzatoare includ miscari de date in timp real, transformari, replicare bi-derectionala, data service si calitate de date. Produsele Oracle sunt concepute sa livreze performanta maxima la un pret scazut, utilizare usoara si fiabilitate. Solutiile Oracle de integrare a datelor sunt certificate pentru toate tehnologiile de varf. Oracle Data Integrator (foloseste aceea filizofie ca si OWB-Oracle Warehouse Builder) este o unealta ETL folosita pentru migrare de date cu o viteza mare intre sisteme, nu doar pentru cele Oracle .
Oracle ofera tehnologie unica, next-generation Extract Load si Transform (ELT) care imbunatateste performanta si reduce costul de integrare a datelor, chiar si in sisteme eterogene. In contrast cu instrumentele conventionale ETL, Oracle va ofera productivitatea unei abordari de design declarativ si beneficiile unei platforme de integrare interactive pentru batch usor si integrare in timp real. Hadoop este integrat nativ cu Oracle Data Integrator. Bazat pe Hive, software-ul sporeste productivitatea si va ofera o interfata simpla. Oracle Data Integrator Enterprise Edition va ofera module de knowledge pentru optimizare si extensibilitate. Arhitectura E-LT va permite sa va imbunatatiti performanta si sa micsorati TCO-ul. Real – Time Data Integration si Replication Produsele Oracle GoldenGate va ofera integrare de date in timp real, replicare de date tranzactionala si comparare de date in tot sistemul eterogen. Oracle GoldenGate permite un sistem informatic de analiza economica si suport decizional in timp real pentru o intelegere business imbunatatita, disaster recovery si sincronizare a bazelor de date active-active pentru disponibilitate continua. Oracle GoldenGate Veridata este o solutie de comparare a datelor foarte rapida care raporteaza discrepanta de date intre bazele de date eterogene fara sa va intrerupa procesele de afaceri. Management Pack-ul pentru Oracle GoldenGate include GoldenGate Monitor si Oracle GoldenGate Director simplifica administrarea si monitorizarea proceselor Oracle GoldenGate. Oracle GoldeGate Application Adapters pentru Java si Flat File extind capabilitatile GoldenGate la surse non-database si target-uri, inclusiv mesaje bus JMS, load-ere native de baze de date si altele.  Fig.1 Arhitectura Oracle Data Integrator
Oracle Data Integrator ofera o infrastructura unificata ce organizeaza, eficientizeaza, simplifica si fluidizeaza datele si proiectele de integrare a aplicatiilor. Arhitectura Oracle Data Integrator se regaseste in Fig. 1. ODI separa regulile declarative de detaliile implementarii. Are la baza arhitectura unica E-LT ce elimina necesitatea unui server ETL independent si valorifica, in schimb, puterea inerenta a motoarelor RDBMS. Integrarea datelor si a aplicatiilor intr-o companie si prezentarea lor intr-o viziune unificata este o propunere complexa. Unele nevoi de integrare sunt Data-Oriented in special cele care implica volumuri mari de date, EDA (Event Driven Architecture) sau SOA – pentru integrare asincrona sau sincrona. Integrarea datelor asigura faptul ca informatiile sunt furnizate in timp util, exacte, coerente in cadrul sistemelor complexe. Prin folosirea datelor din depozite diferite este necesar sa se pastreze o coerenta a lor si apare necesitatea existentei unui proces care sa mentina corectitudinea lor. ETL (Extract Transform Load), este un proces de integrare de date si este de obicei asociat cu data warehousing, integrare de date ce acum include circulatia, sincronizarea, calitatea si gestiunea datelor, precum si serviciile de date. Principale motive pentru care companiile aleg Oracle Data Integrator pentru integrarea datelor amintim: -firewall-ul calitatii datelor: datele eronate sunt in mod automat detectate si reciclate inainte de introducerea lor in aplicatie, acest lucru datorandu-se regulilor de integritate si constrangerilor. -independenta de platforma – Oracle Data Integrator suporta toate platformele. -dezvoltare si intretinere simple si rapide: abordarea pe reguli declarative -performanta mai buna la executare: software-ul de integrare traditional (ETL) este bazat pe motoare ce efectueaza transformari ale datelor rand cu rand. Prin implementarea unei arhitecturi E-LT bazata pe motoarele RDBMS si SQL, se pot face transformari de date pe serverul tinta la un nivel stabilit, oferind astfel o performanta mult mai ridicata. -arhitectura mai simpla si mai eficienta: arhitectura E-LT elimina necesitatea pentru un server ETL. Se utilizeaza sursele si serverele tinta pentru a efectua transformari complexe, cele mai multe efectuandu-se cand serverul nu este ocupat cu prelucrarea interogarilor utilizatorilor finali. -economie a costurilor: eliminarea serverelor si motoarelor ETL reduce costul initial de achizitie si mentenanta.
ETL este un proces de integrare de date si este de obicei asociat cu data warehousing. Instrumentele ETL extrag datele din sursele dorite, le transforma in noi formate conform legilor si necesitatilor afacerilor apoi le incarca intr-un depozit de date tinta (unde se tin rezultatele, obiectivele finale). Prima etapa a procesului de ETL reprezinta extragerea datelor din sursele corespunzatoare, din surse diferite unde se gasesc informatiile de care o companie are nevoie pentru realizarea de analize complexe, de dimensiuni mai mari care implica date si informatii din mai multe domenii intercorelate si aflate in interdependenta functionala si economica. Acest proces presupune conectarea, selectarea si extragerea datelor din orice sursa. Datele sunt extrase din surse prin orice mijloace posibile fie printr-o conexiune directa prin standarde precum XML sau prin fisiere de tip CSV – comma-separated values Dupa ce datele sunt extrase din sursele dorite, incepe cea de-a doua etapa a procesului si anume transformarea care asigura ca in depozit doar unul dintre sistemele de coduri (care exista in depozitele din care s-au extras datele) sa fie utilizat. Are loc astel o “curatare” a datelor implicate in procesele operationale pentru ca ele trebuie sa fie corecte, sa corespunda (sa aiba aceleasi valori chiar daca au fost extrase din surse diferite) logic si sa se elimine eventualele diferente care pot sa apara pentru valorile acelorasi seturi de date. Acest proces are, in general, loc pe un server de asteptare ce are rolul de a executa proceduri de transformare complexe. Cea de-a treia etapa se refera la incarcarea (loading) intr-o sursa in care sa se pastreze rezultatele dorite intr-o forma care sa corespunda cerintelor si obiectivelor economice pe care firma respectiva si le-a propus sa le realizeze. Datele transformate sunt aplicate depozitului de date printr-un mecanism de incarcare a datelor. Unele procese insereaza fiecare inregistrare ca un rand nou in tabela depozitului de date folosind o comanda de insert SQL in timp ce alte procese de incarcare insereaza pachete masive de date. Comanda SQL insert este o metoda ce necesita mai mult timp insa permite verificarea integritatii datelor cu fiecare inregistrare. Pachetele mari de date permit incarcarea mai rapida insa nu pot fi verificate inregistrare cu inregistrare.
Ab Initio Apatar
BusinessObjects Data Integrator CloverETL Data Moving Tool Data Transformation Services DMExpress Expense and Cost Recovery System (ECRS) IBM InfoSphere DataStage Informatica LogiXML MuleSoft
Oracle Warehouse Builder Pentaho
Pervasive Software Pipeline Pilot SAP Business Objects Data Integrator (BODI) SAP Business Objects Data Services Scriptella SnapLogic Sprog (software) SQL Server Integration Services Sunopsis Talend Open Studio for Data Integration Oracle Warehouse Builder (OWB) Oracle Data Integrator (ODI) SAS Data Integration Studio Microsoft SQL Server Integration Services (SSIS) Jasper ETL
In E-LT spre deosebire de ETL se poate alege locul in care sa aiba loc faza de transformare, ( pe sursa sau pe baza de date ) eliminand astfel serverul intermediar. Uneltele ELT folosesc cod si metode variate pentru migrarea de date in scopul de a elimina unui sistem de baze de date intermediar. In Fig.2 se poate vedea arhitectura E-LT. 
Fig. 2 Arhitectura E-LT
Oracle Data Integrator Modulele interfetei grafice: Topology Manager, Designer, Security Manager, Operator, Agent care sunt in intregime construite cu componente Java care dau acces la depozit in modul client/server. Metadata Navigator – aplicatie servlet/JSP (java server page) care permite accesul la depozit printr-o interfata web. Lightweight Designer - o aplicatie web pentru a vizualiza si edita obiecte in depozit prin intermediul unui browser Web Oracle Data Integrator Public Web Services - integrator SOA
Metabase Server - contine datele si metadatele Scheduler Server- server de planificare Oracle Data Quality User Interface Oracle Data Quality ODBC Adapter
Oracle Data Quality for Data Integrator
Oracle Data Integrator suporta Knowledge Modules care permite extragerea si incarcarea datelor intr-un cub OLAP. Lucru posibil astfel: -Sursa de date Oracle Olap – suportata de Reverse Knowledge Module numit “RKM Oracle Olap (Jython)”. -Metoda incrementala– suportata de un modul Integrating Knowledge Module numit “IKM Oracle AW Incremental Update” . Ambele KM’s fiind disponobile in instalarea implica ODI. 
Beneficii ODI:
ETL:
E-LT:
Oracle Data Integration este un model integrator al tuturor elementelor prezentate mai sus, elemente ce trebuie luate ca un întreg, deoarece sunt valorificate la maxim doar atunci când sunt folosite interconectate. ODI acoperă toate cerințele de integrare a datelor: de mare volum, de înaltă performanță, sarcini lot, procese de integrare determinate de un eveniment, creaza topologii, organizează modele, interfețe de proiectare, proceduri, captura de date, servicii web, integrareSOA,pacheteșialteobiecte. Oracle Data Integration garantaza o legatura între procese si tehnologie, transformarea de date între diverse platforme, iar succesul este asigurat atunci când rolul fiecăruia este foarte clar şi bine înţeles, astfel incat valoarea cunoştinţelor să fie în permanenţă verificată, asigurată şi în concordanţă cu obiectivele organizaţiei. Oracle Data Integration maximizează productivitatea, calitatea şi profitabilitatea, a inovării, şi execuţiei.
http://oraclebizint.wordpress.com/2009/01/04/oracle-data-integrator-10135-and-oracle-olap-rkm-and-ikm-using-oracle-olap-as-a-source-part-1/ http://www.oracle.com/technetwork/middleware/data-integrator/overview/index.html http://www.softline.ro/business-intelligence/oracle-data-integration-2/ https://s3.amazonaws.com/rmc_docs/An%20Introduction%20to%20Oracle%20Data%20Integrator.pdf http://www.oracle.com/us/products/middleware/data-integration/enterprise-edition/overview/index.html http://www.information-management.com/news/10000401-1.html?pg=2 http://gerardnico.com/wiki/dit/odi/component Yüklə 44,82 Kb. Dostları ilə paylaş:
|