Izrada DWH

Ovo zvuči kao jednostavno pitanje: Zašto bi moja firma trebalo da koristi strategiju skladišta podataka, ali na ovo pitanje postoji nekoliko jedinstvenih odgovora u skladu sa Vašim individualnim poslovnim planom, ciljevima i budžetom. Evo tri razloga zašto bi vaš posao mogao imati koristi od investiranja u strategiju skladišta podataka. Vaš posao može imati koristi od data mininga (rudarenje podataka).

Rudarenje podataka uključuje centralnu bazu podataka i sveobuhvatan poslovni proces. Ukratko, rudarenje podataka podrazumeva proces identifikacije skrivenih obrazaca unutar specifičnih podataka koje vaš biznis unosi. Prepoznavanje ovih obrazaca, bilo da se radi o trenutnom ili budućem skoku potrošača; ili o nadolazećem tržišnom trendu, strategija skladišta podataka vam omogućava da ostanete korak ispred konkurencije. Jedna od prednosti uvođenja strategije skladišta podataka je osiguranje konzistentnosti. Herzing Univerzitet dodatno objašnjava specifičnosti konzistentnosti pri odabiru strategije skladišta podataka: "Skladišta podataka programirana su da primenjuju jedinstveni format na sve prikupljene podatke, što olakšava korporativnim donosiocima odluka analizu i deljenje uvida u podatke sa svojim kolegama širom sveta." Konzistentnost je ključna u vašem poslovanju kako biste iskoristili obrasce i trendove. Strategija skladišta podataka pruža Vama i Vašoj kompaniji konkurentske prednosti. Integracijama koje su moguće, podaci vašeg poslovanja mogu se manipulisati i prikazati zaposlenima i zainteresovanim stranama kako bi se ojačali Vaši ciljevi i nameravani pravci. Takođe, podaci Vaše kompanije mogu informisati i inspirisati Vaše zaposlene da iskoriste prilike koje prethodno nisu bile vidljive bez strategije skladišta podataka.

Kratki odgovor na ovo pitanje je: to zavisi od vrste podataka koje koristite u vašem poslovanju. U većini modernih slučajeva, podaci se prikupljaju i čuvaju u izvornom sistemu ili softveru. Pristupanje podacima iz izvornog sistema često se može postići programski putem API-ja, ručno kroz izvoz CSV, Excel, JSON ili ako su developeri izvora želeli olakšati, direktnom vezom sa bazom podataka. Da biste te podatke preneli u skladište podataka, dva od najčešćih metoda za skladište podataka koje trenutno postoje na tržištu su ETL (ekstrakcija, transformacija i učitavanje) i ELT (ekstrakcija, učitavanje i transformacija). ETL strategija skladišta podataka: Metoda jedan

Jedna od popularnih metoda za učitavanje informacija u skladište podataka je korišćenje ETL-a. ETL označava Ekstrakciju, Transformaciju i Učitavanje. U ETL strategiji, podaci se prvo čuvaju u privremenoj baznoj bazi podataka. Nakon ove faze, izvode se transformacijske operacije kako bi se podaci strukturirali i preoblikovali u odgovarajući oblik za ciljni sistem skladišta podataka. Poslednji deo ETL sistema je kada se strukturirani podaci učitavaju u skladište podataka, transformišu i pripremaju za analizu. ELT strategija skladišta podataka: Metoda dva

Još jedan popularan metod strategije skladišta podataka je ELT metoda. ELT metoda je skraćenica za Ekstrakcija, Učitavanje, Transformacija. Ova metoda je malo manje složena od prethodne, omogućavajući podacima da budu odmah učitani nakon što su uklonjeni iz izvornih izvora podataka. Naravno, ELT metoda može delovati brže od ETL metode, ali može vas koštati mnogo novca. Mnogi od nas, bez obzira na industriju, čuli su izreku "vreme je novac", posebno kada je reč o odgovaranju na pitanja o strategiji skladišta podataka

Vaši odgovori na sledeća pitanja pomoći će vam da shvatite da li vam je potrebno skladište podataka i kakvo skladište podataka vam je potrebno.

Koliko su veliki vaši podaci? Ako imate ogromne količine podataka (recimo, više od 100 miliona redova), možda će vam biti potrebno premeštanje podataka u sistem koji može podržati velike pretrage i brze agregacije. DWH je sigurno dobro rešenje za Vas.

Koliko su ‘čisti’ vaši podaci? Ako je vašim podacima potrebno agregiranje, anonimizacija ili čišćenje kako bi se brzo i korisno analizirali, može biti smisleno periodično preprocesuirati podatke i skladištiti ih odvojeno. Ako vaš skup podataka nije ogroman i vaši podaci nisu zaprljani, možda ćete moći direktno upitati vaše podatke ili tačnu kopiju istih.

Možete li koristiti agregirane podatke? Moguće je kreirati kontrolne table koje prikazuju trenutni status vašeg poslovanja analizom gotovo realnog kloniranog operativnog baze podataka. Međutim, podaci u realnom vremenu mogu zauzeti veliki deo skladišta. Ako vas više interesuju trendovi i dnevni/nedeljni/mesečni/kvartalni brojevi, može biti bolje kreirati sažete tabele vaših živih podataka. Takođe, može biti i drugih slučajeva gde ćete želeti da agregirate detaljne podatke kako biste uštedeli prostor ili osigurali informacije o klijentima.

Gde i kako su vaši podaci skladišteni? Ako su vaši podaci smešteni u SQL bazi podataka, kao što su MySQL ili PostgreSQL, vaš BI alat može direktno pristupiti njima ili će biti jednostavno održavati kopiju za korišćenje od strane BI alata. Međutim, ako su neki od vaših podataka u izvorima sa kojima vaš BI alat ne može povezati, možda će vam biti potrebno kopirati te podatke u SQL bazu podataka ili skladište podataka.

Da li vam je potrebno spajanje baza podataka? Ako trebate spojiti podatke iz više baza podataka ili različitih izvora podataka (kao što su podaci o klijentima sa vašeg veb sajta i interni operativni sistemi), možda ćete morati koristiti ETL (Ekstrakcija, Transformacija i Učitavanje) proces za izgradnju analitičke baze podataka.

Ko je odgovoran za Vašu strategiju skladišta podataka zavisiće od vrste rešenja koje odaberete.

Ako se odlučite za samostalnu strategiju skladišta podataka, trebaće vam tim menadžera informacione tehnologije, stručnjaka za podatke i inženjera, kao i analitičara podataka.

Svaka od ovih uloga ima ključnu ulogu u upravljanju vašim skladištem podataka.

Vaši menadžeri iz različitih IT disciplina su stručnjaci koji postavljaju infrastrukturu od samog početka i održavaju je tokom skladištenja. Ovi timovi upravljaju fizičkim komponentama vašeg skladišta podataka.

Vaši stručnjaci za podatke i inženjeri trebali bi imati veštine i znanje koje se podudaraju sa platformom za skladištenje podataka koju implementirate. Na primer, ako se odlučite za korišćenje usluga Google-ovog skladištenja podataka, vaši inženjeri trebaju biti GCP sertifikovani. Isto važi za Redshift, Azure, AWS i druge dobavljače.

Na kraju, vaši analitičari podataka prevode vaše zahteve za ETL u stvarne procese nad vašim podacima.

Imati ove timove nije preduslov kada se odlučite za upravljano rešenje za skladište podataka. Umesto toga, automatizacija i redovno održavanje iza scene postižu iste (ako ne i bolje) rezultate kao i imati potpuni tim na terenu.

1. Koliko izvora podataka je moguće integirsati u DHW?

Broj izvora podataka koje možete integrisati sa vašim rešenjem za skladište podataka zavisi od samog rešenja. Međutim, obično postoje mnoge opcije za integraciju podataka koje nude rešenja za skladište podataka. Ovo uključuje glavne baze podataka i prilagođena rešenja za skladištenje informacija.

Evo nekih izvora podataka koje možete integrisati u rešenje za skladište podataka:

• Veb stranice i stranice društvenih mreža
• ERP i računovodstveni paketi
• Relacione baze podataka (PostgreSQL, MySQL, itd.)
• Nestruktuirane baze podataka (NoSQL, MongoDB, itd.)
• Liste podataka u dokumentima (CSV, Google Sheets, itd.)

Koristeći API-je i jednokratnA ovlašćenja, možete kreirati mostove podataka koji pružaju visoke performanse, a zahtevaju veoma malo održavanja.

U osnovi, ako postoji API, možete slati podatke u Vaše skladište podataka.

5.Nemamo centralnu bazu podataka, da li ip’ak možemo imati DWH?

Da - skladištenje podataka je idealan način za prikupljanje informacija sa svih vaših izvora podataka na centralnoj lokaciji. Skladište podataka vam omogućava da sve podatke vaše kompanije spojite na jedan izvor istine, bez obzira na to odakle podaci potiču i u kojem su formatu.

Jednom unutar vašeg skladišta podataka, vaši podaci će biti u predvidljivim oblicima i imati dobro razumljiva svojstva. Ovo olakšava analizu tih podataka ili integraciju drugih izvora podataka.