Big Data-Hadoop och dess inverkan på Business Intelligence systems

Nyligen mitt arbete krävde mig att se in i de nya funktionerna i informatica 9.1, men jag trodde aldrig resan kommer att ta mig att utforska vidare på detta och skriva en blogg Let &'; s se hur jag genomkorsas genom olika nya aspekter som blir väldigt mycket relaterade till datahantering och Business Intelligence. Först ska vi se vad som är Bigdata och dess position nu. Omdömen

Folk skulle alltid tänka på hur de organisationer som Yahoo, Google, Facebook lagrar stora mängder data från användarna. Vi bör ta en del att Facebook lagrar fler bilder än Google och' s Picassa. Alla gissningar ?? Omdömen

Vad är Hadoop

Svaret är Hadoop och det är ett sätt att lagra stora mängder data i petabyte och zettabytes. Detta lagringssystem kallas som Hadoop Distributed File System. Hadoop har utvecklats av Doug Cutting bygger på idéer som föreslagits av Google &'; s papper. Mestadels får vi stora mängder maskingenererade data. Till exempel, för Large Hadron Collider studera ursprunget till universum producerar 15 petabyte data varje år för varje experiment som utförs. Omdömen

MapReduce

Nästa sak som kommer till vårt sinne är hur snabbt vi kan få tillgång till dessa stora mängder data. Hadoop använder MapReduce, som först dök upp i forskningsrapporter av Google. Det följer &'; Divide and Conquer &' ;. Uppgifterna är organiserad som nyckelpar värde. Den behandlar hela data som är spridda över otaliga antal system i parallella bitar från en enda nod. Sedan kommer det att sortera och bearbeta insamlade data. Omdömen

Med en vanlig PC server, kommer Hadoop ansluta till alla servrar och distribuerar datafiler över dessa noder. Den använde alla dessa noder som en stor fil för att lagra och bearbeta data, vilket gör det till en 100% oförfalskad distribuerade filsystemet. Extra noder kan läggas till om data når maximal installerad kapacitet, vilket gör installationen mycket skalbar. Det är mycket billigt eftersom det är öppen källkod och spelar &'; t kräver speciella processorer som används i traditionella servrar. Hadoop är också en av de NoSQL implementationer. Omdömen

Hadoop i realtid

Tennessee Valley Authority (TVA) använder smart-grid fältenheter för att samla in uppgifter om sin makt -transmission linjer och anläggningar över hela landet. Dessa sensorer skickar in data med en hastighet av 30 gånger per sekund – med denna hastighet, uppskattar TVA det kommer att ha en halv petabyte data arkiveras inom några år. TVA använder Hadoop för att lagra och analysera data. I Indien Power Grid Corporation of India har för avsikt att installera dessa smarta enheter i sina nät för insamling av uppgifter för att minska överföringsförluster. Det är bättre att de också efterlikna TVA. Nyligen Facebook flyttade till 30 Petabyte Hadoop, som låter otroligt och svårt att smälta det faktum att vi använder en sådan myriad mängd data. Omdömen

Data Warehouse och Business Intelligence produkter stöder Hadoop och MapReduce Omdömen

1 ) Greenplum
2) Informatica Omdömen 3) Teraomdömen 5) Pentaho Omdömen 6) Talend Omdömen

Om Hadoop och andra NoSQL implementeringar används ofta, begränsningar av traditionella SQL-system kan vara lösas som lagra ostrukturerade data. Med mängden data ökar exponentiellt, kommer kommersialiseringen av Hadoop hända i en stor skala och Data Integrator verktyg kommer att spela en nyckelroll i gruvdata för verksamheten.
Läsarna dela dina erfarenheter om någon av er har arbetat med Hadoop på andra ETL och BI-verktyg, verktyg som är tillgängliga på marknaden Omdömen  ..