Dataflöde i MapReduce applikationer!

MapReduce är ett ramverk som syftar till att bearbeta stora datamängder. Den använder en stor grupp av datorer som kallas som noder för att utföra beräkningar. Detta beräknings behandling görs på data som lagras antingen i ett filsystem eller i en databas. I MapReduce applikationer, det finns i princip två komponenter nämligen, karta och minska. I kart steg mottar huvudnoden ingången, partitioner som den i mindre delproblem och slutligen distribuerar dem till arbetare noder. Detta upprepas igen av arbetaren oden leder till en multi-level trädstruktur. De mindre problem som görs i arbetstagaoden processen var och en av dem och passerar svaret tillbaka till sin herre oden. Å andra sidan, tar minska steget svaren och kombinerar dem på något sätt att få slutresultatet.

Inom ramen MapReduce finns en stor fördelad slag som består av heta fläckar som definierats

&tjur; en ingångsläsare
• en kartfunktion Omdömen • a Minska funktion Omdömen • en partitionsfunktionen Omdömen • en jämförelsefunktion Omdömen • en utgångs författare Omdömen

Här Input läsare delar i princip bidrag till lämplig storlek splittringar. Ramverket MapReduce delar sedan en split till varje kartfunktion. Det är ett distribuerat filsystem där ingångsläsaren läser data och genererar de nödvändiga paren nyckel /värde. En annan komponent nämligen kartfunktion tar en serie nyckel /värde-par, bearbetar dem och sedan genererar noll eller flera utgångs nyckel /värde-par. Ofta ingångs- och utgångstyper av minska funktionen skiljer sig från varandra. Omdömen

Minska funktion inom ramen MapReduce samtal varje minska funktion en gång för varje unik nyckel i sorterad ordning. Detta Minska funktionen kan iterera genom de värden som eventuellt är förknippade med den nyckeln. Utgångsvärdet kan vara 0 eller några fler värden. En annan viktig funktion är partitionsfunktionen där varje kartfunktion utgång tilldelas en viss reducering. Detta görs med hjälp av programmets partitionsfunktion. Sedan kommer, en jämförelsefunktion, som används för att köra och sortera kartfunktion. Sedan finns det en annan mycket viktig funktion kallas utgångs författare. Utgången författare används för att skriva produktionen av Minska funktionen det distribuerade filsystemet, ofta kallas stabil lagring. Omdömen

Varje komponent i MapReduce ansökningarna är viktigt och även om en saknas eller inte ordentligt optimerad, Resultaten skulle inte som förväntat. För att definiera ett ramverk MapReduce korrekt måste förstå varje komponent noga, som måste du läsa online tutorials. Utforska online-resurser och utnyttja denna ansökan och tjäna dina olika viktiga ändamål Omdömen  ..