La sortida del mapeador (dades intermèdies) s'emmagatzema al el sistema de fitxers local (no HDFS) de cada node de dades del mapeador individual. Normalment, aquest és un directori temporal que l'administrador de Hadoop pot configurar a la configuració.
On tenen les dades intermèdies de MapReduce?
- La sortida del mapeador (dades intermèdies) s'emmagatzema al sistema de fitxers local (NO HDFS) de cada node del mapeador individual. …
- crec que aquest és el paràmetre que s'ha de modificar per canviar la ubicació intermèdia de les dades..
- mapreduce.cluster.local.dir.
- Espero que això ajudi.
On s'emmagatzema la sortida del mapeador?
9) On s'emmagatzema la sortida de Mapper? Les dades del valor de clau intermèdia de la sortida del mapeador s'emmagatzemaran al sistema de fitxers local dels nodes del mapeador. L'administrador de Hadoop ha establert aquesta ubicació del directori al fitxer de configuració.
Què són les dades intermèdies a MapReduce?
Els genen els fitxers de dades intermedis pel mapa i redueixen les tasques en un directori (ubicació) al disc local. … Fitxers de sortida generats per les tasques de mapa que serveixen d'entrada per a les tasques de reducció. Fitxers temporals generats per les tasques de reducció.
On està escrita la sortida del mapper a Hadoop?
A Hadoop, la sortida de Mapper s'emmagatzema al disc local, ja que és una sortida intermèdia. No cal emmagatzemar dades intermèdiesa HDFS perquè: l'escriptura de dades és costosa i implica la replicació, la qual cosa augmenta encara més el cost i el temps.
