Вывод картографа (промежуточные данные) сохраняется в локальной файловой системе (не HDFS) каждого отдельного узла данных картографа. Обычно это временный каталог, который может быть настроен администратором Hadoop в конфигурации.
Где MapReduce промежуточные данные?
- Вывод преобразователя (промежуточные данные) хранится в локальной файловой системе (НЕ HDFS) каждого отдельного узла преобразователя. …
- я думаю, что это параметр, который нужно изменить, чтобы изменить местоположение промежуточных данных..
- mapreduce.cluster.local.dir.
- Надеюсь, это поможет.
Где хранится вывод маппера?
9) Где хранится вывод Mapper? Данные промежуточного значения ключа вывода преобразователя будут храниться в локальной файловой системе узлов преобразователя. Расположение этого каталога задается в файле конфигурации администратором Hadoop.
Что такое промежуточные данные в MapReduce?
Промежуточные файлы данных генерируются задачами map и reduce в каталоге (местоположении) на локальном диске. … Выходные файлы, сгенерированные задачами карты, которые служат входными данными для задач сокращения. Временные файлы, сгенерированные задачами сокращения.
Где вывод маппера, написанного на Hadoop?
В Hadoop выходные данные Mapper хранятся на локальном диске, поскольку они являются промежуточными. Нет необходимости хранить промежуточные данныена HDFS, потому что: запись данных является дорогостоящей и включает репликацию, которая еще больше увеличивает стоимость головы и времени.
