终于配置好了
Hadoop版本3.4.1
跟黑马的教程
https://www.bilibili.com/video/BV1WY4y197g7?spm_id_from=333.788.videopod.episodes&vd_source=531ef0571bd21a6f140383bcf2e73ef8&p=41
但配置不太一样 .sh的环境变量都一样 .xml的跟黑马的不太一样
可参考一下
mapred-site.xml
`
mapreduce.framework.name
yarn
MapReduce 运行在 YARN 上
mapreduce.jobhistory.addressnode1:10020历史服务器通讯地址
mapreduce.jobhistory.webapp.addressnode1:19888历史服务器 Web 界面地址
mapreduce.jobhistory.intermediate-done-dirhdfs://node1:9820/data/mr-history/tmp临时历史日志路径
mapreduce.jobhistory.done-dirhdfs://node1:9820/data/mr-history/done完成任务的历史日志路径
yarn.app.mapreduce.am.envHADOOP_MAPRED_HOME=$HADOOP_HOME
mapreduce.map.envHADOOP_MAPRED_HOME=$HADOOP_HOME
mapreduce.reduce.envHADOOP_MAPRED_HOME=$HADOOP_HOME
mapreduce.map.memory.mb1024Map 任务内存
mapreduce.reduce.memory.mb2048Reduce 任务内存
`
yarn-site.xml
`
yarn.resourcemanager.hostname
node1
ResourceManager 运行节点
yarn.nodemanager.aux-services
mapreduce_shuffle
启用 Shuffle 服务(MapReduce 必需)
yarn.nodemanager.resource.memory-mb4096单个节点总可用内存(4GB)
yarn.scheduler.minimum-allocation-mb512最小容器内存
yarn.scheduler.maximum-allocation-mb3072最大容器内存(需大于 Reduce 任务的 2048)
`
![image]()
配置成功了!!!
![image]()
历史服务器
![image]()
记得快照
!