当前位置: 首页 > news >正文

MapReducedYARN配置

终于配置好了

Hadoop版本3.4.1

跟黑马的教程
https://www.bilibili.com/video/BV1WY4y197g7?spm_id_from=333.788.videopod.episodes&vd_source=531ef0571bd21a6f140383bcf2e73ef8&p=41

但配置不太一样 .sh的环境变量都一样 .xml的跟黑马的不太一样

可参考一下
mapred-site.xml
`
mapreduce.framework.name
yarn
MapReduce 运行在 YARN 上

mapreduce.jobhistory.addressnode1:10020历史服务器通讯地址 mapreduce.jobhistory.webapp.addressnode1:19888历史服务器 Web 界面地址 mapreduce.jobhistory.intermediate-done-dirhdfs://node1:9820/data/mr-history/tmp临时历史日志路径 mapreduce.jobhistory.done-dirhdfs://node1:9820/data/mr-history/done完成任务的历史日志路径 yarn.app.mapreduce.am.envHADOOP_MAPRED_HOME=$HADOOP_HOME mapreduce.map.envHADOOP_MAPRED_HOME=$HADOOP_HOME mapreduce.reduce.envHADOOP_MAPRED_HOME=$HADOOP_HOME mapreduce.map.memory.mb1024Map 任务内存 mapreduce.reduce.memory.mb2048Reduce 任务内存 `

yarn-site.xml

`

yarn.resourcemanager.hostname
node1
ResourceManager 运行节点


yarn.nodemanager.aux-services
mapreduce_shuffle
启用 Shuffle 服务(MapReduce 必需)

yarn.nodemanager.resource.memory-mb4096单个节点总可用内存(4GB) yarn.scheduler.minimum-allocation-mb512最小容器内存 yarn.scheduler.maximum-allocation-mb3072最大容器内存(需大于 Reduce 任务的 2048) `

image
配置成功了!!!

image

历史服务器
image

记得快照

http://www.sczhlp.com/news/4646/

相关文章:

  • Animate.css - 轻松实现网页动画效果
  • nginx 配置 - Lafite
  • 深入解析:Python day18
  • pygame小游戏打飞机_7射中检测
  • 性能优化:SQL优化案例:分页查询
  • AI如何重塑芯片设计未来
  • 3分钟安装教程|T30天正电气 v1.0 互联版高效上手指南
  • 电脑使用ssh连接termux
  • MIT6.s081_Lab10 mmap: Mmap
  • 故障分析:SQL语法错误导致library cache lock/library cache:mutex X
  • 【自学嵌入式:51单片机】用单总线与温度传感器DS18B20通信
  • lua5.1位操作
  • 第十八章 获得大量免费流量的核心:关键词
  • 读书笔记:Oracle锁机制解析:从闩锁到死锁的实战指南
  • 大数据之路:阿里巴巴大数据实践——元数据与计算管理
  • 题解:P13080 [NOISG 2017] Best Places / 最佳选址
  • 题解:P13101 致谢 | FJCPC2025全体参赛选手赛事staff
  • bootstrap 5的渐变背景色和文字颜色
  • 《AutoCAD 给排水插件神器!T30天正 v1.0 一键布图+流量计算实操演示》
  • [笔记]中国剩余定理(CRT)和扩展中国剩余定理(exCRT)
  • [CQOI2018] 解锁屏幕
  • spring boot + vue +MySQL 项目的服务器部署
  • FDM下载神器:免费多线程下载工具,速度90+M/S,完美替代1DM!
  • J1939协议
  • 设备端语音处理技术解析
  • 对于依赖注解,@Autowired 和 @Resource 有什么不同?
  • 第三周假期进度报告(7.27 - 8.2)
  • MySQL 24 MySQL是怎么保证主备一致的?
  • centos mongodb 第十七节课 常用的操作符
  • 题解-CSPS模拟赛8 T2