医院营销型网站建设,深圳宝安龙岗紧急寻人,ASP网站建设招聘,绿化效果图怎么制作在hadoop集群中#xff0c;本身就有 9870端口#xff0c;8088端口#xff0c;19888端口 这三个页面#xff0c;当使用spark作为计算引擎时#xff0c;会多出8080#xff0c;4040#xff0c;18080这三个页面#xff0c;页面就很多了#xff0c;现在明确的辨别一下。
单… 在hadoop集群中本身就有 9870端口8088端口19888端口 这三个页面当使用spark作为计算引擎时会多出8080404018080这三个页面页面就很多了现在明确的辨别一下。
单独的Hadoop集群
9870hdfs的页面端口 通讯端口9820
8088resourceManager服务可以看到所有正在运行的或者运行过的任务当你重启yarn的时候其中所有的记录就会消失。
19888JobHistoryServer服务里面存放着所有过去运行过的mapreduce任务是历史日志。重启里面的记录也不会消失
yarn中是没有单独的4040页面的将该页面嵌入到8088内部了。
其中可以在8088页面通过点击不同的按钮进入到程序运行的详情页类似4040和19888页面。
单独的sparkstandalone模式
4040当单个job任务执行时可以进行该页面进行查看job任务的执行情况该任务执行完成其页面就不能进入了。
8080master服务可以说是类似8088可以看到所有正在运行的或者运行过的任务当你重启matser时其中的记录就会消失。
18080HistoryServer服务spark的历史日志服务由于存放所有运行过的spark任务的信息
其中可以在8080页面通过点击不同的按钮进入到程序运行的详情页4040和19888页面。
spark-yarn模式sparkyarn 此时启动的进程为hdfsyarnJobHistoryServerHistoryServer服务
其中端口号有9870hdfs8088yarn19888mapreduce18080spark 当运行map任务或者spark任务都会在8088页面中产生数据此时8088页面可以看到mapreduce任务也可以看到spark任务两种任务是共存的。当任务运行时可以通过相应的按钮进入运行任务的详情页面。其中mapreduce 进入的是yarn而spark进入的就是类似standalone中的4040页面了。 而对于历史日志从8088页面种点击history会根据任务类型的不同进入不同的历史日志页面其中mapreduce完成后的日志会进入19888页面而spark完成后的详情会进入18080页面。 也就是说此时通过8088将任务运行和历史日志的所有页面汇总在了一起可以通过8088进入不同类型进程的详情页面或者历史日志页面。
