西安的网站建设,wordpress首页文章图片,网站被k多久恢复,太仓建设银行网站文章作者邮箱#xff1a;yugongshiyesina.cn 地址#xff1a;广东惠州 ▲ 本章节目的
⚪ 了解大数据的概念#xff1b;
⚪ 了解大数据的部门结构#xff1b;
⚪ 了解hadoop的定义#xff1b;
⚪ 了解hadoop的发展史#xff1b;
一、大数据简介
1. 概述…文章作者邮箱yugongshiyesina.cn 地址广东惠州 ▲ 本章节目的
⚪ 了解大数据的概念
⚪ 了解大数据的部门结构
⚪ 了解hadoop的定义
⚪ 了解hadoop的发展史
一、大数据简介
1. 概述
1. 美国调研机构Gartner给出了定义大数据是一种新的处理模式针对海量数据能够提供更强的决策力、洞察发现力和流程优化能力。
2. 维基百科给出了定义大数据是指无法在可承受的时间范围内用常规的软件或者法来对大量的数据进行捕捉、管理和处理。
3. 无论哪个机构对大数据进行定义实际上都是围绕对海量数据进行快速有效的处理方案。
2. 特点
1. Volumn数据体量大。很多中小型企业的入门数据量是从TB级别开始很多大型的企业的入门数据量是从PB级别开始。很多大型的企业累计数据量已经达到了EB甚至ZB级别。
2. Variety数据种类样式和来源多
a. 种类文本(日志)、图片、音频、视频、flash等。
b. 样式结构化数据(数据本身有结构并且数据解析之后能够用一张或者几张固定的表来进行存储)半结构化数据(数据本身有结构但是解析之后无法用一张或者几张固定的表来进行存储例如jsonxml等)非结构化数据(数据本身没有结构并且解析之后无法用几张固定的表来进行存储)。
c. 来源日志、爬虫、网页埋点、手动录入、数据库等。
3. Value数据价值密度低。价值密度指的是想要的数据在总的数据量中的占比。随着网络的发展价值密度越来越低但是不意味着获取到的数据越来越少恰恰相反获取到的数据是在变多的。只是想要的数据的增长速度比不上样本总量的增长速度。
4. Velocity数据增长速度快。随着网络的发展数据的产生速度以及增长速度越来越快。
5. Veracity数据的质量即数据的准确性和可信赖度。随着信息的爆炸以及网络的发展信息的来源良莠不齐导致数据的可信赖度变得不同。
6. Valence数据的连通性。随着大数据的发展衍生出来了很多的技术、模块和产业这个时候就不得不考虑这些模块、技术和产业之间的关系。
7. 随着大数据的发展产生了越来越多的特性Vitality(动态性)、Visualization(可视化)、Validity(合法性例如大数据杀熟、APP的过度索权)等。
3. 应用场景
1. 物流仓储利用大数据对配送路线、物流中转点进行设计。
2. 电商零售利用大数据技术对用户的消费行为进行分析抓住用户的心理变化来做到精准营销。
3. 旅游利用大数据技术来为用户进行合理规划(经济能力、路线等)。
4. 保险利用大数据技术进行精准营销、风险预测。
5. 金融利用大数据技术对用户进行抗压预测以及风险控制。
6. 人工智能利用大量数据对模型进行训练提高模型的准确性。
4. 组织结构 二、Hadoop简介 1. 概述
1. Hadoop是由Yahoo!开发的的后来贡献给了Apache的一套开源的、可靠的、可伸缩的分布式机制。
2. Hadoop是大数据生态系统中的基础框架在大数据中有超过70%的技术或者产业是围绕Hadoop产生的。
3. Hadoop提供了简单的编程模型来对大量数据进行分布式处理。
4. Hadoop能够从一台服务器扩展到上千台服务器每一台服务器都能够提供计算和存储的功能。
5. Hadoop本身提供了探测和处理异常的机制。
6. Hadoop之父Doug Cutting(道格.卡丁)。
7. Hadoop的发行版
a. Apache Hadoop最基础、最原始的版本。相对而言部署和维护比较复杂但是适合于初学者因为它没有将细节隐藏更适合于理解底层机制。
b. CDHCloudera公司推出的商用版本的Hadoop。这版Hadoop更易于部署和维护能够相对轻松的扩展集群规模。Cloudera的标价是每个节点每年4000美元(现在每一个节点的价钱飙升到了10000美元)。
c. HDPHortonworks提供的商用版本的Hadoop更注重分布式存储增强了分布式存储的功能。Hortonworks在售卖的时候以打包的方式来售卖每个包(包含不超过10个节点)每年收费12500美元。最近Hortonworks已经被Cloudera公司收购。
8. Apache Hadoop目前的版本比较混乱。目前市面上Hadoop2.X和Hadoop3.X都在流行使用。 2. 版本 1. Hadoop1.X包含了Common、HDFS和MapReduce模块。现在市面上已经停止使用。
2. Hadoop2.X包含了Common、HDFS、MapReduce以及YARN模块。从Hadoop2.7版本开始还包含了Ozone模块。Hadoop2.X和Hadoop1.X全版本不兼容。
3. Hadoop3.X包含了Common、HDFS、MapReduce、YARN和Ozone模块。Hadoop3.X和Hadoop2.X部分版本兼容。
3. 模块
1. Hadoop Common公共依赖模块。
2. Hadoop Distributed File System (HDFS™)分布式文件系统解决存储问题。
3. Hadoop YARN负责任务调度和集群的资源管理。
4. Hadoop MapReduce基于YARN的分布式计算系统。
5. Hadoop Ozone对象存储。
4. 安装模式
1. 单机模式在一台服务器上安装Hadoop只能启动Hadoop的MapReduce模块。
2. 伪分布式在一台服务器上安装Hadoop利用多个进程来模拟Hadoop集群环境能够启动Hadoop的绝大部分主要服务。
3. 完全分布式在集群中安装Hadoop能够启动Hadoop中的所有的服务。
5. web访问端口 Process Hadoop2.X Hadoop3.X NameNode 50070 9870 SecondaryNameNode 50090 9868 DataNode 50075 9864 ResourceManager 8088 8088 NodeManager X X
三、Hadoop的发展史
1. 创始人
1. Doug Cutting创建了Lucene与Mike Cafarella共同创建了搜索引擎Nutch。 2. Mike Cafarella是一位专攻数据库管理系统的科学家。 2. 发展历程
1. 早在2002年的时候Doug和Mike设计一个搜索引擎Nutch爬取了全网10亿个网页的数据爬取完成之后在设计搜索引擎的过程中遇到了存储的问题。
2. 在2003年的时候Google发表了一篇论文The Google File System(GFS)阐述了分布式存储的思想和原理但是并没有对外公开这个框架。
3. 在2004年的时候Doug和Mike根绝GFS实现了Nutch中的存储系统 - NDFS(Nutch Distributed File System - Nutch分布式文件系统)。
4. 在2004年的时候Google发表了一篇论文The Google MapReduce阐述了分布式计算的思想和原理但是同样没有对外公开使用这个框架。
5. 在2005年的时候Doug根据这篇论文实现了Nutch中的MapReduce。
6. 在Nutch0.8的时候Doug发现NDFS和MapReduce不只可以用于搜索引擎也可以用于其他的分布式处理所以就把NDFS和MapReduce以及其他的一些需要的基本以来分离出来组成了一个新的框架Hadoop同时NDFS改名为HDFS(Hadoop Distributed File System)至此Hadoop正式面世。
7. 在2007年11月的时候Doug加入了Yahoo!在Yahoo!工作期间深度开发了Hadoop后来还根据网友的建议实现了HBase、Pig等框架。
8. 后来Yaoo!将Hadoop、HBase、Pig等框架贡献给了Apache。
