珠海品牌型网站建设,祥云网站优化,菏泽郓城网站建设,毕业室内设计代做网站1. Ceph IO流程及数据分布 1.1 正常IO流程图 步骤#xff1a;
client 创建cluster handler。client 读取配置文件。client 连接上monitor#xff0c;获取集群map信息。client 读写io 根据crshmap 算法请求对应的主osd数据节点。主osd数据节点同时写入另外两个副本节点数据。…1. Ceph IO流程及数据分布 1.1 正常IO流程图 步骤
client 创建cluster handler。client 读取配置文件。client 连接上monitor获取集群map信息。client 读写io 根据crshmap 算法请求对应的主osd数据节点。主osd数据节点同时写入另外两个副本节点数据。等待主节点以及另外两个副本节点写完数据状态。主节点及副本节点写入状态都成功后返回给clientio写入完成。
1.2 新主IO流程图
说明 如果新加入的OSD1取代了原有的 OSD4成为 Primary OSD, 由于 OSD1 上未创建 PG , 不存在数据那么 PG 上的 I/O 无法进行怎样工作的呢 步骤
client连接monitor获取集群map信息。同时新主osd1由于没有pg数据会主动上报monitor告知让osd2临时接替为主。临时主osd2会把数据全量同步给新主osd1。client IO读写直接连接临时主osd2进行读写。osd2收到读写io同时写入另外两副本节点。等待osd2以及另外两副本写入成功。osd2三份数据都写入成功返回给client, 此时client io读写完毕。如果osd1数据同步完毕临时主osd2会交出主角色。osd1成为主节点osd2变成副本。
1.3 Ceph IO算法流程 File用户需要读写的文件。File-Object映射 a. ino (File的元数据File的唯一id)。 b. ono(File切分产生的某个object的序号默认以4M切分一个块大小)。 c. oid(object id: ino ono)。Object是RADOS需要的对象。Ceph指定一个静态hash函数计算oid的值将oid映射成一个近似均匀分布的伪随机值然后和mask按位相与得到pgid。Object-PG映射 a. hash(oid) mask- pgid 。 b. mask PG总数m(m为2的整数幂)-1 。PG(Placement Group),用途是对object的存储进行组织和位置映射, (类似于redis cluster里面的slot的概念) 一个PG里面会有很多object。采用CRUSH算法将pgid代入其中然后得到一组OSD。PG-OSD映射 a. CRUSH(pgid)-(osd1,osd2,osd3) 。
1.4 Ceph IO伪代码流程
locator object_name
obj_hash hash(locator)
pg obj_hash % num_pg
osds_for_pg crush(pg) # returns a list of osds
primary osds_for_pg[0]
replicas osds_for_pg[1:]
复制
1.5 Ceph RBD IO流程 步骤
客户端创建一个pool需要为这个pool指定pg的数量。创建pool/image rbd设备进行挂载。用户写入的数据进行切块每个块的大小默认为4M并且每个块都有一个名字名字就是object序号。将每个object通过pg进行副本位置的分配。pg根据cursh算法会寻找3个osd把这个object分别保存在这三个osd上。osd上实际是把底层的disk进行了格式化操作一般部署工具会将它格式化为xfs文件系统。object的存储就变成了存储一个文rbd0.object1.file。
1.6 Ceph RBD IO框架图 客户端写数据osd过程
采用的是librbd的形式使用librbd创建一个块设备向这个块设备中写入数据。在客户端本地同过调用librados接口然后经过poolrbdobject、pg进行层层映射,在PG这一层中可以知道数据保存在哪3个OSD上这3个OSD分为主从的关系。客户端与primay OSD建立SOCKET 通信将要写入的数据传给primary OSD由primary OSD再将数据发送给其他replica OSD数据节点。
1.7 Ceph Pool和PG分布情况 说明
pool是ceph存储数据时的逻辑分区它起到namespace的作用。每个pool包含一定数量(可配置)的PG。PG里的对象被映射到不同的Object上。pool是分布到整个集群的。pool可以做故障隔离域根据不同的用户场景不一进行隔离。
1.8 Ceph 数据扩容PG分布
场景数据迁移流程
现状3个OSD, 4个PG扩容到4个OSD, 4个PG
现状 扩容后 说明 每个OSD上分布很多PG, 并且每个PG会自动散落在不同的OSD上。如果扩容那么相应的PG会进行迁移到新的OSD上保证PG数量的均衡。
