ceph分布式存储介绍

《ceph分布式存储介绍》由会员分享，可在线阅读，更多相关《ceph分布式存储介绍（9页珍藏版）》请在装配图网上搜索。

1、p h 分 布 式 存 储Ceph 最 初 是 一 项 关 于 存 储 系 统 的 PhD 研 究 项 目 ， 由 SageWeil 在UniversityofCalifornia,SantaCruz （UCSC） 实施。Ceph是开源分布式存储，也是主线Linux内核（）的一部分。1.1 Ceph 架构Ceph 生态系统可以大致划分为四部分（见图 1）：客户端（数据用户），元数 据服务器（缓存和同步分布式元数据），一个对象存储集群（将数据和元数据作为 对象存储，执行其他关键职能），以及最后的集群监视器（执行监视功能）。图 1Ceph 生态系统如图 1 所示，客户使用元数据服务器，执行元数据操

2、作（来确定数据位置）。 元数据服务器管理数据位置，以及在何处存储新数据。值得注意的是，元数据存储 在一个存储集群（标为“元数据I/O”）。实际的文件I/O发生在客户和对象存储 集群之间。这样一来，更高层次的 POSIX 功能（例如，打开、关闭、重命名）就由 元数据服务器管理，不过POSIX功能（例如读和写）则直接由对象存储集群管理。另一个架构视图由图2提供。一系列服务器通过一个客户界面访问Ceph生态系 统，这就明白了元数据服务器和对象级存储器之间的关系。分布式存储系统可以在 一 些层中查看， 包括一 个存储设备的 格式 （ ExtentandB-tree- basedObjectFileSy

3、stemEBOFS或者一个备选），还有一个设计用于管理数据复 制， 故障检测， 恢复， 以及随后的数据迁移的覆盖管理层， 叫做ReliableAutonomicDistributedObjectStorage（RADOS）。最后，监视器用于识别组件故障，包括随后的通知。图 2ceph 架构视图1.2 Ceph 组件了解了 Ceph 的概念架构之后，您可以挖掘到另一个层次，了解在 Ceph 中实现 的主要组件。Ceph和传统的文件系统之间的重要差异之一就是，它将智能都用在了 生态环境而不是文件系统本身。图3显示了一个简单的Ceph生态系统。CephClient是Ceph文件系统的用户。 Ceph

4、MetadataDaemon 提供了元数据服务器，而 CephObjectStorageDaemon 提供了实 际存储（对数据和元数据两者）。最后， CephMonitor 提供了集群管理。要注意的 是，Ceph客户，对象存储端点，元数据服务器（根据文件系统的容量）可以有许 多，而且至少有一对冗余的监视器。那么，这个文件系统是如何分布的呢图3简单的Ceph生态系统1.3 Ceph 客户端因为Linux显示文件系统的一个公共界面（通过虚拟文件系统交换机VFS）， Ceph 的用户透视图就是透明的。管理员的透视图肯定是不同的，考虑到很多服务器 会包含存储系统这一潜在因素（要查看更多创建 Ceph

5、集群的信息，见参考资料部 分）。从用户的角度看，他们访问大容量的存储系统，却不知道下面聚合成一个大 容量的存储池的元数据服务器，监视器，还有独立的对象存储设备。用户只是简单 地看到一个安装点，在这点上可以执行标准文件I/O。Ceph 文件系统或者至少是客户端接口在 Linux 内核中实现。值得注意的 是，在大多数文件系统中，所有的控制和智能在内核的文件系统源本身中执行。但 是，在 Ceph 中，文件系统的智能分布在节点上，这简化了客户端接口，并为 Ceph 提供了大规模（甚至动态）扩展能力。Ceph 使用一个有趣的备选，而不是依赖分配列表（将磁盘上的块映射到指定文 件的元数据）。 Linux

6、透视图中的一个文件会分配到一个来自元数据服务器的 inodenumber （INO），对于文件这是一个唯一的标识符。然后文件被推入一些对象 中（根据文件的大小）。使用INO和objectnumber （ONO），每个对象都分配到一 个对象ID （OID）。在OID上使用一个简单的哈希，每个对象都被分配到一个放置 组。放置组（标识为PGID）是一个对象的概念容器。最后，放置组到对象存储设备 的映射是一个伪随机映射，使用一个叫做 ControlledReplicationUnderScalableHashing （CRUSH）的算法。这样一来，放置 组（以及副本）到存储设备的映射就不用依赖任何元数

7、据，而是依赖一个伪随机的 映射函数。这种操作是理想的，因为它把存储的开销最小化，简化了分配和数据查 询。分配的最后组件是集群映射。集群映射是设备的有效表示，显示了存储集群。有了 PGID和集群映射，您就可以定位任何对象。1.4Ceph 元数据服务器元数据服务器（cmds）的工作就是管理文件系统的名称空间。虽然元数据和数 据两者都存储在对象存储集群，但两者分别管理，支持可扩展性。事实上，元数据 在一个元数据服务器集群上被进一步拆分，元数据服务器能够自适应地复制和分配 名称空间，避免出现热点。如图 4 所示，元数据服务器管理名称空间部分，可以 （为冗余和性能）进行重叠。元数据服务器到名称空间的映射

8、在 Ceph 中使用动态 子树逻辑分区执行，它允许 Ceph 对变化的工作负载进行调整（在元数据服务器之 间迁移名称空间）同时保留性能的位置。图 4 元数据服务器的 Ceph 名称空间的分区但是因为每个元数据服务器只是简单地管理客户端人口的名称空间，它的主要应用 就是一个智能元数据缓存（因为实际的元数据最终存储在对象存储集群中）。进行 写操作的元数据被缓存在一个短期的日志中，它最终还是被推入物理存储器中。这 个动作允许元数据服务器将最近的元数据回馈给客户（这在元数据操作中很常 见）。这个日志对故障恢复也很有用：如果元数据服务器发生故障，它的日志就会 被重放，保证元数据安全存储在磁盘上。元数据服

9、务器管理 inode 空间，将文件名转变为元数据。元数据服务器将文件名转 变为索引节点，文件大小，和Ceph客户端用于文件I/O的分段数据（布局）。1.5 Ceph 监视器Ceph 包含实施集群映射管理的监视器，但是故障管理的一些要素是在对象存储 本身中执行的。当对象存储设备发生故障或者新设备添加时，监视器就检测和维护 一个有效的集群映射。这个功能按一种分布的方式执行，这种方式中映射升级可以 和当前的流量通信。Ceph使用Paxos,它是一系列分布式共识算法。1.6 Ceph 对象存储和传统的对象存储类似，Ceph存储节点不仅包括存储，还包括智能。传统的驱 动是只响应来自启动者的命令的简单目标

10、。但是对象存储设备是智能设备,它能作 为目标和启动者，支持与其他对象存储设备的通信和合作。从存储角度来看，Ceph对象存储设备执行从对象到块的映射（在客户端的文件 系统层中常常执行的任务）。这个动作允许本地实体以最佳方式决定怎样存储一个 对象。Ceph的早期版本在一个名为EBOFS的本地存储器上实现一个自定义低级文件 系统。这个系统实现一个到底层存储的非标准接口，这个底层存储已针对对象语义 和其他特性（例如对磁盘提交的异步通知）调优。 今天， B-tree 文件系统 （BTRFS ）可以被用于存储节点，它已经实现了部分必要功能（例如嵌入式完整 性）。因为Ceph客户实现CRUSH，而且对磁盘上

11、的文件映射块一无所知，下面的存储 设备就能安全地管理对象到块的映射。这允许存储节点复制数据（当发现一个设备 出现故障时）。分配故障恢复也允许存储系统扩展，因为故障检测和恢复跨生态系 统分配。Ceph称其为RADOS。2 Ceph 快速配置资源：两台机器：一台server， 一台client，安装其中，server安装时，另外分出两个区，作为osd0、osdl的存储，没有的话，系 统安装好后，使用loop设备虚拟出两个也可以。步骤：1、安装操作系统2、添加 key 到 APT 中，更新，安装 ceph#sudoapt-getupdate&sudoapt-getinstallceph3、查看版本#

12、ceph-vauthclusterrequired=none authservicerequired=none authclientrequired=noneosd osdjournalsize=1000#Thefollowingassumesext4filesystem. filestorexattruseomap=true#ForBobtailandsubsequentversions,youmay#addsettingsformkcephfssothatitwillcreateandmount#characterforthefollowingsettingsandreplacetheva

13、lues#inbraceswithappropriatevalues,orleavethefollowingsettings# #-mkfsoptionwithmkcephfsinorderforthedeploymentscriptto#utilizethefollowingsettings,andyoumustdefinethedevs #optionforeachosdinstance;seebelow.osdmkfstype=xfs osdmkfsoptionsxfs=-f#defaultforxfsis-f osdmountoptionsxfs=rw,noatime#defaultm

14、ountoptionisrw,noatime#Forexample,forext4,themountoptionmightlooklikethis:#osdmkfsoptionsext4=user_xattr,rw,noatime#Execute$hostnametoretrievethenameofyourhost, #andreplacehostnamewiththenameofyourhost.#Forthemonitor,replaceip-addresswiththeIP #addressofyourhost.host=ubuntuhost=ubuntu#ForBobtailands

15、ubsequentversions,youmay #addsettingsformkcephfssothatitwillcreateandmount #characterforthefollowingsettingforeachOSDandspecify #apathtothedeviceifyouusemkcephfswiththe-mkfsoption.devs=/dev/loopOhost=ubuntudevs=/dev/looplhost=ubuntu说明：1 ）配置文件请将认证设置成 noneauthclusterrequired=none authservicerequired=n

16、oneauthclientrequired=none2）指定osdO、osdl的位置如果没有/sda，可使用loop设备虚拟，方法如下:#losetup -.:/0:/0osd_data/var/lib/ceph/osd/ceph-0/var/lib/ceph/osd/ceph-0/journal:/0osd_data/var/lib/ceph/osd/ceph-l/var/lib/ceph/osd/ceph-l/journal rootubuntu:/usr/bin#servicecephstatus :runningversion: :runningversion: :runningver

17、sion: :runningversion: rootubuntu:/usr/bin#cephhealthHEALTH_OKClient可正常创建、拷贝文件3、替换 mon， OKrootubuntu:/usr/bin#ceph-monl00%s00:04rootubuntu:/usr/bin#serviceceph-astart:/0osd_data/var/lib/ceph/osd/ceph-0/var/lib/ceph/osd/ceph-0/journal:/0osd_data/var/lib/ceph/osd/ceph-1/var/lib/ceph/osd/ceph-1/journal

18、rootubuntu:/usr/bin#servicecephstatus :runningversion: :runningversion: :runningversion: :runningversion: rootubuntu:/usr/bin#cephhealth HEALTH_OKClient 可正常创建、拷贝文件3 mds 源码分析暂时未完成附录问题记录cephhealth 命令ceph按照官方文档部署成功，健康检查为health_OK,段时间没有使用，也没有关机，下次使用 时，各节点均能够重启启动成功，但健康检查提示：HEALTH_ERR576pgsstuckinactive;5

19、76pgsstuckunclean;noosds客户端挂在 cephfs 文件系统无法成功。网上查找后，提示注释掉配置文件的#devs二/dev/loopl#devs=/dev/loop0清空目录，执行如下命令：#mkcephfs-a-c/etc/ceph/etc/ceph/#servicecephstart#cephhealth HEALTH_WARN576pgsstuckinactive;576pgsstuckunclean;noosds错误变成了警告“坦lbK : 60us.ar!if _TawlzF3zCSBEES mEELIscufaQ:) ? CIDCrjEEIPW m-.tjJ:

20、y3 s 诰ff&v 宀二-b&tkm; DUE邕 KJ mEcd=pd5L匚 B1Q =-E5-B0BF &rj 誉o色一送-盍=z -上o氏克Dey qps 老n 曙 p lEf 一 匚ft工XIQH 时 世耳od s d一 诵恥|LWu!恥 E 一岂乂盘E曽 寓山富恳E上BlslidmgiABS iloiM si sXL取氏 eqAiKii Aq pswte一 国一.匸遛 xaE oulnpftB&a.iGv E世oJd mE miee黑旳 0/医岁5LUCPz-氏-EMX30Xftlc呂亍OJBpad 也Eeq2営3妄 E-!=|9M鱼莖：电娄片茬ffB luJnE inq rAIEI

21、ff&v 14JUH 一：Jdj_&J 奇 BUG Unaq ssftB =3 片 tlurmMi/lv ss- i lipped?三 wew.zBrzET-ZSTSm包Enw3 * -Bns 呂b .S.SNrt .M.S3=G=2. 匚au_ap * yckw lwu-i3 一 P-Qgrl胃3増起 ws 已r-llPTs空詈戛 8csml- * SSE8 ZL ss gll BI boffis-h-msdmcquje 丄 uQ 呂意 F 诵 pso g -医 etim 总弓 s 倉-3 -学一 $匚一 gT5田 ms 世童山出一童-nnll孚 aiMpaui 也.E 殳盘 E 曽 宀.国

22、0羔I苞S5S空鷹冬需野岸尸二m忌耳* SMy-E3.Es&-_-R_ muMO-Q apBUiac 七 Bd 一 空盘$腹 宀 Bus念.一一no) 土 mo 总與.P/Begy留鬲迦yapeT-.E 毎 一 W3A 卜6SCVBSsi:-uulplwll 閭liKyg-Ju 硏 ：JaJ&013a- -:W_IXh3x w .:日上専口 口匸窑:3DUW- .Iff C-6U- :ullp.J/密:.3&u .iAPKJ-11*00XQUCE uu vu=8 - cdtod- UH3 1 QS|nil IE Ie朋 iMo HIHVBH qllEoqqdoo#UE3ourDprusdumpmdqdoo# oAPPEUPPrusdumpmdqdoo# 3Els3prusduInpmdqdoo#