Ceph作为Linux PB级分布式文件系统，因其灵活智能可配置，在软件定义存储的大潮中，越来越受到iass方案提供商的注意。
我们知道OpenStack中围绕虚拟机主要的存储需求来自于nova中的 disk，glance中的image，cinder中的虚拟硬盘，本文中，我们将全部采用ceph作为这些存储的后端，摆脱现有部署中各搞一套的现状。本文主要主要是对Ceph 使用的总结，因个人环境不同，可能存在各种环境与包依赖等问题，本人就遇到了qemu的版本不够，iptables等问题，欢迎交流。先画个集成逻辑图 CEPH底层为RADOS块设备，提供访问RADOS的是librados 库，librad的调用
就是基于librados，Nova只要是通过libvirt->qemu来调用librbd，所以我们知道暂时只有 libvirtDriver支持，Cinder与Glance直接调用librbd。
CEPH存储集中的层次结构也可见上图，主要是先文件条带化为obj， obj通过hash函数映射到PG(上图中Pool就是PG的容器)，PG通过CRUSH算法均匀映射到OSD，OSD基于文件系统，比如xfs，ext4等等。
3. 设计思想
事实上，Ceph最初针对的目标应用场景，就是大规模的、分布式的存储系统。所谓“大规模”和“分布式”，是指至少能够承载PB级别的数据，并且由成千上万的存储节点组成。 Ceph最为核心的技术创新就是前面所概括的八个字——“无需查表，算算就好”。一般而言，一个大规模分布式存储系统，必须要能够解决两个最基本的问题：
一是“我应该把数据写入到什么地方”。对于一个存储系统，当用户提交需要写入的数据时，系统必须迅速决策，为数据分配一个存储位置和空间。这个决策的速度影响到数据写入延迟，而更为重要的是，其决策的合理性也影响着数据分布的均匀性。这又会进一步影响存储单元寿命、数据存储可靠性
、数据访问速度等后续问题。
二是“我之前把数据写到什么地方去了”。对于一个存储系统，高效准确的处理数据寻址问题也是基本能力之一。
针对上述两个问题，传统的分布式存储系统常用的解决方案是引入管串
专用的服务器节点，在其中存储用于维护数据存储空间映射关系的数据结构。在用户写入/访问数据时，首先连接这一服务器进行查操作，待决定/查到数据实际存储位置后，再连接对应节点进行后续操作。由此可见，传统的解决方案一方面容易导致单点故障和性能瓶颈，另一方面也容易导致更长的操作延迟。沼气储存
床身
针对这一问题，Ceph彻底放弃了基于查表的数据寻址方式，而改用基于计算的方式。简言之，任何一个Ceph存储系统的客户端程序，仅仅使用不定期更新的少量本地元数据，加以简单计算，就可以根据一个数据的ID 决定其存储位置。对比之后可以看出，这种方式使得传统解决方案的问题一扫而空。Ceph的几乎所有优秀特性都是基于这种数据寻址方式实现的。
4. 系统结构
Ceph存储系统的逻辑层次结构如下图所示[1]。
自下向上，可以将Ceph系统分为四个层次：（1）基础存储系统RADOS（Reliable, Autonomic, Distributed Object Store，即可靠的、自动化的、分布式的对象存储）
顾名思义，这一层本身就是一个完整的对象存储系统，所有存储在Ceph系统中的用户数据事实上最终都是由这一层来存储的。而Ceph的高可靠、高可扩展、高性能、高自动化等等特性本质上也是由这一层所提供的。因此，理解RADOS是理解Ceph的基础与关键。
物理上，RADOS由大量的存储设备节点组层，每个节点拥有自己的硬件资源（CPU、内存、硬盘、网络），并运行着操作系统和文件系统。4.2、4.3节将对RADOS进行展开介绍。
支脚（2）基础库librados
遥感图像这一层的功能是对RADOS进行抽象和封装，并向上层提供API，以便直接基于RADOS（而不是整个Ceph）进行应用开发。特别要注意的是，RADOS是一个对象存储系统，因此，librados实现的API也只是针对对象存储功能的。
RADOS采用C++开发，所提供的原生librados API包括C和C++两种，其文档参见[2]。物理上，librados和基于其上开发的应用位于同一台机器，因而也被称为本地API。应用调用本机上的librados API，再由后者通过socket与RADOS集中的节点通信并完成各种操作。
（3）高层应用接口
这一层包括了三个部分：RADOS GW（RADOS Gateway）、RBD （Reliable Block Device）和Cep
h FS（Ceph File System），其作用是在librados库的基础上提供抽象层次更高、更便于应用或客户端使用的上层接口。
其中，RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，以供相应的对象存储应用开发使用。RADOS GW 提供的API抽象层次更高，但功能则不如librados强大。因此，开发者应针对自己的需求选择使用。5g怎么做
RBD则提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建volume。目前，Red Hat已经将RBD驱动集成在KVM/QEMU 中，以提高虚拟机访问性能。
