分布式存储ceph：加密和压缩
加密加密是将用户的明文数据通过加密，变成加密数据，在数据被窃取的时候起到防护作用。对于Ceph来说，从应用程序到存储设备的数据链路上来看，根据对数据加密的位置，现阶段主要有以下几种加密方式。·客户端加密：这包括应用程序本身的加密，以及更为广泛的通用加密模块。如Linux内核的dmcrypt。这些加密...
ceph deep-scrub卡住导致业务中断问题分析
1. 问题背景一个pg scrub了14天，前端虚机挂掉大半2. 分析过程2.1 查看scrub pg的主OSD日志从日志里可以看出pg[13.832]：有slow op，该oldest slow op等待时间1199828s==14天这些op 都处于waiting for scrub什么场景会导致...
cephadm安装reef版本ceph集群
环境 操作系统 Rocky Linux 9.2 minimal 三个节点节点名称 ipmipub ipclus ipceph1192.168.255.8192.168.120.10ceph2192.168.255.9192.168.120.20ceph3192.168.255.10192.168.1...
ceph与RAID的不解之缘
RAID(Redundant Array of Independent Disks)即独立冗余磁盘阵列，是一种把多块独立的硬盘（物理硬盘）按不同的方式组合起来形成一个硬盘组（逻辑硬盘），让用户认为只有一个单个超大硬盘，从而提供比单个硬盘更高的存储性能和提供数据备份技术。1.实现方式：硬件、软件硬件R...
Ceph系统架构概述
为什么80%的码农都做不了架构师？>>> Ceph的系统架构如下图所示（来源于Ceph.com）： 根据架构图，Ceph系统大致可以分为两个层次： 用于实现存储资源整合的RADOS。 该层次是一个完整的分布式存储系统，对外以libRADOS的方式提供基于对象协议的访问...
[Ceph分析]Fuse流程分析
1.前言本文是对FUSE-2.9.2源码的学习总结。FUSE代码在用户空间和内核空间都有运行，为了突出重点，先简要描述了在基于FUSE的用户空间文件系统中执行write操作的一般流程，接下来介绍了重要的数据结构，最后以FUSE的运行过程为线索，剖析FUSE程序运行过程的3个关键步骤：1.FUSE模块...
【ceph】配置 ceph dashboard 详细配置过程
配置Dashboard服务的访问地址： 默认情况下，Dashboard服务将监听在所有接口的8080端口上。你可以通过以下命令更改它： ceph config set mgr mgr/dashboard/server_addr <ip_address>ceph config set mg...
分布式存储ceph：Qos
QoS最早起源于网络通信，是指一个通信网络能够利用各种基础技术，为特定应用提供更好的服务能力。简单来说就是如何设置规则，共享资源。随着Ceph的成熟，特别是在OpenStack将Ceph作为存储后端之后，Ceph的QoS就变得更加重要了。 前端QoS前端QoS是指在客户端实现QoS，是最简单、最常用...
ceph配置中的osd_crush_update_on_start如何在osd重启时影响osd在crush中分布
在自定义crush map的时候，发现掉电的osd，通过service [email protected]{osd.id} start重启后 osd回到了默认的host节点下，而不是自己定制后的节点，通过跟踪实现，发现了问题：osdceph集群的默认配置下图为我们测试环境中的osd tree，这是我...
Ceph+nfs部署及使用
部署环境五台装有CentOS 7.3的主机，不建议使用最新版的，源经常出现超时，个人推荐使用7.3,ip分别为192.168.1.56,192.168.1.182、192.168.1.183、192.168.1.184、192.168.1.185升级内核使用uname -r 查看内核版本，官方建议使...
ceph学习笔记之二RADOS
Ceph学习笔记之二RADOS一、RADOS架构在RADOS架构中主要包含2个部分组件：1、MON（Monitor）由少量的Monitor节点构成的强耦合，小规模集群；负责管理Cluster Map。2、OSD（Object Storage Device）由数量可变的 大规模磁盘设备组成的集群，负责...
Proxmox VE 超融合集群ceph OSD磁盘塞满处理
标题故障描述查看pve管理后台概述，发现有告警，提示ceph健康告警。点这个黄色图标，得到更进一步的信息：有2个OSD磁盘塞满了。再用鼠标点击第一行“2 nearfull osd（?）”右侧的感叹号，可确定序号为5与7的磁盘塞满了。标题处理过程确定被数据塞满的OSD位于哪些节点，然后在该节点删除没有...
ceph osd, pool的删除
第一部分：ceph osd的删除如果要删除某一个osd（不管是处于up状态的还是处于down状态的） A) 如果osd处于up状态，第一步就是要将up状态转换为down状态，执行命令ceph osd down osd.num(此为osd id） B) 如果osd处于down状态，直接执行...
Ceph课堂：使用CivetWeb快速搭建RGW
优秀的开源项目正在改变传统IT，OpenStack名头最响，已经成为了IaaS的事实标准。Ceph同样颇有建树，通过其三大存储接口满足了企业的多样需求。UnitedStack有云把OpenStack和Ceph等一众开源项目的优势结合，搭建出全球最好用的高性能OpenStack云服务平台。在这个过程中...
Ceph存储引擎bluestore简介
【背景】ceph后端支持多种存储引擎，以插件的方式进行管理和使用，默认使用filestore，如ext4、btrfs，xfs。理论上每个文件系统都实现了POSIX协议，但是每个文件系统都会有那么一些不标准的地方。主要存在以下几个方面：1. Ceph的实现非常注重可靠性，因而需要为每种文件系统引入不同...
ceph提示: non-power-of-two pg_num解决办法
问题: [[email protected]]# ceph -s cluster: id: e7a3be6e-2e30-49fd-99c0-dbb304ae1a82 health: HEALTH_WARN 1 pool(s) have non-power...
ceph数据均衡方式比较
对比了一下ceph的几种数据均衡方式，相关优劣点如下：实际操作了下，觉得采用L版本的话，使用balancer模块调整还是比较好（优点如下：1、定时执行 2、可以设置调整粒度 3、有自己的评分机制，周期评分，周期调整）...
【CEPH】通过iscsi连接到CEPH的RBD（客户端包括windows和linux）
ceph通过iscsi协议使用rbdISCSIiSCSI target设备命名规则iSCSI target名称必须是全球唯一的，其格式为： iqn.< yyyy-mm >.< tld.domain.some.host > [:< identifier >] i...
Ceph实战(使用ceph存储提供的镜像作为硬盘)
Ceph实战：安装KVM虚拟机，使用ceph存储提供的镜像作为硬盘创建名为vm1-image的镜像，大小10GB[[email protected]~]# rbd create vm1-image --size 10G --image-feature layering [[email protect...
k8s实践利用storageclass实现pvc的动态provision(volume使用ceph rbd)
最近实践了利用k8s的storageclass,实现pvc的动态创建,绑定,特记录如下. 1 已经部署好的k8s集群和ceph集群. 2 创建ceph-secret,后面创建storageclass需要使用. 启动key后面的内容为ceph的admin用户的秘钥base...