Centos7下GlusterFS分布式存储集群环境部署记录
0）环境准备GlusterFS至少需要两台服务器搭建，服务器配置最好相同，每个服务器两块磁盘，一块是用于安装系统，一块是用于GlusterFS。192.168.10.239 GlusterFS-master（主节点） Centos7.4192.168.10.212 GlusterFS-slav...
Redis实现分布式存储Session
前言:在单个项目时,一般都是用HttpSession接口存储当前登录用户的信息。但是在分布式项目的情况下，session是不会共享的，那怎么实现session共享呢？往下看。。。。一、准备工作（基于centos7）1.linux版本的redis 下载地址：http://download.redis....
分布式结构化存储系统-HBase应用案例
分布式结构化存储系统-HBase应用案例作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。为了让读者更进一步了解HBase在实际生成环境中的应用方法，在董西成的书里介绍两个经典的HBase实际应用案例，分别是社交关系数据存储和时间序列数据库OpenTSDB。我这里手抄记录一下。一.社交关...
docker部署Ceph分布式存储集群
1、环境准备 3台virtualbox虚拟机，用来安装ceph集群，已用docker-machine安装上了docker，每台虚拟机虚拟创建一个5G的硬盘，用于存储osd数据，例如：/dev/sdb 1台客户端manager，客户端可以扩展至多台形成swarm集群 hostname ip...
分布式存储-ceph
1. ceph 简介 Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统()。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 ...
CentOS7.2 部署Ceph分布式存储
1.1 环境准备 主机名 IP地址 ceph-admin 192.168.16.220 ceph-node1,ceph-mon 192.168.16.221 ceph-node2,ceph-mon 192.168.16.222 ceph-node3,ceph-...
ceph分布式存储
ceph分布式存储 NTP时间同步密钥登陆)ssh-keygen,ssh-copy-id)/etc/hostsyum源4k+ 100+ 某一台能够免密码登陆所有主机yum -y instll ceph-deploy(脚本，批量部署ceph。pssh)MON（monitor监控服务器），OSD（存储服...
Ceph 分布式存储
前言 Ceph是一个分布式存储系统，诞生于2004年，最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展，ceph乘上了OpenStack的春风，进而成为了开源社区受关注较高的项目之一。 Ceph有以下优势： 1. CRUSH算法 Crush算法是ceph的两大创新之...
CentOS 7部署 Ceph分布式存储架构
一、概述 随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph官方文档 http://docs.ceph.org.cn/ceph中文开源社区 http://cep...
ceph分布式存储手动部署教程
一、基础环境准备1、集群设备列表 10.240.240.210 client 10.240.240.211 node1 mon1 osd.0 10.240.240.212 node2 mon2 osd.1 10.240.240.213 node3 mon3 ...
后端分布式系列：分布式存储－HDFS 异常处理与恢复
在前面的文章 《HDFS DataNode 设计实现解析》中我们对文件操作进行了描述，但并未展开讲述其中涉及的异常错误处理与恢复机制。本文将深入探讨 HDFS 文件操作涉及的错误处理与恢复过程。读异常与恢复读文件可能发生的异常有两种：读取过程中 DataNode 挂了读取到的文件数据损坏HDFS 的...
Sql Servicer 复习笔记（1） 存储过程分布
第一步：创建表 declare @countInt int declare @age int set @age =20 set @countInt=1 while(@countInt<10000) begin insert into student([sName],[sAge],[sAddre...
矩阵起源张颖峰 MatrixOne云原生HTAP的分布式存储架构
矩阵起源张颖峰 MatrixOne云原生HTAP的分布式存储架构...
Curve 分布式存储在 KubeSphere 中的实践
Curve 介绍 Curve 是网易开发的现代存储系统，目前支持文件存储 (CurveFS) 和块存储 (CurveBS)。现在它作为一个沙盒项目托管在 CNCF。 Curve 是一个高性能、轻量级操作、本地云的开源分布式存储系统。Curve 可以应用于 : 主流云本地基础设施平台 OpenStac...
[Elasticsearch] 分布式文件存储
本文翻译自Elasticsearch官方指南的distributed document store一章。分布式文档存储在上一章中，我们一直在介绍索引数据和获取数据的方法。可是我们省略了非常多关于数据是怎样在集群中被分布(Distributed)和获取(Fetched)的技术细节。这实际上是有意为之 ...
具备混合负载能力的分布式KV存储-KeeWiDB
本期分享嘉宾 伍旭飞腾讯云数据库专家工程师【嘉宾介绍】拥有10余年工作经验，在游戏和数据库领域有丰富的开发经验，目前专注数据库内核方向的开发和技术演进。以下为DTCC大会腾讯云数据库专家工程师伍旭飞的演讲实录：互联网业务的挑战互联网的在线业务场景中，80%的数据是KV结构，其访问模型也以点读、批读...
Elasticsearch 分布式文档存储
shard = hash(routing) % number_of_primary_shards决定文档在哪个分片上，routing 是一个可变值，默认是文档的 _id ，也可以设置成一个自定义的值。 routing 通过 hash 函数生成一个数字，然后这个数字再除以 number_of_prim...
分布式文档存储数据库之MongoDB副本集
前文我们聊到了mongodb的索引的相关作用和介绍以及索引的管理，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13950287.html；今天我们来聊下mongodb的副本集；1、什么是副本集？主要作用是什么？它是怎么工作的呢？所谓副本集是指服务于同一数据集...
分布式文档存储数据库之MongoDB索引管理
前文我们聊到了MongoDB的简介、安装和对collection的CRUD操作，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13941797.html；今天我们来聊下mongodb的索引；1、为什么要有索引？索引的作用是干嘛的？我们知道mongodb通常应用...
docker高级篇2-分布式存储之三种算法
面试题：1~2亿条数据需要缓存，请问如何设计这个缓存案例？答：单机单台100%是不可能的。肯定是分布式缓存的。那么用Redis如何落地？一般有三种方案：哈希取余分区；一致性哈希算法分区；哈希槽分区。如下图：大家好,我是凯哥Java(kaigejava)，乐于分享，每日更新技术文章，欢迎大家关注“凯哥...