分布式列式数据存储系统Druid
Druid是一个用于大数据实时查询与分析的分布式列式数据存储系统。为了应对海量数据的实时查询和多维分析,Druid应运而生。 Druid诞生于MetaMarkets公司,而互联网广告分析正是MetaMarkets最重要的业务之一,基于同样的业务需求背景,微博广告也开始尝试将 Druid 作为监控平台...
基于Cassandra的日志和分布式小文件存储系统【1】
系统简述 Cassandra高性能写,而日志业务读取量少,不要求数据即可展现,查询量少,查询逻辑比较简单,适合用于cassandra存储. 而用cassandra做小型文件的分布式存储,则无需人工干预数据的迁移。 日志系统 日志功能: 添加、修改、删除、查询四种基本数据操作的记录 自定义操...
通过Spark Streaming的foreachRDD把处理后的数据写入外部存储系统中
本博文主要内容包括: 技术实现foreachRDD与foreachPartition解析 foreachRDD与foreachPartition实现实战 一:技术实现foreach解析: 1、首先我们看一下Output Operations on DStreams提供的API: S...
Spark Streaming的foreachRDD把处理后的数据写入外部存储系统中
1.代码 dstream.foreachRDD { rdd => rdd.foreachPartition { partitionOfRecords => // ConnectionPool is a static, lazily initialized pool of ...
豆瓣开源数据存储系统BeansDB
http://code.google.com/p/beansdb/ 我用有道阅读看到这篇好文,希望和大家分享。我的看法是:听起来很棒,国内公司的开源精神越来越好了。以下原文转载自Solidot 豆瓣公司以New BSD许可证发布了分布式key/value存储系统BeansDB,开发者称...
GPU的存储系统
GPU的存储系统包括 register,shared memory,texture memory, local memory, global memory register shared memory local memory global memory c...
分布式存储系统之Ceph集群启用Dashboard及使用Prometheus监控Ceph
前文我们了解了Ceph之上的RadosGW基础使用相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16768998.html;今天我们来聊一聊Ceph启用Dashboard和使用Prometheus监控Ceph相关话题;MGR组件作用Ceph在早些版本...
分布式存储与传统网络存储系统相比有哪些区别
分布式存储发展至今,市场上并没有一个能够被广泛接受并引用的定义。分布式存储系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台...
分布式存储系统之Ceph集群RadosGW基础使用
前文我们了解了MDS扩展相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16759585.html;今天我们来聊一聊RadosGW的基础使用相关话题;对象存储系统概述对象存储系统(Object Storage System,简称OSS);对象存储(Ob...
分布式存储系统之Ceph集群MDS扩展
前文我们了解了cephfs使用相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16758866.html;今天我们来聊一聊MDS组件扩展相关话题;我们知道MDS是为了实现cephfs而运行的进程,主要负责管理文件系统元数据信息;这意味着客户端使用cep...
分布式存储系统之Ceph集群CephFS基础使用
前文我们了解了ceph之上的RBD接口使用相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16753098.html;今天我们来聊一聊ceph之上的另一个客户端接口cephfs使用相关话题;CephFS概述文件系统是至今在计算机领域中用到的存储访问中最...
分布式存储系统之Ceph集群RBD基础使用
前文我们了解了Ceph集群cephx认证和授权相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16748149.html;今天我们来聊一聊ceph集群的RBD接口使用相关话题;RBD是ceph集群向外提供存储服务的一种接口,该接口是基于ceph底层存储...
分布式存储系统之Ceph集群CephX认证和授权
前文我们了解了Ceph集群存储池操作相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16743611.html;今天我们来聊一聊在ceph上认证和授权的相关话题;我们知道ceph作为一个分布式存储系统,用户想要在其上面存储数据,首先得通过认证以后,才能...
分布式存储系统之Ceph集群存储池操作
前文我们了解了ceph的存储池、PG、CRUSH、客户端IO的简要工作过程、Ceph客户端计算PG_ID的步骤的相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16733806.html;今天我们来聊一聊在ceph上操作存储池相关命令的用法和说明;在c...
分布式存储系统之Ceph集群存储池、PG 与 CRUSH
前文我们了解了ceph集群状态获取常用命令以及通过ceph daemon、ceph tell动态配置ceph组件、ceph.conf配置文件相关格式的说明等,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16727820.html;今天我们来聊一聊ceph的存...
分布式存储系统之Ceph集群状态获取及ceph配置文件说明
前文我们了解了Ceph的访问接口的启用相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16727620.html;今天我们来聊一聊获取ceph集群状态和ceph配置文件说明相关话题;Ceph集群状态获取常用命令1、ceph -s :该命令用于输出cep...
【运维实战】3.FastDFS分布式的文件存储系统进阶API使用实践
本章目录:0x00 FastDFS API 使用实践JavaPython0x01 FastDFS 基础命令与配置1.FastDFS 客户端命令浅析2.FastDFS 服务端配置浅析0x00 FastDFS API 使用实践Java描述: FastDFS 项目的开发者余庆大佬已经为我们Java AP...
分布式存储系统之Ceph集群访问接口启用
前文我们使用ceph-deploy工具简单拉起了ceph底层存储集群RADOS,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16724473.html;今天我们来聊一聊ceph集群访问接口相关话题;我们知道RADOS集群是ceph底层存储集群,部署好RADO...
分布式存储系统之Ceph集群部署
前文我们了解了Ceph的基础架构和相关组件的介绍,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html;今天我们来部署一个ceph集群;部署工具介绍1、ceph-deploy:该部署工具是ceph官方的部署工具,它只依赖SSH访问服务器,不...
分布式存储系统之Ceph基础
Ceph基础概述Ceph是一个对象式存储系统,所谓对象式存储是指它把每一个待管理的数据流(比如一个文件)切分成一到多个固定大小的对象数据,并以其为原子单元完成数据的存取;对象数据的底层存储服务由多个主机组成的存储集群;该集群被称之为RADOS(Reliable Automatic Distribut...