从零开始搭建etcd分布式存储系统+web管理界面
目录什么是ETCD一.安装二.搭建单机版三.搭建集群版四.监听功能-watch五.使用rest api六.可视化界面etcd-browseretcdkeeper什么...
1.使用分布式文件系统Minio管理文件-分布式文件系统DFS分类
文件系统 文件系统是操作系统用于组织管理存储设备(磁盘)或分区上文件信息的方法和数据结构,负责对文件存储设备空间进行组织和分配,并对存入文件进行保护和检索 文件系统是负责管理和存储文件的系统软件，操作系统通过文件系统提供的接口去存取文件，用户通过操作系统访问磁盘上的文件 常见的文件系统：FAT16...
Zookeeper系列四：Zookeeper在大型分布式系统中的应用、Zookeeper实现分布式锁
一、Zookeeper在大型分布式系统中的应用1. 有些分布式系统是master-slave模式的，master是一个单节点，一旦master挂掉了整个集群就挂掉了，所以一般master都会有一个备份master-back，一旦master挂掉了，备份master就会顶上去那么ZK是如何实现的呢？前...
分布式文件系统FastDFS安装教程
前言FastDFS(Fast Distributed File System)是一款开源轻量级分布式文件系统，本文不讲解原理和架构，只是在个人使用部署过程中耗费了好长时间和精力，遇到了很多的坑，于是总结成了一篇详细的部署文档分享给大家。安装libfastcommon获取libfastcommon安装...
基于nginx+xxl-job+springboot高可用分布式任务调度系统
技术、原理讲解：《分布式任务调度平台XXL-JOB--源码解析一:项目介绍》《分布式任务调度平台XXL-JOB--源码解析二:基于docker搭建admin调度中心和executor执行器运行部署环境》《分布式任务调度平台XXL-JOB--源码解析三:xxl-job-admin调度中心源码解析之初始...
分布式系统-主键唯一id,订单编号生成-雪花算法-SnowFlake
分布式系统下 我们每台设备(分布式系统-独立的应用空间-或者docker环境)* SnowFlake的优点是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分)，并且效率较高，经测试，SnowFlake每秒能够产生26万ID左右。所以我们可以为分布式系统下...
分布式/微服务必配APM系统，SkyWalking让你不迷路
前言如今分布式、微服务盛行，面对拆分服务比较多的系统，如果线上出现异常，需要快速定位到异常服务节点，假如还用传统的方式排查肯定效率是极低的，因为服务之间的各种通信会让定位更加繁琐；所以就急需一个分布式链路追踪系统，方便快速定位异常节点，从而针对性的处理问题。比较主流的APM(Application ...
分布式系统监视zabbix讲解一之zabbix安装--技术流ken
zabbix概述Zabbix是什么Zabbix 是由Alexei Vladishev创建，目前由Zabbix SIA在持续开发和支持。Zabbix 是一个企业级的分布式开源监控方案。Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任...
Net分布式系统之二：CentOS系统搭建Nginx负载均衡
一、关于CentOS系统介绍CentOS（Community Enterprise Operating System，中文意思是：社区企业操作系统）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。基于Red Hat持续升级，...
Hadoop第三天---分布式文件系统HDFS(大数据存储实战)
1.开机启动Hadoop，输入命令： 检查相关进程的启动情况：2.对Hadoop集群做一个测试： 可以看到新建的test1.txt和test2.txt已经成功地拷贝到节点上(伪分布式只有一个节点，如果是完全分布式，则会显示3个节点都拷贝成功)。这证明HDFS工作正常，其中，hadoop dfs...
分布式缓存系统 Memcached slab和item的主要操作
上节在分析slab内存管理机制时分析Memcached整个Item存储系统的初始化过程slabs_init()函数：分配slabclass数组空间，到最后将各slab划分为各种级别大小的空闲item并挂载到对应大小slab的空闲链表slots上。本节将继续分析对slab和item的主要操作过程。sl...
分布式缓存系统Memcached在Asp.net下的应用
Memcached 是一个高性能的分布式内存对象缓存系统。用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来降低读取数据库的次数，从而提高动态、数据库驱动站点的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的。可是client能够用...
分布式缓存系统 Memcached 整体架构
分布式缓存系统 Memcached整体架构Memcached经验分享【架构方向】Memcached 及 Redis 架构分析和比较
分布式监控系统Zabbix-3.0.3-完整安装记录（3）-监控nginx，php，memcache，Low-level discovery磁盘IO
前段时间在公司IDC服务器上部署了zabbix3.0.3监控系统，除了自带的内存/带宽/CPU负载等系统资源监控模板以及mysql监控模板外，接下来对诸如nginx、php、memcache、磁盘IO的监控项配置在此做下记录，希望能帮助到有用到的朋友们~nginx的监控模板：zbx_nginx_te...
分布式文件系统 fastDFS 安装步骤
安装 fastDFS 很简单。先安装 libevent， 安装成功后，安装fastDFS。./make.sh./make.sh install我使用一台tracker服务器 192.168.2.85， 两台storage服务器 192.168.2.98 192.168.2.222启动tr...
分布式文件系统 FastDFS 5.0.5 & Linux CentOS 7 安装配置（单点安装）——第一篇
分布式文件系统 FastDFS 5.0.5 & Linux CentOS 7 安装配置（单点安装）——第一篇简介首先简单了解一下基础概念，FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（clie...
Google分布式构建软件之二：构建系统如何工作
分布式软件构建第二部分：构建系统如何工作注：本文英文原文在google开发者工具组的博客上[需要翻墙],以下是我的翻译，欢迎转载，但请尊重作者版权，注名原文地址。上篇文章中提到了在Google，所有的产品都是从头开始构建的。这篇文章会更深入的介绍Google的构建系统[即Blaze]是如何工作的，并...
《SPARK/TACHYON:基于内存的分布式存储系统》－史鸣飞（英特尔亚太研发有限公司大数据软件部工程师）
史鸣飞：大家好，我是叫史鸣飞，来自英特尔公司，接下来我向大家介绍一下Tachyon。我事先想了解一下大家有没有听说过Tachyon，或者是对Tachyon有没有一些了解？对Spark呢？首先做一个介绍，我来自英特尔的大数据团队，我们团队主要是致力于各种大数据的软件开发以及这些软件在工业界的推广和应用...
分布式存储系统Kudu与HBase的简要分析与对比
本文来自网易云社区作者：闽涛背景Cloudera在2016年发布了新型的分布式存储系统——kudu，kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多，HDFS作为底层数据存储的地位一直很牢固。而HBase作为Google BigTable的开源产品，一直也是Hadoop生态...
Net分布式系统之五：微服务架构
因工作较忙，抽时间将框架遇到的问题和框架升级设计进行记录。一、背景&问题之前框架是一个基于SOA思想设计的分布式框架。各应用通过服务方式提供使用，服务之间通信是RPC方式调用，具体实现基于.NET的WCF通信平台。框架存在如下2个问题：1、高并发处理能力不足。一当高并发请求，可能出现多个服务...