Graylog 分布式日志管理系统-集群搭建
简介Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。低成本，高性能。Graylog与ELK对比Graylog需要把日志源采集到graylog-ser...
云谷分布式端口扫描与代理验证系统（一）简介
端口扫描技术与代理验证技术的深度实践 好长时间不写博客了。今天给大家带来一个很有价值也很有意义的东西的完整实现过程，这个东西就...
分布式文件管理系统HDFS
Hadoop 分布式文件管理系统HDFS可以部署在廉价硬件之上，能够高容错、 可靠地存储海量数据(可以达到TB甚至PB级)，它还可以和Yam中的MapReduce ...
利用分布式文件系统（DFS）实现网站文件同步
http://server.zdnet.com.cn/server/2008/1017/1179179.shtmlhttp://down.chinaz.com/so...
京东广告算法架构体系建设--在线模型系统分布式异构计算演变 | 京东零售广告技术团队
一、现状介绍算法策略在广告行业中起着重要的作用，它可以帮助广告主和广告平台更好地理解用户行为和兴趣，从而优化广告投放策略，提高广告点击率和转化率。模型系统作为承载算法策略的载体，目前承载搜索、推荐、首焦、站外等众多广告业务和全链路的深度学习建模，是广告算法算法创新和业务迭代发展的重要基石。架构全景图...
.NetCore从零开始使用Skywalking分布式追踪系统
本文将从0开妈搭建两个webapi项目，使用Skywalking来追踪他们之间的调用关系及响应时间。开发环境为VisualStudio2019 1：安装Skyw...
从零开始搭建etcd分布式存储系统+web管理界面
目录什么是ETCD一.安装二.搭建单机版三.搭建集群版四.监听功能-watch五.使用rest api六.可视化界面etcd-browseretcdkeeper什么...
1.使用分布式文件系统Minio管理文件-分布式文件系统DFS分类
文件系统 文件系统是操作系统用于组织管理存储设备(磁盘)或分区上文件信息的方法和数据结构,负责对文件存储设备空间进行组织和分配,并对存入文件进行保护和检索 文件系统是负责管理和存储文件的系统软件，操作系统通过文件系统提供的接口去存取文件，用户通过操作系统访问磁盘上的文件 常见的文件系统：FAT16...
Zookeeper系列四：Zookeeper在大型分布式系统中的应用、Zookeeper实现分布式锁
一、Zookeeper在大型分布式系统中的应用1. 有些分布式系统是master-slave模式的，master是一个单节点，一旦master挂掉了整个集群就挂掉了，所以一般master都会有一个备份master-back，一旦master挂掉了，备份master就会顶上去那么ZK是如何实现的呢？前...
分布式文件系统FastDFS安装教程
前言FastDFS(Fast Distributed File System)是一款开源轻量级分布式文件系统，本文不讲解原理和架构，只是在个人使用部署过程中耗费了好长时间和精力，遇到了很多的坑，于是总结成了一篇详细的部署文档分享给大家。安装libfastcommon获取libfastcommon安装...
基于nginx+xxl-job+springboot高可用分布式任务调度系统
技术、原理讲解：《分布式任务调度平台XXL-JOB--源码解析一:项目介绍》《分布式任务调度平台XXL-JOB--源码解析二:基于docker搭建admin调度中心和executor执行器运行部署环境》《分布式任务调度平台XXL-JOB--源码解析三:xxl-job-admin调度中心源码解析之初始...
分布式系统-主键唯一id,订单编号生成-雪花算法-SnowFlake
分布式系统下 我们每台设备(分布式系统-独立的应用空间-或者docker环境)* SnowFlake的优点是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分)，并且效率较高，经测试，SnowFlake每秒能够产生26万ID左右。所以我们可以为分布式系统下...
分布式/微服务必配APM系统，SkyWalking让你不迷路
前言如今分布式、微服务盛行，面对拆分服务比较多的系统，如果线上出现异常，需要快速定位到异常服务节点，假如还用传统的方式排查肯定效率是极低的，因为服务之间的各种通信会让定位更加繁琐；所以就急需一个分布式链路追踪系统，方便快速定位异常节点，从而针对性的处理问题。比较主流的APM(Application ...
分布式系统监视zabbix讲解一之zabbix安装--技术流ken
zabbix概述Zabbix是什么Zabbix 是由Alexei Vladishev创建，目前由Zabbix SIA在持续开发和支持。Zabbix 是一个企业级的分布式开源监控方案。Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任...
Net分布式系统之二：CentOS系统搭建Nginx负载均衡
一、关于CentOS系统介绍CentOS（Community Enterprise Operating System，中文意思是：社区企业操作系统）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。基于Red Hat持续升级，...
Hadoop第三天---分布式文件系统HDFS(大数据存储实战)
1.开机启动Hadoop，输入命令： 检查相关进程的启动情况：2.对Hadoop集群做一个测试： 可以看到新建的test1.txt和test2.txt已经成功地拷贝到节点上(伪分布式只有一个节点，如果是完全分布式，则会显示3个节点都拷贝成功)。这证明HDFS工作正常，其中，hadoop dfs...
分布式缓存系统 Memcached slab和item的主要操作
上节在分析slab内存管理机制时分析Memcached整个Item存储系统的初始化过程slabs_init()函数：分配slabclass数组空间，到最后将各slab划分为各种级别大小的空闲item并挂载到对应大小slab的空闲链表slots上。本节将继续分析对slab和item的主要操作过程。sl...
分布式缓存系统Memcached在Asp.net下的应用
Memcached 是一个高性能的分布式内存对象缓存系统。用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来降低读取数据库的次数，从而提高动态、数据库驱动站点的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的。可是client能够用...
分布式缓存系统 Memcached 整体架构
分布式缓存系统 Memcached整体架构Memcached经验分享【架构方向】Memcached 及 Redis 架构分析和比较
分布式监控系统Zabbix-3.0.3-完整安装记录（3）-监控nginx，php，memcache，Low-level discovery磁盘IO
前段时间在公司IDC服务器上部署了zabbix3.0.3监控系统，除了自带的内存/带宽/CPU负载等系统资源监控模板以及mysql监控模板外，接下来对诸如nginx、php、memcache、磁盘IO的监控项配置在此做下记录，希望能帮助到有用到的朋友们~nginx的监控模板：zbx_nginx_te...