Druid：一个用于大数据实时处理的开源分布式系统——大数据实时查询和分析的高容错、高性能开源分布式系统
转自：http://www.36dsj.com/archives/28590Druid 是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，Druid仍能够保持100%正常运...
Tsung：开源多协议分布式负载&压力测试工具
Main features High Performance: the load can be distributed on a cluster of client machines Multi-protocols using a plugin system: HTTP, WebDAV, SOAP...
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
文章目录 使用注意连接条件限制维度限制度量限制查询引擎SparderHDFS存储信息查询参数查询下压配置Cube 构建优化使用衍生维度（derived dimension）使用聚合组（Aggregation group）Row Key 优化RestAPI使用身份认证查询cube定时构建集成集成JD...
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
@目录使用注意连接条件限制维度限制度量限制查询引擎SparderHDFS存储信息查询参数查询下压配置Cube 构建优化使用衍生维度（derived dimension）使用聚合组（Aggregation group）Row Key 优化RestAPI使用身份认证查询cube定时构建集成集成JDBC示...
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
@目录概述定义特性术语技术概念架构和组件生态圈部署Docker部署基于hadoop环境安装前置条件安装使用步骤官方样例Cube说明示例演示准备演示数据创建项目选择数据源创建Model创建CubeCube构建与Hive查询对比定义Apache Kylin 官网中文地址 https://kylin.ap...
Pinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工具，用于基于java的大规模分布式系统，基于Google Dapper论文
Pinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工具，用于基于java的大规模分布式系统，基于Google Dapper论文。这是个人学习Pinpoint的笔记，请点击下面的链接阅读或者下载电子版本:在线阅读国外服务器：gi...
利用开源架构ELK构建分布式日志系统
问题导读 1、ELK产生的背景？2、ELK的基本组成模块以及各个模块的作用？3、ELK的使用总计有哪些？背景 日志，对每个系统来说，都是很重要，又很容易被忽视的部分。日志里记录了程序执行的关键信息，ERROR和WARNING信息等等。我们可以根据...
Twitter开源分布式自增ID算法snowflake
分布式唯一ID 一、UUID 优点 * 生成ID性能非常好 * 简单，代码方便 * 全球唯一 缺点 * uuid没有顺序，不能保证自增 * 太长，使用字符串存储，作为主键建立索引查询效率低 二、snowflake 雪花算法 18位 数字 算法：通过时间戳 + 机器码 + 序列码 数据库用 ...
自研分布式高性能RPC框架及服务注册中心ApiRegistry实践笔记【原创】【开源】
痛点1. bsf底层依赖springcloud,影响bsf更新springboot新版本和整体最新技术版本升级。2. eureka已经闭源，且框架设计较重，同时引入eureka会自行引入较多springcloud相关包和组件。方案1. 自研轻量级高性能rpc框架Bsf APIRegistry。目标B...
rate-limit 一款 java 开源渐进式分布式限流框架使用介绍
rate-limit 是一个为 java 设计的渐进式限流工具。目的是为了深入学习和使用限流，后续将会持续迭代。特性渐进式实现支持独立于 spring 使用支持整合 spring支持整合 spring-boot内置多种限流策略快速开始需求jdk 1.7maven 3.x+maven 导入<de...
开源分布式版本控制工具 —— Git 之旅
Git 主张的分布式代码库与文件快照的设计思想，相对于传统 CVS、SVN 等集中式、文件差异式版本控制工具是一种挑战与颠覆。Git 带来了离线提交、轻量级分支等诸多便利。不过，也有人质疑 Git 的复杂性，并由此拔高了学习成本，某种程序上影响了开发者使用或者迁移 Git 的项目进度，笔者同样感同身...
秒级查询之开源分布式SQL查询引擎Presto实操-上
@目录概述定义概念架构优缺点连接器部署集群安装常用配置说明资源管理安装模式安装命令行界面基于Tableau Web 连接器使用优化数据存储查询SQL优化无缝替换Hive表建表格式的选择定义Presto 官网地址 https://prestodb.io/Presto 官网文档 https://pre...
开源分布式实时计算引擎 Iveely Computing 之 WordCount 详解(3)
WordCount是很多分布式计算中，最常用的例子，例如Hadoop、Storm，Iveely Computing也不例外。明白了WordCount在Iveely Computing上的运行原理，就很容易写出新的分布式程序。上一篇中已经知道了如何部署Iveely Computing以及提交任务，现在...
OceanBase v4.0.0_CE 已经发布，企业级开源分布式数据库
OceanBase v4.0.0_CE 已经发布，企业级开源分布式数据库 此版本更新内容包括： OceanBase 数据库社区版 V4.0.0.0_CE OceanBase 社区发布 V4.0.0 版本是对分布式数据库系统架构设计的全面升级，定位为 Beta 测试版本，社区会关注用户使用反馈，不断对...
利用开源架构ELK构建分布式日志系统
问题导读1、ELK产生的背景？2、ELK的基本组成模块以及各个模块的作用？3、ELK的使用总计有哪些？背景日志，对每个系统来说，都是很重要，又很容易被忽视的部分。日志里记录了程序执行的关键信息，ERROR和WARNING信息等等。我们可以根据日志做很多事情，做数据分析，系统监控，排查问题等等 。但是...
开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引
from: http://www.w3c.com.cn/%E5%BC%80%E6%BA%90%E5%88%86%E5%B8%83%E5%BC%8F%E6%90%9C%E7%B4%A2%E5%B9%B3%E5%8F%B0elkelasticsearchlogstashkibana%E5%85%A5%...
开源分布式数据库中间件MyCat源码分析系列
MyCat是当下很火的开源分布式数据库中间件，特意花费了一些精力研究其实现方式与内部机制，在此针对某些较为重要的源码进行粗浅的分析，希望与感兴趣的朋友交流探讨。 本源码分析系列主要针对代码实现，配置、操作和相关概念解释不作为重点。 MyCat源码分析系列之——配置信息与启动流程 MyCat源码分析...
MyCat:开源分布式数据库中间件
mycat 的主要配置文件 schema.xml rule.xml server.xml 客户端连接mycat mysql -h192.168.1.1 -P8806 -uroot -pwangxiaohu mycat 相当于mysql的代理,本身不存数据 schema.xml dataNode...
Druid：一个用于大数据实时处理的开源分布式系统
Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，Druid仍能够保持100%正常运行。创建Druid的最初意图主要是为了解决查询延迟问题，当时试图使用Hadoo...
分布式计算开源框架Hadoop入门实践（三）
Hadoop基本流程 一个图片太大了，只好分割成为两部分。根据流程图来说一下具体一个任务执行的情况。 在分布式环境中客户端创建任务并提交。 InputFormat做Map前的预处理，主要负责以下工作：验证输入的格式是否符合JobConfig的输入定义，这个在实现Map和构建Conf的时候...