[置顶] Aerospike使用介绍

Aerospike简介

Aerospike是什么？
Aerospike(以下简称AS）是一个以分布式为核心基础，可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。它主要用于百G、数T等大数据量并且在数万以上高并发情况下，对性能也有ms读取插入要求的场景。目前主要集中于互联网广告行业，如eXelate、BlueKai、MediaV、 InMobi、 applovin等。
特性
- 可预见的高性能
  
  99% 的响应可在 1 毫秒内实现，99.9% 的响应可在 5 毫秒内实现。
- 混合架构
  
  索引存储在 RAM 中，而数据存储在闪存/固态硬盘 (SSD) 上。
- 群集感知客户端软件
  
  客户端知晓数据的存放位置，因此通常能够通过一次单跳检索到数据
- 无热点
  
  使用复杂的哈希函数来确保数据均等地分布到所有可用节点，从而将需求平均分布到各资源上。
- 数据完整性
  
  保持了高度的一致性，或者允许对跨越多个群集和数据中心的一致性进行调节。
- 线性扩展
  
  能够根据需要安装到多个数据中心内分组为多个群集的多个节点上。添加节点，无需分片，无需人工干预
- 跨数据中心支持
  
  不同数据中心内的群集能够自动协调，从而实现绝对的可靠性
- 提供API的语言
  
  AS支持多种语言，诸如C/C++、 Java、 C#、 Python、 PHP、 Go、 Node.js、 Ruby、 Erlang、 libevent2 (C)、 Perl等等。

基本概念

namespace

策略容器，类似RDBMS中的schema，可以设置副本数、内存大小、有效时长、存储引擎、文件存储位置
Sets

类似RDBMS中的表
Records

类似RDBMS中的行，行级的失效时间（TTL）
Bin

类似RDBMS中的列，一行可以有多个bins

KEY操作命令

[置顶] Aerospike使用介绍

AS 数据类型

基础类型
- Integer
  - 64位有符号整型，[ −(2^63) to 2^63 − 1 ]
  - 每个整型占用8字节存储
- String
  - String是以NULL-结尾的byte数组，可以达到128KB
- Bytes
  - Byte数组，可以存储任何二进制数据
复合类型
- List
  - 排序的数据集合
- Map
  - key-value对集合
- List和Map都支持类型嵌套
大数据类型
- 说明
  - 超过普通bin大小1M的限制
  - 大数据类型允许在一个record bin中有一个非常大并且可以在AS中高效存储和访问的元素集合
  - 存储的元素可以是Integer/String/Map/List
- Large Ordered List
  - 按key排序的集合
  - 提供的操作有
    - add()/add_all()/update()/update_all()
    - find()/exists()
    - scan()/filter() (with and without filter)
    - range() (with and without filter)
    - remove()/remove_all()/remove_range()
    - size()

函数

仅支持用LUA写，在server端执行
Record UDF
- 单记录操作
Stream UDF
- 对分布于集群上的数据集进行过滤、转换、汇总

Secondary Index和汇总

Secondary index
- 支持integer\string类型
- 支持等于和范围过滤
- 每个namespace支持256个secondary indexes
汇总
- 通过lua的类mapReduce实现

AS简单测试

对AS进行了grpc封装，下面的测试结果是只选了其中的一种查询进行测试。测试的查询相当于数据库里的查询：select t.cnname,t.code_id from data_type t where t.group_name=’EVENT’ and t.enname=’connect_success’;

测试环境：
116做RPC服务器，118做AS server、RPC客户端
116 CPU 24核， 118 CPU 32核
都是万兆网

as with grpc

[置顶] Aerospike使用介绍

as with thrift

[置顶] Aerospike使用介绍

As VS redis with thrift性能测试
- AS
  次数=1000000 并发=300 tps=57793 #瓶颈在server的CPU，使用率710%
  次数=1000000 并发=500 tps=58036
- Redis
  
  次数=100000 并发=300 tps=28413
  次数=100000 并发=500 tps=30370 #瓶颈在redis CPU

AS vs Redis

AS优势
- 数据可存储于内存、SSD
- 同步复制，无需手工配置，可做机架感知、跨数据中心复制，不会丢失数据
- 机群自动扩展，自动平衡数据
- 客户端感知集群，app不需要知道集群节点
- 二级索引、汇总
- 概念、处理方式与RDBMS接近
Redis优势
- 多种数据结构
- 完善的文档，广泛的使用
- 丰富的客户端
- 结构简单

PS:
1、在做as\redis性能测试时，在并发量不大时redis性能只到as的一半，而且并发量一大redis就经常出错，故没有两者的性能测试对比
2、as对结构的支持不好，一个稍复杂的功能在redis很简单就能实现的，在AS上就得写好多，而且有并发冲突的风险，除非稍复杂的都用LUA脚本写成函数

参考资料
Redis官网 http://redis.io/
Redis命令参考 http://redis.readthedocs.org/en/latest/index.html
AS官网 http://www.aerospike.com/
AS官网文档 http://www.aerospike.com/docs/

秒客网

[置顶] Aerospike使用介绍

Aerospike简介

基本概念

KEY操作命令

AS 数据类型

函数

Secondary Index和汇总

AS简单测试

AS vs Redis

相关文章