[Hadoop in China ] 淘宝OceanBase打造结构化NoSQL数据库

时间:2024-03-17 17:42:27

http://tech.it168.com/a2011/1204/1283/000001283214.shtml

在今天下午进行的NoSQL系统及应用分论坛中,来自淘宝的核心系统存储组技术专家杨传辉(淘宝花名:日照)发表主题演讲“OceanBase——结构化数据海量存储系统”,介绍了淘宝OceanBase的架构、应用及其后续发展

淘宝OceanBase打造结构化NoSQL数据库
▲淘宝核心系统存储组技术专家杨传辉

  据杨传辉介绍,淘宝的OceanBase数据库最初的设计目的就是将NoSQL的可扩展性和低成本与关系型数据库的性能进行融合,充分发挥两者的优势。

      Note : NoSQL 可扩展性和低成本,与关系型数据库的性能,进行融合,充分发挥两者的优势。

淘宝OceanBase打造结构化NoSQL数据库
▲淘宝OceanBase数据类型

 

   OceanBase适用于以下四类场景:

       一是 业务需要大表Join或者千万级数据秒级在线统计的场景;

       二是 数据库性能不好,需要迁移到NoSQL的场景;

       三是 分库分表麻烦,数据增长快的场景;

       四是 NoSQL系统遇到问题,考虑其他NoSQL系统的场景。不适用线下分析、网页库、淘宝图片存储等非结构化数据的场景。

 

淘宝OceanBase打造结构化NoSQL数据库
▲淘宝OceanBase系统架构

 

  杨传辉表示在线存储数据量大,但最近一段时间修改数据量不大,因此将基准数据增量数据分离,将增量数据不断合并到基准数据。其中基准数据的数据量大,一般采用SATA或者SSD存储;增量数据的数据量小,一般采用内存或者SSD服务

淘宝OceanBase打造结构化NoSQL数据库
▲淘宝OceanBase设计要点

 

   OceanBase的新功能是海量数据实时分析,它支持按列存储,可以将千万级数据实时统计时间控制在秒级,简单统计操作两秒内。淘宝OceanBase的应用有很多,杨传辉着重介绍了收藏夹应用和CTU aCookie统计应用。后续OceanBase还将在可用性、可扩展性和工作方向等方面进行改进。