Myfox-load-module:Myfox(OLAP系统分布式MySQL代理层)数据加载模块

时间:2021-03-11 18:46:31
【文件属性】:
文件名称:Myfox-load-module:Myfox(OLAP系统分布式MySQL代理层)数据加载模块
文件大小:132KB
文件格式:ZIP
更新时间:2021-03-11 18:46:31
系统开源 简介 Myfox是淘宝数据产品部开发的一套应用在OLAP系统上的分布式MySQL复制代理服务。原始的海量数据通常在Hadoop等分布式计算平台上得到了一定程度的计算,然后通过预先定义的分库分表规则(route_type)替换不同的mysql服务中;前段应用程序需要从这些分散的mysql中查询数据时,通过Myfox代理,实现透明的访问。 Myfox的典型应用场景是OLAP系统。数据在大部分时间是静态的,数据通过后台离线的方式批量写入。需要实时更新的数据我们不建议通过Myfox来实现; Myfox当前也确实没这个能力,可预见的未来应该也不会支持这样的需求。 您看到的这个源码包只是Myfox中负责路由计算和数据加载的部分,提供在线透明查询SQL代理部分我们用Node.js完成重新实现,您可以在另外一个源码包里找到。 设计思想 Myfox的数据加载服务本质上是一个基于HTTP协议和MySQL存储

网友评论