Laxcus大数据管理系统2.6 - 摘要

时间:2022-09-01 08:08:00

 Laxcus是多集群多用户多任务通用数据管理系统,支持百万级计算机节点,提供EB级可计算数据的存储和计算能力,综合云管理、大数据、数据库、中间件、容器五个领域的技术和功能,集运行、开发、调试、部署、维护为一体的平台。Laxcus为全体系全功能设计开发,采用Java、C++语言编写,运行在普通硬件设备上,操作系统涵盖Linux/Windows,硬件平台包括X86、ARM、POWER PC、NVIDIA。产品100%自主知识产权,遵循LGPL协议开放源代码。

介绍

    过去七年,我们设计开发了Laxcus大数据管理系统。在设计这套产品前,市场上虽然已经有多种数据产品,却没有一家能够提供一套功能完整、适合各行业使用的通用大数据软件,这是我们设计这套系统的初衷。更重要的原因是,随着大数据应用的快速发展,存储计算规模越来越大,以及需求多样性的增加,导致数据处理过程更加复杂和缓慢。如何解决这个问题,在保证效能的前提下,改变大数据应用现状?针对软硬件性能特点,采用架构/功能一体化设计,增加内聚,减少调用层次和处理流程,改进人机界面,提高分布效能,无疑是一个很好的解决思路。但是这个方案也因为体系化设计的缘故,需要涉及多个技术领域,在当时的技术条件下,设计这种级别的复杂系统,当中有许多不确定因素,面临着巨大的研发风险。这些风险归纳起来,主要包括以下几个方面:

  • 1.对硬件成本和运营成本的考量。
  • 2.分布环境下,系统稳定性和可靠性的问题。
  • 3.数据业务和处理规模可扩展性、可承载能力、适用性的问题。
  • 4.软硬件冗错和处理的问题。
  • 5.系统安全的问题。
  • 6.人机接口的设计,包括简化开发、管理、操作流程的问题。
  • 7.软硬件结合和多平台兼容的问题。
  • 8.各个子系统整合和设计指标平衡的问题。

    在此后七年时间里,经过我们持续研发和版本升级,上述问题已经全部解决,目前Laxcus大数据管理系统的主要特征是:

  • 1. 系统总体设计成松耦合架构,在此框架下实现所有业务可定制、可扩展。
  • 2. 网络通信采用二进制协议提高数据传输和处理效率。
  • 3. 以多集群并行和弱中心管理为基础,实现超大规模、可伸缩的数据存储和计算。
  • 4. 引入自适应机制,使集群具备自组织能力,包括数据处理和软硬件故障管理。
  • 5. 底层数据采用混合存储方案,实现即时存取,支持OLTP和OLAP业务。
  • 6. 数据处理融入SQL思想,兼容数据库,满足高并发和高可靠性两种需求。
  • 7. 全新的分布算法,保证数据处理简捷高效。
  • 8. 组件化编程,结合容器管理,来减少开发和维护难度。
  • 9. 体系化安全策略,将安全管理纳入系统每一个环节。
  • 10. 使用语句指令操纵集群,覆盖全部数据处理和管理工作。
  • 11. 支持全球已知字符集,满足不同国家和地区用户语言习惯。

Laxcus大数据管理系统2.6 - 摘要