TDengine 如何助力钢铁行业处理日均亿级的数据量？来看几个真实案例

在钢铁行业的生产、运输、治理等环节中，都会涉及大量时序数据的存储分析、运维监控等操作，每日产生的数据量甚至高达亿级，而传统的工业实时库与关系型数据库，都难以应对这种数量级的数据处理需求，想要保证业务发展，则亟需更为专业的[时序数据库]( https://www.taosdata.com/?zh"时序数据库")（Time Series Database，TSDB）。本篇文章汇总了三大钢铁行业数据治理场景下的数据架构升级方案，供有相关业务需求的开发者参考。 [**中天钢铁 x TDengine**]( https://www.taosdata.com/user-cases/12705.html"**中天钢铁 x TDengine**") > “目前 TDengine 在我们的生产环境中运行平稳，通过对生产环境的机器进行检测，CPU 使用率平常不到 1%，内存使用率稳定在 25%。在 TDengine 平稳运行的数周时间里，中天钢铁的新系统平均每周收录 3000 多辆车辆表与 100 多条船只表，每张表中数据或多或少，累计数量已达百万，业务的实际效果也达到了预期。” **业务背景** 为了满足业务发展需求，中天钢铁需要新开发一套功能，对厂内每辆运输车辆货运船只的实时 GPS 位置进行追踪和实时监控，通过大数据平台对 GPS 坐标进行处理、分析、可视化展示。这些 GPS 数据来自于中天云商 App，只要运输车辆司机打开云商 App，系统每隔 10 秒会自动发送该车辆 GPS 信号到大数据平台，再由大数据平台分析处理，数据量之大可见一斑。本质上来讲，行车记录、行船记录都是时序数据，也因此，从数据特点出发中天钢铁开始对时序数据库进行选型调研，在进行性能对比后选择了 TDengine。 **架构图**  点击[案例]( https://www.taosdata.com/user-cases/12705.html"案例")查看更多技术细节 [**钢铁行业能源管理系统 x TDengine**]( https://www.taosdata.com/user-cases/2754.html"**钢铁行业能源管理系统 x TDengine**") > “TDengine 是涛思数据面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品，在时序空间大数据处理上，有着自己独到的优势。TDengine 单核每秒能处理至少 2 万次请求，插入数百万个数据点，读出一千万以上数据点，比现有通用数据库快十倍以上，也远远超出了 InSQL、PI 这两个工业实时数据库的读写能力。” **业务背景** 湖北某特钢公司的电力能源介质的计量，是通过 TBox 工控网关采集多功能电表来实现的，需要完善并实现“峰谷平尖”电能量费率计量和能源报表。项目一期首先要求采集电能量数据，每天产生的数据量在 2800 万条以上，项目二期如果再接入非电数据，每天产生的数据量预估在 1 亿条左右，数据处理压力剧增。TBox 工控网关基于前期项目实施和实际应用需求提供了完整的技术方案，包含从电表采集电能数据并写入 TDengine 时序数据库，再经过 ETL 工具处理后转存到 Oracle database，从而满足企业一期电能量数据报表对实时数据采集和存储的要求。 **架构图**  点击[案例]( https://www.taosdata.com/user-cases/2754.html"案例")查看更多技术细节 [**钢铁行业节水减排项目 x TDengine**]( https://www.taosdata.com/chinese/3225.html"**钢铁行业节水减排项目 x TDengine**") > “TDengine 存储 26 亿行数据情况下，占用的磁盘空间只有 2.8GB，而实际上入库的原数据大小应为 30GB，其列式存储压缩率可以达到惊人的 10%，我们准备了 1.8TB 磁盘，目前只用了千分之一。基于超级表特性，我们还从结构上省下了 26 亿行的标签数据，想象一下如果该表的每一行数据都还要带上这几个数据（type，sendorid，opcid，合计 436 字节），那其原本数据量直接就会达到 TB 级别，就算压缩率再好也要占用百 GB 级别的存储。” **业务背景** 由邯钢牵头的“十三五”水专项“钢铁行业水污染全过程控制技术系统集成与综合应用示范”课题中，深度（平潭）科技承担了“提高水循环利用的分质/分级供水技术、水系统优化和水网络智慧管理”的研究任务，创新开发了具有自主知识产权的“钢铁联合企业全过程节水减排专家管理系统智慧平台”。 平台应用过程中会有海量数据产生，数据的实时写入成为一大难题，计算分析、报警预警等功能实现也面临巨大挑战。最初使用的 Kafka+Strom+HDFS 的组合方案，在面对每天处理将近一亿条数据压力下，数据读取、一致性等性能下滑，运维部署成本显著增加。基于此，他们决定更换数据库方案，并在选型调研后开始应用 TDengine。 **TDengine 中间性试验数据**  点击[案例]( https://www.taosdata.com/chinese/3225.html"案例")查看更多技术细节 **结语** 从以上案例出发，总结而言，TDengine 针对时序数据的写入、存储、索引、查询等方面都进行了特定的优化，从而实现了更优的数据加载、压缩、查询、写入性能，非常匹配工业传感器数据的应用分析场景，是助力钢铁企业数字化转型道路上的一个好帮手。目前我们已经运营了几十个用户交流群，来帮助用户更好地解决问题，如果你想要进群沟通了解更多，可以添加下方的小T微信。 ------------ 想了解更多 [TDengine Database]( https://www.taosdata.com/?zh"TDengine Database")的具体细节，欢迎大家在[GitHub]( https://github.com/taosdata/TDengine"GitHub")上查看相关源代码。 [](https://www.taosdata.com/?zh "")