能源系统升级BACnet IP分布式I/O边缘模块深度整合
能源管理系统(EMS)的高效运行成为了实现绿色建筑、节能减排的关键。而BACnet IP分布式远程I/O模块作为这一系统中的重要组件，正发挥着不可小觑的作用。本文将以某大型商业综合体为例，探讨BACnet IP I/O模块如何在能源管理中大显身手。 商业综合体涵盖办公、零售、餐饮等多种业态，能源消...
【转】分布式一致性算法：Raft 算法（Raft 论文翻译）
编者按：这篇文章来自简书的一个位博主Jeffbond，读了好几遍，翻译的质量比较高，原文链接：分布式一致性算法：Raft 算法（Raft 论文翻译），版权一切归原译者。同时，第6部分的集群成员变更读起来还不是很流畅，需要了解这一部分的童鞋可以找下其他的文章看一下。另外，在转载文章的结尾，我贴了一些R...
理论+实践，带你了解分布式训练
本文分享自华为云社区《大模型LLM之分布式训练》，作者： 码上开花_Lancer。随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决海量的计算和内存资源要求问题。在分布式训练系统环...
微服务 - 作业调度 · Hangfire集成式 · 仪表盘 · DolphinScheduler分布式 · 定义流程
系列目录微服务 - 1.概念 · 应用 · 架构 · 通讯 · 授权 · 跨域 · 限流微服务 - 2.IdentityServer4认证授权 · 概念认识 · 运行过程 · 实践应用微服务 - 3.Consul集群化 · 服务注册 · 健康检测 · 服务发现 · 负载均衡微服务 - 4.Redis...
基于MongoDB分布式存储进行MapReduce并行查询
中介绍了如何基于Mongodb进行关系型数据的分布式存储，有了存储就会牵扯到查询。虽然用普通的方式也可以进行查询，但今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。 有关MongoDb的MapReduce之前我写过一篇文章 Mongodb Mapreduce 初...
分布式消息队列RocketMQ与Kafka架构上的巨大差异
分布式消息服务 Kafka 是一个高吞吐、高可用的消息中间件服务，适用于构建实时数据管道、流式数据处理、第三方解耦、流量削峰去谷等场景，具有大规模、高可靠、高并发访问、可扩展且完全托管的特点，是分布式应用上云必不可少的重要组件并且这个NameSrv是无状态的，你可以随意的部署多台，其代码也非常简单，...
JMeter JMeter远程分布式联机性能测试
JMeter远程分布式联机性能测试 by:授客 QQ：1033553122 测试环境apache-jmeter-2.13Java JDK版本：1.8 1、 JMeter分布式测试简介当一个JMeter客户端因网络限制等因素，无法模拟足够的用户对服务器施压时，需要用到JMeter分布式测试...
Ubuntu 14.04 LTS 安装 spark 1.6.0 （伪分布式）-26号开始
需要下载的软件：1.hadoop-2.6.4.tar.gz 下载网址：http://hadoop.apache.org/releases.html2.scala-2.11.7.tgz 下载网址：http://www.scala-lang.org/3.spark-1.6.0-bin-hadoop2.6...
curator 实现分布式一致性锁
最近准备在项目中引入分布式锁，故而研究基于zookeeper的curator框架。网上资料不多，自己研究其源码发现，这个框架已经帮我做了很多现成的实现。下面介绍下锁的实现:通过源码中LockingExample例子作为切入（推荐多利用现有资源，最快切入），为减小篇幅，代码仅保留关键部分。curato...
分布式存储系统学习（1）
1学习来源 《大规模分布式存储系统原理解析与架构实战》--杨传辉 2学习目标 数据分布：如何使数据均匀分布到多台服务器上？分布到多台服务器后如何实现跨服务器读写操作？一致性：如何将数据的多个副本复制到多台服务器？即使在异常情况下，也能保证不同副本间数据的一致性容错：如何检测到服务器故障？故障后如何将...
Apache Seata基于改良版雪花算法的分布式UUID生成器分析2
title: 关于新版雪花算法的答疑 author: selfishlover keywords: [Seata, snowflake, UUID, page split] date: 2021/06/21 本文来自 Apache Seata官方文档，欢迎访问官网，查看更多深度文章。 关于新版雪花算...
基于开源Dubbo分布式RPC服务框架的部署整合
一、前言Dubbo 作为SOA服务化治理方案的核心框架，用于提高业务逻辑的复用、整合、集中管理，具有极高的可靠性（HA）和伸缩性，被应用于阿里巴巴各成员站点，同时在包括JD、当当在内的众多互联网项目中有着广泛应用。dubbo 通过高性能 RPC 实现服务的输出和输入功能，框架基于 Spring Fr...
RSF 分布式 RPC 服务框架的分层设计
RSF 是个什么东西？一个高可用、高性能、轻量级的分布式服务框架。支持容灾、负载均衡、集群。一个典型的应用场景是，将同一个服务部署在多个Server上提供 request、response 消息通知。使用RSF可以点对点调用，也可以分布式调用。部署方式上：可以搭配注册中心，也可以独立使用。渊源RSF...
【Rpc】基于开源Dubbo分布式RPC服务框架的部署整合
一、前言Dubbo 作为SOA服务化治理方案的核心框架，用于提高业务逻辑的复用、整合、集中管理，具有极高的可靠性（HA）和伸缩性，被应用于阿里巴巴各成员站点，同时在包括JD、当当在内的众多互联网项目中有着广泛应用。dubbo 通过高性能 RPC 实现服务的输出和输入功能，框架基于 Spring Fr...
分布式学习材料Distributed System Prerequisite List
接下的内容按几个大类来列：1. 文件系统a. GFS – The Google File Systemb. HDFS1) The Hadoop Distributed File System2) The Hadoop Distributed File System: Architecture And...
redis生成分布式id方案
分布式Id - redis方式本篇分享内容是关于生成分布式Id的其中之一方案，除了redis方案之外还有如：数据库，雪花算法，mogodb(object_id也是数据库)等方案，对于redis来说是我们常用并接触比较多的，因此主要谈谈结合redis生成分布式id方案。分布式Id设计流程图基于redi...
万能分布式消费框架，添加基于redis中间件的方式。
更新 python万能消费框架，新增7种中间件(或操作mq的包)和三种并发模式。框架目的是分布式调度起一切任何函数（当然也包括调度起一切任何方法）。之前写的是基于rabbitmq的，作为专用的消息队列好处比redis的list结构好很多。但有的人还是强烈喜欢用redis，以及rabbitmq安装比r...
【分布式】Zookeeper会话
一、前言前面分析了Zookeeper客户端的细节，接着继续学习Zookeeper中的一个非常重要的概念：会话。二、会话客户端与服务端之间任何交互操作都与会话息息相关，如临时节点的生命周期、客户端请求的顺序执行、Watcher通知机制等。Zookeeper的连接与会话就是客户端通过实例化Zookeep...
CentOS7.5 GlusterFS 分布式文件系统集群环境搭建
环境准备：系统版本：CentOS Linux release 7.5.1804 (Core)glusterfs：3.6.9userspace-rcu-master：硬件资源：10.200.22.152 GlusterFS-master 以下简称15210.200.22.151 GlusterFS-...
ZooKeeper的分布式锁
ZooKeeper的分布式锁机制主要利用ZooKeeper的节点特性，通过创建和删除节点来实现锁的控制。实现步骤： 创建锁节点：当一个进程需要访问共享资源时，它会在ZooKeeper中创建一个唯一的临时顺序节点作为锁。尝试获取锁：进程会查看当前所有的锁节点，检查自己创建的节点是否是序号最小的。如果是...