当Spark遇上TensorFlow分布式深度学习框架原理和实践 - 蓝色de叶子
当Spark遇上TensorFlow分布式深度学习框架原理和实践 近年来，机器学习和深度学习不断被炒热，tensorflow 作为谷歌发布的数值计算和神经网络的新框架也获得了诸多关注，spark和tensorflow深度学习框架的结合，使得tensorflow在现有的spark集群上就...
多线程测试redisson实现分布式锁出现org.redisson.RedissonShutdownException: Redisson is shutdown
多线程测试redisson实现分布式锁出现org.redisson.RedissonShutdownException: Redisson is shutdown。原因：多...
第 4 章 ROS参数名称设置及分布式通信(自学二刷笔记)
重要参考： 课程链接:https://www.bilibili.com/video/BV1Ci4y1L7ZZ 讲义链接:Introduction · Autolabor-ROS机器人入门课程《ROS理论与实践》零基础教程 4.6 ROS参数名称设置 在ROS中节点名称话题名称可能出现重名的情况，同...
分布式框架灰度发布实现
我的上一篇博客介绍了什么是灰度发布灰度发布本文将介绍分布式框架如何做到灰度发布。在介绍具体实现步骤前，让我们先看下分布式框架下实现灰度发布的实现结构图：一、灰度策略...
【马士兵认证下的】公开课|Java/架构师/大数据/区块链/高并发/分布式/机器学习/人工智能
优效学院由清华大学著名的IT教育领导者马士兵老师创办，是一家线上线下相互融合的互联网+培训机构。公司均由海外留学生和国内行业精英人士担任授课讲师，主要成员均硕士且拥有十多年的行业经验。毕业学生就职于国内BAT以及海外著名公司。优效学院，名师执教，高效学习，成就未来。课程信息通过真实企业项...
分布式任务调度：架构、原理与实践
引言 在当今快速发展的科技领域中，任务调度作为管理和优化计算资源的重要工具，扮演着至关重要的角色。从单机环境到分布式系统，任务调度的演进不仅跟随着计算机技术的进步，更是为了应对日益复杂的应用场景和需求。本博客将深入探讨分布式任务调度，从基础概念到实践应用，带领读者全面了解其架构、原理与实践。 任务调...
HBase集群搭建实验_伪分布式部署（使用内置ZooKeeper）
HBase伪分布式模式1）所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2）使用HBase内置的ZooKeeper3）比较适用于HBase开发和测试环境 实验前提：HBase伪分布式部署依赖于Hadoop伪分布式部署，本实验紧接Hadoop伪分布式实验，在Hadoop伪分布式部署完成并...
Ceph分布式存储混合硬件架构方案
笔者在为容器云做存储支持时开始接触、使用、研究ceph分布式存储系统。Ceph能够同时提供对象存储、文件存储以及块存储，为基于云的海量数据存储提供了较优的解决方案。 具体了解ceph相关内容请参考ceph官网[1]及论文[2]。本文主要讲基于ssd和hdd混合硬件的三种架构方案以及大致步骤，力求在硬...
Centos7部署Seata分布式事务系统并以nacos为配置中心
简介Seata 是阿里巴巴开源的分布式事务中间件，一种分布式事务解决方案，具有高性能和易于使用的微服务架构安装下载安装包：https://github.com/seata/seata/releases根据系统运行环境下载不同的压缩文件：Mac/Linux下载seata-server-xxx.tar....
深入浅出 -- 系统架构之分布式集群的分类
一、单点故障问题 集群，相信诸位对这个概念并不陌生，集群已成为现时代中，保证服务高可用不可或缺的一种手段。 回想起初集中式部署的单体应用，因为只有一个节点，因此当该节点出现任意类型的故障（网络、硬件资源、物理环境……）时，都会造成整个系统对客户端不可用，而这就是所谓的“单点故障问题”。 单点...
GFS分布式文件系统
一、glusterFS概述 开源的分布式文件系统，只在扩展存储容量，提高性能并且通过多个互联网网络的存储节点进行冗余，确保数据的可用性和一致性。 1.1 glusterFS组成 存储服务器客户端NFS/Samba存储网关无元数据服务器（保存数据的存放点） 二、glusterFS特点 扩展...
【海云捷迅云课堂】分布式存储系统纠删码技术分享
云课堂专题海云捷迅云课堂专题，旨在秉承开源理念，为大家提供OpenStack技术原理与实践经验，该专题文章均由海云捷迅工程师理论与实践相结合总结而成，如大家有其他想要了解的信息，可留言给我们，我们会根据问题酌情回复。纠删码简介随着计算机技术和存储技术的发展，数据正以爆炸式的速度增长，海量数据对存储系...
分布式的优势及关键技术
1. 分布式的优与劣与传统的单体架构相比，分布式系统具有以下优势：增大了系统的容量。我们的业务量越来越大，就需要多台机器来应对这种大规模的应用场景。因此我们可以使用分布式的架构，来垂直或是水平的拆分业务；加强了系统的可用性。我们的业务越来越关键，需要提供整个系统架构的可用性，这样就不能存在单点故障。...
漫谈分布式系统：三种通信范型
0x00 前言通信 是分布式系统中至关重要的一环！虽说我们在日常编写MapReduce和Spark程序的时候不需要考虑进程间之间的通信、搭建Zookeeper和Cassandra集群的时候也不用考虑节点之间的通信。但这只是因为有人已经帮我做好了这些工作，比如Hadoop定制的RPC协议、Zookee...
.NET Core 事件总线,分布式事务解决方案：CAP
CAP 介绍Github：https://github.com/dotnetcore/CAP开源协议：MITCAP 是一个在分布式系统中（SOA，MicroService）实现事件总线及最终一致性（分布式事务）的一个开源的 C# 库，她具有轻量级，高性能，易使用等特点。你可以轻松的在基于 .NET...
三分钟读懂TT猫分布式、微服务和集群之路
原文来源：https://blog.52itstyle.com/archives/1569/针对新手入门的普及，有过大型网站技术架构牛人路过，别耽误浪费了时间，阅读之前，请确保有一定的网络基础，熟练使用Linux，浏览大概需要3-5分钟的时间，结尾有彩蛋。分布式小马正在经营一个在线购物网站，名叫TT...
GTS--分布式事务解决方案
GTS属于分布式事务中间件，是阿里的研发出来的，在微服务架构中分布式事务提供一站式解决方案GTS优势性能强GTS解决事务ACID特性与高性能、高可用、低侵略的问题。单事务分支平均响应在2ms，一般3个服务器组成集群足够支撑3w个TPS以上的分布式事务请求侵入性低GTS对业务侵入低，业务代码最少的情况...
分布式环境下限流方案的实现redis RateLimiter Guava,Token Bucket, Leaky Bucket
2019独角兽企业重金招聘Python工程师标准>>> Redis RateLimiter Guava场景描述 对于web应用的限流，光看标题，似乎过于抽象，难以理解，那我们还是以具体的某一个应用场景来引入这个话题吧。 在日常生活中，我们肯定收到过不少不少这样的短信，“双...
分布式文件系统之创建 DFS 命名空间
有两种类型的DFS命名空间：基于域的命名空间独立命名空间 创建DFS命名空间1、打开“服务器管理器”，选择“工具”—“DFS Management”； 2、右击“命名空间”选择“新建命名空间”； 3、在“命名空间服务器”界面，选择“浏览”，添加服务器； 4、在“选择计算机”界面，输入服务器...
架构三：引入本地缓存和分布式缓存
1.简要说明其实这个阶段拿出分布式缓存，有些早，前期主要用的是本地缓存，我使用到的技术主要是ehcahe，这个内存基本就存在你应用运行的服务器上面，这个有个很大的问题就是，不适合长久存储，如果长久存储，数据量很大的时候，会占用你的服务内存很大一部分空间，分布式缓存用的比较多的是memcached以及...