Presto 来自Facebook的开源分布式查询引擎
Presto是一个分布式SQL查询引擎, 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL,包括复杂查询、聚合(aggregation)、连接(join)和窗口函数(window functions)。下图中展现了简化的Presto系统架构。客户端(client)将SQL查询...
Pinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工具,用于基于java的大规模分布式系统,基于Google Dapper论文
Pinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工具,用于基于java的大规模分布式系统,基于Google Dapper论文。 这是个人学习Pinpoint的笔记,请点击下面的链接阅读或者下载电子版本: 在线阅读 国外服...
[开源]CSharpFlink(NET 5.0开发)分布式实时计算框架,PC机10万数据点秒级计算测试说明
github地址:https://github.com/wxzz/CSharpFlinkgitee地址:https://gitee.com/wxzz/CSharpFlink 1 计算机硬件配置CPU:4核 I5-7400 2.7GHz,内存:16G,随机数据点时间窗口和计算算子,主节...
【开源】.Net 分布式服务中心
分布式服务中心开源地址:http://git.oschina.net/chejiangyi/Dyd.BaseService.ServiceCenter当垂直应用越来越多,应用之间交互不可避免,将核心业务抽取出来,作为独立的服务,逐渐形成稳定的服务中心,当前服务支持thrift服务框架。支持服务的注册...
C#实现多级子目录Zip压缩解压实例 NET4.6下的UTC时间转换 [译]ASP.NET Core Web API 中使用Oracle数据库和Dapper看这篇就够了 asp.Net Core免费开源分布式异常日志收集框架Exceptionless安装配置以及简单使用图文教程 asp.net core异步进行新增操作并且需要判断某些字段是否重复的三种解决方案 .NET Core开发日志
C#实现多级子目录Zip压缩解压实例参考https://blog.csdn.net/lki_suidongdong/article/details/20942977重点:实现多级子目录的压缩,类似winrar,可以选择是否排除基准目录 1publicvoid ZipDirectoryTest() 2...
分布式计算开源框架Hadoop入门实践(二)
其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下...
(转载)MyCat:开源分布式数据库中间件
发现MyCat这个东西,觉得还是有很多应用场合,之前为了mysql读写分离、分布等伤透脑筋,没想到有现成的中间件工具,看来很多有经验的公司是受到过折磨,才整出好工具。方法和工具的发明,总是因为问题的存在。暂时还没时间真正部署下mycat来研究,先转载关于mycat的介绍,地址:http://www....
tsung--开源多协议分布式压力测试工具 .
tsung--开源多协议分布式压力测试工具 . 2014年04月23日 14:03:40 阅读数:1413 tsung:开源、多协议、分布式的压力测试工具 tsung index:http://tsung.erlang-pr...
转: Tsung:开源多协议分布式负载&压力测试工具
Main features High Performance: the load can be distributed on a cluster of client machines Multi-protocols using a plugin system: HTTP, WebDAV, SOAP...
Tsung:开源多协议分布式负载&压力测试工具
Main features High Performance: the load can be distributed on a cluster of client machines Multi-protocols using a plugin system: HTTP, WebDAV, SOAP...
开源分布式任务调度系统就选:DolphinScheduler
分布式任务调度这个话题是每个后端开发和大数据开发都会接触的话题。因为应用场景的广泛,所以有很多开源项目专注于解决这类问题,比如我们熟知的xxl-job。那么今天要给大家推荐的则是另一个更为强大的开源项目:DolphinScheduler介绍DolphinScheduler是一款开源的分布式任务调度系...
【开源项目系列】如何基于 Spring Cache 实现多级缓存(同时整合本地缓存 Ehcache 和分布式缓存 Redis)
github地址:h2cache-spring-boot-starter一、缓存当系统的并发量上来了,如果我们频繁地去访问数据库,那么会使数据库的压力不断增大,在高峰时甚至可以出现数据库崩溃的现象。所以一般我们会使用缓存来解决这个数据库并发访问问题,用户访问进来,会先从缓存里查询,如果存在则返回,如...
分布式计算开源框架Hadoop入门实践(二)
其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群...
DLRover:蚂蚁开源大规模智能分布式训练系统
文|沙剑 蚂蚁集团高级技术专家 专注分布式深度学习领域 主要负责蚂蚁大规模分布式训练引擎的设计和开发 本文 4491 字 阅读 12分钟 本文整体介绍了 DLRover 的项目动机与核心能力,未来我们会发布一系列文章,来从同步/异步弹性训练,优化策略服务,多种集群和训练框架对接,策略定...
【Spring Cloud & Alibaba全栈开源项目实战】:SpringBoot整合ELK实现分布式登录日志收集和统计
一. 前言其实早前就想计划出这篇文章,但是最近主要精力在完善微服务、系统权限设计、微信小程序和管理前端的功能,不过好在有群里小伙伴的一起帮忙反馈问题,基础版的功能已经差不多,也在此谢过,希望今后大家还是能够相互学习,一起进步~ELK是Elasticsearch、Logstash、Kibana三个开源...
开源分布式文件系统FastDFS的安装配置和部署
第一步,获取源码 其中: fastdfs-5.05.tar.gz 是包含了storage、tracker、client的主体程序; fastdfs-client-java-master.zip client的java程序的接口; fastdht-master.zip 可以对上传的文件去重; fa...
\t\tCassandra 开源 分布式 Key-Value 存储系统 取舍
Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开发,用于储存特别大的数据。Facebook目前在使用此系统。主要特性:分布式 基于column的结构化 高伸展性 Cassandra的主要特点就是它不是一个数据库,而是由一堆数据库节点共同构成的一个...
开发者们,花开的时候赴一场开源分布式数据库技术生态盛宴
近一段时间,花开烂漫,这是属于春天的浪漫。中国的数据库市场正处在春天里,技术的不断创新和发展也有其独特的浪漫。比如OceanBase打破世界纪录,向世界证明分布式数据库技术路线的可行和大有可为,为全球数据库的发展带来中国的思考和实践,贡献中国力量。打造一款世界级的数据库产品,本身就足够浪漫,当然需要...
百度DMLC分布式深度机器学习开源项目(简称“深盟”)上线了如xgboost(速度快效果好的Boosting模型)、CXXNET(极致的C++深度学习库)、Minerva(高效灵活的并行深度学习引擎)以及Parameter Server(一小时训练600T数据)等产品,在语音识别、OCR识别、人脸识别以及计算效率提升上发布了多个成熟产品。
百度为何开源深度机器学习平台?有一系列领先优势的百度却选择开源其深度机器学习平台,为何交底自己的核心技术?深思之下,却是在面对业界无奈时的远见之举。5月20日,百度在github上开源了其深度机器学习平台。此番发布的深度机器学习开源平台属于“深盟”的开源组织,其核心开发者来自百度深度学习研究院(ID...
(转)开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引
Github, Soundcloud, FogCreek, Stackoverflow, Foursquare,等公司通过elasticsearch提供搜索或大规模日志分析可视化等服务。博主近4个月搜索数以百计的内容,甄选了以下有用的中英文slides以及blogs或相关的学习网站分享出来, 内容包...