阿里云开源大数据平台EMR全面升级 性能最高可提升6倍
12月27日,阿里云正式发布云原生开源大数据平台EMR 2.0，升级后的开源大数据平台在成本持平的情况下，扩缩容性能最高可提升6倍。据悉，阿里云EMR2.0为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验，通过EMR Doctor健康检查、全面的服务巡检和事件通知、节点故障补偿等运维...
开源分布式计算引擎 & 开源搜索引擎 Iveely 0.5.0 为大数据而生
Iveely Computin*生背景08年的时候，我开始接触搜索引擎，当时遇到的第一个难题就是大数据实时并发处理，当时实验室的机器我们可以随便用，至少二三十台机器，可以，却没有程序可以将这些机器的计算性能整合起来，后来听说了Hadoop，但是当时的hadoop还很脆弱（记得没错是0.2.0），源...
2016 CCF大数据与计算智能大赛 开源资料整理
2016 CCF大数据与计算智能大赛 开源资料整理2016 CCF 大数据与计算智能大赛已经落下帷幕，11个赛题由众多大神包揽奖项，其中有些还在赛后开源了比赛资料，现将目前已知的资料整理如下，供各位同学一起参考学习。若有意公开自己的比赛资料或者发现整理的列表中有遗漏的，可以联系我（金陵书生， net...
2016 CCF大数据与计算智能大赛开源资料
2016 CCF 大数据与计算智能大赛开源资料：1）O2O 赛题wepon、天音和charles提供的CCF O2O比赛第一名的全套代码和资料：https://github.com/wepe/O2O-Coupon-Usage-Forecast2）农产品价格预测赛题CCF农产品价格预测线上rank2...
使用Apache Kylin搭建企业级开源大数据分析平台
转：http://www.thebigdata.cn/JieJueFangAn/30143.html我先做一个简单介绍我叫史少锋，我曾经在IBM、eBay做过大数据、云架构的开发，现在是Kyligence的技术合伙人。Kylin是这两年在国内发展非常快的开源大数据项目。今天大会合作厂商中有超过一半的...
分享一个.NET平台开源免费跨平台的大数据分析框架.NET for Apache Spark
今天早上六点半左右微信群里就看到张队发的关于.NET Spark大数据的链接https://devblogs.microsoft.com/dotnet/introducing-net-for-apache-spark/ ，正印证了“微软在不断通过.NET Core补齐各领域开发，真正实现一种语言的跨...
开源“摩尔定律”即将打破，《2022开源大数据热力报告》重磅发布
OSC编辑部系列直播：开源世界当中，到底存不存在“白嫖”?>>>>>
Facebook 正式开源其大数据查询引擎 Presto
Facebook 正式宣布开源 Presto —— 数据查询引擎，可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发，目前该项目已经在超过 1000 名 Facebook 雇员中使用，运行超过 30000 个查询，每日数据在 1PB 级别。Facebook 称 Pre...
一文读懂：开源大数据调度系统Taier1.2版本新增的「工作流」到底是什么？
一、什么是工作流？ 在阐述什么是工作流之前，先说一下工作流和普通任务的区别，在于依赖视图。 普通任务本身他只会有自己的dag图，依赖视图是无边界的，不可控的，而工作流则是把整个工作流都展示出来，是有边界的，可控的，这是工作流的优势。下面为大家介绍工作流的相关功能： 01 工作流—功能介绍 ● 虚拟节...
即兴小探华为开源行业领先大数据虚拟化引擎openLooKeng
@目录概述定义背景特点架构关键技术应用场景安装单台部署集群部署命令行接口连接器MySQL连接器ClickHouse连接器定义openLooKeng 官网地址 https://openlookeng.ioopenLooKeng 官网中文文档 https://docs.openlookeng.io/zh...
一文读懂：开源大数据调度系统Taier1.2版本新增的「工作流」到底是什么？
一、什么是工作流？在阐述什么是工作流之前，先说一下工作流和普通任务的区别，在于依赖视图。普通任务本身他只会有自己的 dag 图，依赖视图是无边界的，不可控的，而工作流则是把整个工作流都展示出来，是有边界的，可控的，这是工作流的优势。下面为大家介绍工作流的相关功能：01 工作流 — 功能介绍● 虚拟节...
开源直播课丨大数据集成框架ChunJun类加载器隔离方案探索及实践
本期我们带大家回顾一下无倦同学的直播分享《ChunJun类加载器隔离》，ChunJun类加载器隔离的方案是我们近期探索的一个新方案，这个方案目前还不是非常成熟，希望能借由此次分享与大家一起探讨下这方案，如果大家有一些新的想法欢迎大家在github上给我提issue或者pr。 一、Java 类加载器解...
《开源大数据热力报告2022 》 入围项目公示
在开源大数据技术飞速发展的十数年，我们见证了多元化技术的兴起和变迁。如何从海量数据中，通过数据处理和可视化的手段，对开源大数据技术的过去、现在和未来，做出深刻洞察？如何为开发者在开源大数据技术领域的学习、选型和技术研发提供有益参考？带着这样的思考，开放原子开源基金会、X-Lab 开放实验室、阿里巴巴...
基于开源大数据调度系统Taier的Web前端架构选型及技术实践
原文链接：基于开源大数据调度系统Taier的Web前端架构选型及技术实践 课件获取：关注公众号**“数栈研习社”，后台私信“Taier”**获得直播课件 视频回放：点击这里 Taier开源项目地址：github丨gitee 上两期，我们为大家分享了Taier入门及控制台的介绍，本期我们为大家分享Ta...
开源大数据解决方案
表 1. 开源大数据解决方案 解决方案 开发商 类型 描述 Storm Twitter 流式处理 Twitter 的新流式大数据分析解决方案 S4 Yahoo! 流式处理 来自 Yahoo! 的分布式流计算平台 Hadoop A...
阿里封神谈hadoop学习之路 封神 2016-04-14 16:03:51 浏览3283 评论3 发表于： 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 spark
阿里封神谈hadoop学习之路 封神 2016-04-14 16:03:51 浏览3283 评论3 发表于： 阿里云E-MapReduce >> 开源大数据周刊 hadoop 学生 spark 摘要： 在大数据时代，要想个性化实现业务的需求，还是得操纵各类的大数据软件，如：hadoop...
(转载)2016 CCF大数据与计算智能大赛 开源资料整理
本文转载自：http://blog.sina.com.cn/s/blog_5399b8660102wxks.html2016 CCF 大数据与计算智能大赛已经落下帷幕，11个赛题由众多大神包揽奖项，其中有些还在赛后开源了比赛资料，现将目前已知的资料整理如下，供各位同学一起参考学习。若有意公开自己的比...
[转载] 一共81个，开源大数据处理工具汇总（下），包括日志收集系统/集群管理/RPC等
原文: http://www.36dsj.com/archives/25042接上一部分：一共81个，开源大数据处理工具汇总（上），第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。日志收集系统一、Faceb...
Hadoop和大数据：60款*大数据开源工具
一、Hadoop相关工具1.HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。支持的操作系统：Windows、Linux和OSX。相关链接：http://hadoop.apache.org2.Ambar...
Hadoop和大数据：60款*开源工具（山东数漫江湖）
说到处理大数据的工具，普通的开源解决方案（尤其是ApacheHadoop）堪称中流砥柱。弗雷斯特调研公司的分析师MikeGualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。MarketResearch的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率...