大数据技术人年度盛事! BDTC 2016将于12月8-10日在京举行
2016年12月8日-10日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所和CSDN共同协办的2016中国大数据技术大会（BigDataTechnologyConference2015，BDTC2016）将在北京新云南皇冠假日酒店隆重举办。图片描述中国大数据技...
大数据技术之Flume研究摘要（一）
Flume是Cloudera提供的一个高可用的，高可靠的。分布式的海量日志採集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同一时候，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume有两个版本号，Flume0.9X或CDH3及更早版...
大数据技术 - MapReduce的Shuffle及调优
本章内容我们学习一下MapReduce中的Shuffle过程，Shuffle发生在map输出到reduce输入的过程，它的中文解释是“洗牌”，顾名思义该过程涉及数据的重新分配，主要分为两部分：1.map任务输出的数据分组、排序，写入本地磁盘2.reduce任务拉取排序。由于该过程涉及排序、磁盘IO、...
《大数据技术应用与原理》第二版-第四章分布式数据库HBase
4.1概述HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化松散数据。HBase与传统数据库的区别数据类型上的区别，它把数据存储为未经解释的字符串数据操作，没有像关系型数据库那样的复杂数据操作，通常采用单表的主键查询。存储模...
大数据安全分析之大数据技术有什么优势
为什么要用大数据技术进行安全分析呢？大数据技术有什么优势呢？我们来看看吧。
大数据技术 —— MapReduce 简介
本文为senlie原创，转载请保留此地址：http://www.cnblogs.com/senlie/1.概要很多计算在概念上很直观，但由于输入数据很大，为了能在合理的时间内完成，这些计算必须分布在数以百计数以千计的机器上。例如处理爬取得到的文档、网页请求日志来计算各种衍生数据，如倒排索引，网页文档...
大数据技术之_16_Scala学习_04_函数式编程-基础+面向对象编程-基础
第五章函数式编程-基础5.1函数式编程内容说明5.1.1函数式编程内容5.1.2函数式编程授课顺序5.2函数式编程介绍5.2.1几个概念的说明5.2.2方法、函数、函数式编程和面向对象编程关系分析图5.2.3函数式编程小结5.3为什么需要函数5.4函数的定义5.4.1函数的定义5.4.2快速入门案例...
大数据技术原理与应用【第五讲】NoSQL数据库：5.5 从NoSQL到NewSQL数据库
应用场景: OldSql数据库:希望一种架构就能支持多种应用场景，但证明不可能。 NewSql数据库：同时具备OldSql和NoSQL各自的优点:水平可扩展性，强一致性，事务一致性，支持查询，支持海量数据存储 产品分类图: ...