1.1大数据平台架构及Hadoop生态圈
1.硬件架构实例2.软件架构实例3.数据流通用概念模型a.数据源(互联网、物联网、企业数据)：App、Device、Siteb.数据收集（ETL、提取、转换、加载）：Flume、Kafka、Sqoopc.数据存储：HDFS、Hive/HBased.资源管理：Yarn、Mesose.批处理：MapRe...
2大数据处理架构Hadoop
2.1概述 2.1.1Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构 Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中 Hadoop的核心是分布式文件系统HDFS（Had...
通过Hadoop安全部署经验总结，开发出以下十大建议，以确保大型和复杂多样环境下的数据信息安全。
通过Hadoop安全部署经验总结，开发出以下十大建议，以确保大型和复杂多样环境下的数据信息安全。1、先下手为强!在规划部署阶段就确定数据的隐私保护策略，最好是在将数据放入到Hadoop之前就确定好保护策略。2、确定哪些数据属于企业的敏感数据。根据公司的隐私保护政策，以及相关的行业法规和*规章来综合...
Hadoop生态系统在壮大：十大炫酷大数据项目
在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间，这些技术的生态系统在不断发展壮大。Apache软件基金会下面有众多的开源大数据技术项目。本文介绍一些重要项目，并顺便了解几个新兴项目。 管理和分析大数据已经变成了重大挑战，数量急剧增加的信息从社交媒体、连接到物联网中“物...