【文件属性】:
文件名称:映射减少
文件大小:2.85MB
文件格式:ZIP
更新时间:2021-02-13 06:13:19
地图缩小
平行思考的艺术
分布式计算的需求
用法
Facebook
Facebook用户分析
超过十亿的用户登录Facebook,但要花几毫秒的时间,两个人A和B之间有多少个朋友
谷歌
互联网拥有超过400亿的页面
不过,Google可以在不到一秒钟的时间内搜索到结果
领英
会员分析
拥有4.5亿用户
过去3天有7人查看了您的个人资料
过去30天的个人资料排名为8%
指标
这些洞察力是从巨大的数据集中提取的,其大小为peta字节
这些快速查找可能由索引提供支持
索引有助于快速检索您要查找的信息
这些索引的构建方式本身就是挑战
系统要求
店铺
过程
不断增长的数据基础架构必须在明天得到支持。 系统需要随数据扩展。 开发了像Hadoop这样的架构,它可以随着数据的增长而增长。
建立系统的方式
单片
分散式
单片
分散式
分布式数据的复杂性
分割
容错和恢复
并行处理
协调的复杂性
存储和处理
【文件预览】:
map-reduce-master
----index-sample.png(557KB)
----monolithic.png(314KB)
----distributed-1.png(516KB)
----index-map.png(378KB)
----distributed-2.png(402KB)
----monolithic-vs-distributed.png(359KB)
----README.md(2KB)
----data-size-grow.png(489KB)