文件名称：Java版水果管理系统源码-Big-Data-Project:大数据项目
文件大小：21.61MB
文件格式：ZIP
更新时间：2024-06-24 20:12:09
系统开源
Java版水果管理系统源码 Project about big data Hadoop 在这里面我将总结自己学习Hadoop ecosystem相关的一些知识，包括Google的“三架马车”的初略阅读。 整个搜索引擎分为三层，文件层（file，GFS），data model（BigTable），计算层（algorithm，MapReduce），缺少了底层的操作系统层。但是MapReduce会访问底层文件（GFS），为什么会操作访问底层文件呢？是为了提高性能。 首先是GFS，是为了解决一个问题：如何保存一个文件？->如何保存一个大文件？ 原本保存文件时，一个磁盘块为block大小为1024B，同时加入索引，为了存大文件，如果block过小，导致索引过多，因此改变一个block（1024Byte）的大小，改为一个chunk（64MB）的大小，减小元数据大小，避免IO频繁，当然这里存储小文件的话会浪费空间，导致效率较低。 如果文件是超大文件呢？一个master server加上许多个chunk server，此时chunk server仅仅保存chunk块，而master server中me