【分布式计算框架】HDFS常用操作及编程实践

时间：2024-04-01 12:05:14

????作者： 主页

我的专栏
C语言从0到1
探秘C++
数据结构从0到1
探秘Linux

????欢迎 ❤️关注 ????点赞 ????收藏 ✍️留言

文章目录

  • HDFS常用操作及编程实践
    • 一、实验目的
    • 二、实验环境
    • 三、实验内容
      • api客户端设置
    • 四、出现的问题及解决方案
    • 五、实验结果
    • 六、实验思考题

HDFS常用操作及编程实践

一、实验目的

  • 熟悉HDFS的常用shell命令
  • 配置eclipse编程环境
  • 编程实现创建目录、上传文件、显示文件内容功能
  • 创建一个约1.6M大小的文件，然后设置块大小（1048576）上传文件
  • 编程实现按行读取HDFS文件，显示文件块信息，实现缓存功能

二、实验环境

  • centos 6.5
  • VMware Workstation

三、实验内容

先关闭集群

stop-dfs.sh

image-20240320101454895

zkServer.sh stop

image-20240320101630589

下次启动只要执行

start-dfs.sh

api客户端设置

1.解压hadoop-2.6.5.tar.gz ,hadoop-2.6.5-src.tar.gz 两个压缩文件 到一个干净的目录，比如d:\hadoop\usr

image-20240320105923797

2.再创建hadoop-lib目录，将hadoop-2.6.5/share/hadoop各个目录里的jar包拷贝至这里(httpfs,kms除外）

image-20240320105946524

3.配置windows环境变量 ：

HADOOP_HOME=D:\hadoop\usr\hadoop-2.6.5

HADOOP_USER_NAME=root

path=%HADOOP_HOME%\bin;

4.将老师提供的bin目录的文件复制到d:\hadoop\usr\hadoop-2.6.5\bin(覆盖)

image-20240320111011171

5.将bin里的hadoop.dll拷贝到c:\windows\System32

image-20240320111137162

6.解压 eclipse-mars.rar，将hadoop-eclipse-plugin-2.6.0.jar(可视化插件)拷贝到d:\eclipse-mars\mars\plugins

image-20240320163513297

  1. 启动hadoop (node01)

    image-20240320164500745

  2. 启动eclipse,project Explorer里有DFS Locations(如果没有出现，选择Java EE),小象图标（可视化控件）

    image-20240320165334777

  3. 配置eclipse:

菜单：

window-preferences-hadoop map/reduce

image-20240320165744743

hadoop installation directory:d:\hadoop\usr\hadoop-2.6.5

image-20240320165812070

new hadoop location(定位器)

image-20240320165844843

image-20240320165911257

location name: 任意取

DFS Master (不选 use M/R Master host)

Host:node01 #active的节点

port:8020(50070是浏览器的端口）

image-20240320171301013

实验（创建一个目录/user/root)

image-20240320183012608

image-20240320183033206

  1. 新建一个Java项目

    image-20240320183728002

  2. 导入Jar包：

菜单：window-preferences-java-build path-user libraries

自定义一个jar包(比如hadoop_jars)

image-20240320183939705

菜单：add external JARS

选择D:\hadoop\usr\hadoop-lib所有jar包

image-20240320184138045

项目里导入hadoop_jars包 //右击项目名-build path-configure build path-java build path-libraries-add library-use library-hadoop_jars

image-20240320184320498

image-20240320184334933

项目里导入jUnit 4 //右击项目名-build path-configure build path-java build path-libraries-add library-jUnit 4

image-20240320184457287

image-20240320184510362

  1. 导入hdfs-site.xml,core-site.xml配置文件到项目的src目录（使用xftp传输）

    image-20240320184715616

    image-20240320185004767

    image-20240320185053043

  2. 新建一个class

    Test20191909/src
com.sxt.hdfs.test
TestHDFS

    ​ image-20240320185429312

四、出现的问题及解决方案

  1. jdk版本太高，导致eclipce安装失败，方案：重新安装低版本的jdk

五、实验结果

  1. 浏览器查看上传文件块信息截图

image-20240320193036459

  1. HDFS命令，程序源代码，程序运行结果截图

代码：

Configuration conf=null;
FileSystem fs=null;

@Before
public void conn() throws IOException{
    conf=new Configuration();
    fs=FileSystem.get(conf);
}

@Test
public void mkdir() throws IOException{
    Path path=new Path("/mytemp");
    if(fs.exists(path))
    fs.delete(path,true);

    fs.mkdirs(path);
}

@Test
public void uploadFile() throws IOException{

    // 文件的上传路径
    Path path=new Path("/mytemp/jk.txt");
    FSDataOutputStream fdos=fs.create(path);

    // 拿到磁盘文件
    InputStream is=new BufferedInputStream(new FileInputStream("D:\\hadoop\\usr\\Test\\hadoop实操.txt"));

    IOUtils.copyBytes(is,fdos,conf,true);
}


//在远端上传root/software/test.txt

//hdfs dfs -D dfs.blocksize=1048576 -put test.txt

@Test

public void readFile() throws IOException{

    Path path=new Path("/user/root/test.txt");
    FileStatus file=fs.getFileStatus(path);
    BlockLocation[] blks=fs.getFileBlockLocations(file, 0, file.getLen());

    // 遍历数组
    for(BlockLocation blk:blks){
    System.out.println(blk);
    }
 
    //读取文件
    FSDataInputStream fdis=fs.open(path);

    System.out.println((char)fdis.readByte());
    System.out.println((char)fdis.readByte());
    System.out.println((char)fdis.readByte());
    System.out.println((char)fdis.readByte());
    System.out.println((char)fdis.readByte());

package com.sxt.hdfs.test;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

public class TestHDFS {
	Configuration conf=null;
	FileSystem fs=null;

	@Before
	public void conn() throws IOException{

	conf=new Configuration();
	fs=FileSystem.get(conf);


	}

	@Test
	public void mkdir() throws IOException{

	Path path=new Path("/mytemp");
	if(fs.exists(path))
	fs.delete(path,true);

	fs.mkdirs(path);

	}

	@Test
	public void uploadFile() throws IOException{

	// 文件的上传路径
	Path path=new Path("/mytemp/jk.txt");
	FSDataOutputStream fdos=fs.create(path);

	// 拿到磁盘文件
	InputStream is=new BufferedInputStream(new FileInputStream("D:\\hadoop\\usr\\Test\\hadoop实操.txt"));

	IOUtils.copyBytes(is,fdos,conf,true);



	}


	//上传root/software/test.txt

	//hdfs dfs -D dfs.blocksize=1048576 -put test.txt

	@Test

	public void readFile() throws IOException{

	Path path=new Path("/user/root/test.txt");
	FileStatus file=fs.getFileStatus(path);
	BlockLocation[] blks=fs.getFileBlockLocations(file, 0, file.getLen());

	// 遍历数组
	for(BlockLocation blk:blks){
	System.out.println(blk);
	}

	//读取文件

	FSDataInputStream fdis=fs.open(path);


	System.out.println((char)fdis.readByte());
	System.out.println((char)fdis.readByte());
	System.out.println((char)fdis.readByte());
	System.out.println((char)fdis.readByte());
	System.out.println((char)fdis.readByte());


	}

	@After
	public void close() throws IOException{
		fs.close();
	}
}

}


@After
public void close() throws IOException{
	fs.close();
}

使用mkdir程序创建目录

image-20240320191054529

使用uploadFile程序上传文件

image-20240320192453634

image-20240320192549849

在远端上传root/software/test.txt

hdfs dfs -D dfs.blocksize=1048576 -put test.txt

image-20240320192831639

image-20240320192851382

image-20240320193036459

使用readFile程序获取节点信息

image-20240320193540988

六、实验思考题

  1. 端口号9000和50070的区别？

    • 9000端口通常用于HDFS的通信，即Hadoop分布式文件系统的通信端口。在Hadoop配置中，HDFS使用9000端口进行数据通信。
    • 50070端口一般用于Hadoop集群的Web界面，是Hadoop的NameNode节点的Web UI端口，可以通过浏览器访问该端口查看Hadoop集群的状态以及文件系统的相关信息。

  2. 编程中你用到了哪些Java对象？
    在你的Java程序中，主要使用了以下Java对象：

    • Configuration：Hadoop配置对象，用于管理Hadoop的配置信息。
    • FileSystem：Hadoop的文件系统抽象类，用于与HDFS进行交互。
    • Path：表示Hadoop中的路径对象，用于指定文件或目录的路径。
    • FSDataOutputStream：用于向HDFS写入数据的输出流对象。
    • InputStream：Java标准库中的输入流，用于读取本地文件的数据。
    • FileStatus：表示文件状态的对象，包括文件大小、块信息等。
    • BlockLocation：表示文件块在HDFS上的位置信息。
    • FSDataInputStream：用于从HDFS读取数据的输入流对象。

  3. hadoop fs、hadoop dfs、hdfs dfs的区别？

    • hadoop fs是Hadoop提供的一个通用文件系统操作命令，可以用来操作不同类型的文件系统，默认情况下会映射到HDFS文件系统。
    • hadoop dfs是Hadoop早期版本提供的命令，用于操作HDFS文件系统，现在已经废弃，推荐使用hadoop fs命令代替。
    • hdfs dfs是Hadoop当前版本推荐的操作HDFS文件系统的命令，是最新版本中用于操作HDFS的命令，推荐使用这个命令进行HDFS文件系统的管理和操作。

atus：表示文件状态的对象，包括文件大小、块信息等。

  • BlockLocation：表示文件块在HDFS上的位置信息。
  • FSDataInputStream：用于从HDFS读取数据的输入流对象。
  1. hadoop fs、hadoop dfs、hdfs dfs的区别？
    • hadoop fs是Hadoop提供的一个通用文件系统操作命令，可以用来操作不同类型的文件系统，默认情况下会映射到HDFS文件系统。
    • hadoop dfs是Hadoop早期版本提供的命令，用于操作HDFS文件系统，现在已经废弃，推荐使用hadoop fs命令代替。
    • hdfs dfs是Hadoop当前版本推荐的操作HDFS文件系统的命令，是最新版本中用于操作HDFS的命令，推荐使用这个命令进行HDFS文件系统的管理和操作。