HDFS的常用指令

时间:2023-01-03 11:00:28

 

HDFS的常用指令

指令

说明

hadoop fs -mkdir /park01

在hdfs根目录下创建文件夹park01

hadoop fs -ls /

查看hdfs根目录下有哪些目录或文件

hadoop fs -put /root/1.txt /park01

将linux操作系统root目录下的1.txt放在hdfs的park01目录下

hadoop fs -get /park01/jdk /home

把hdfs文件系统下park目录 的文件下载到linux的home目录下

hadoop fs -rm /park01/文件名

删除hdfs的park01目录 的指定文件

hadoop fs -rmdir /park01

删除park01目录,前提是目录里没有文件

hadoop fs -rmr /park01

删除park01目录,即使目录里有文件

hadoop fs -cat /park01/a.txt

查看park01目录下的a.txt

hadoop fs -tail /park01/a.txt

查看park01目录下a.txt文件末尾的数据

hadoop jar xxx.jar

执行jar包

hadoop fs -cat /park01/result/part-000000

查看 /park01/result/part-000000文件的内容

hadoop fs mv /park02 /park01

将hdfs上的par02目录重命名为park01

hadoop fs -mv /park02/1.txt /park01

将park02目录下的1.txt移动到/park01目录下

hadoop fs -touchz /park02/2.txt

创建一个空文件

hadoop fs -getmerge /park /root/tmp/

all.txt

将park目录下的所有文件合并成一个文件,

并下载到linux的root/tmp的目录下的all.txt中

hadoop dfsadmin-safemode leave

离开hadoop安全模式

在重新启动HDFS后,会立即进入安全模式,此时不能操作hdfs中的文件,只能查看目录文件名等,读写操作不能进行

hadoop fsck /park01/1.txt -files -blocks

-locations

查看hdfs上指定文件的数据信息

hadoop fs -cp /park01/1.txt /park02

将HDFS上/ark01下的1.txt拷贝一份到park02目录下。

目标路径 可以有假睛多纪鲀,用空格隔开,比如:

hadoop fs -cp /park01/1.txt /park02 /park03......

hadoop fs -du /park01/1.txt

查看HDFS上某个文件的大小。也可以查看指定目录,

如果是目录的话,则列出目录 下有的的文件及其大小,

比如:hadoop fs -du /park01

hadoop fs -copyFromLocal

/home/software/1.txt /park01

将本地文件1.txt上传到HDFS上/park01目录下

hadoop copyToLocal /park01/1.txt

/home/software

将HDFS上park01目录下1.txt文件复制到Linux系统的、

home/software目录下

hadoop fs -lsr /

递归查看指定目录下的所有内容

 

以上创建、复制、删除等操作后,可以在web控制台中,进行查看

具体:

192.168.1.196:50070

HDFS的常用指令

菜单上Utillities--Browse the file system

Permission

Owner

Group

Size

Last Modified

Replication

Block Size

Name

-rw-r--r--

root

supergroup

22 B

2018/8/3 上午9:49:32

1

128 MB

1.txt

-rw-r--r--

root

supergroup

3.05 KB

2018/8/3 上午9:41:59

1

128 MB

kms.sh

从左到右,分别表示权限、拥有者、权限组、大小、时间戳、副本份数、块大小(hadoop默认块大小为128MB),名称