HDFS 文件的系统访问的接口
1.Hadoop的shell命令脚本
hadoop fs -ls 列出某一个目录下的文件
hadoop fs -lsr 递归的方式列出所有文件
hadoop fs -mkdir 创建目录
hadoop fs -rm 删除文件或者目录
hadoop fs -rmr 删除目录及目录下的所有目录或者文件
hadoop fs -put src / 向hdfs上传文件
hadoop fs -copyFromLocal /src /
hadoop fs -get /hdfs
hadoop fs -copyToLocal 从hdfs拷贝到本地文件系统
2.hdfs第二种访问接口 Java接口 JavaAPI
1) 通过URL的方式去访问
static{
URL.setFsUrlStreamHandler(new FSUrlStreamHandlerFactory());
}
try{
//使得URL具备访问HDFS的工厂能力
//通过URL统一资源定位符，具体的定位到hdfs的某一个具体的资源文件上
URL url = new URL("hdfs://master:9000/a.txt");
//通过url的 openStream方法拿到目标hdfs上文件的输入流对象
FSDataInputStream in = url.openStream();
FileOutputStream foo = new FileOutputStream("/home/zkpk/a.txt");
IOUtils.copyBytes(in, foo, 4096, false);
}catch(Exception e){
}finally{
IOUtils.closeStream(in);
}
2) FileSystem 来操作hdfs(常用)
Object obj = FileSystem.get()
Object extends FileSystem{
}
Object obj = new Object();
FileSystem fs;
fs = obj; //把子类对象看成父类对象，向上转型
//获取hdfs的配置 configuration
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
fs = FileSystem.get(URI.create(uri), conf);
InputStream in = fs.openStream();
IOUtils.copyBytes(in, System.out, 4096, false);
3) FileStatus (文件的元信息， 文件的名字，路径 is目录......)
FileStatu[] list = fs.listStatus();
Path[] paths = FileUtils.status2path(list)
for(Path p : paths){
fs = FileSystem.get(RUI.create(p), conf);
fs.openStream();
}
4)fs.delete
fs.mkdir()