HDFS基本操作

云计算 waitig 449℃ 百度已收录 0评论

一、HDFS的相关命令
-mkdir #在HDFS创建目录 hdfs dfs -mkdir /data
-ls #查看当前目录 hdfs dfs -ls /
-ls -R #查看目录与子目录
-put #上传一个文件 hdfs dfs -put data.txt /data/input
-moveFromLocal #上传一个文件,会删除本地文件:ctrl + X
-copyFromLocal #上传一个文件,与put一样
-copyToLocal #下载文件 hdfs dfs -copyToLocal /data/input/data.txt
-get #下载文件 hdfs dfs -get /data/input/data.txt
-rm #删除文件 hdfs dfs -rm /data/input/data.txt
-getmerge #将目录所有的文件先合并,再下载
-cp #拷贝: hdfs dfs -cp /data/input/data.txt /data/input/data01.txt
-mv #移动: hdfs dfs -mv /data/input/data.txt /data/input/data02.txt
-count #统计目录下的文件个数
-text、-cat #查看文件的内容 hdfs dfs -cat /data/input/data.txt
-balancer #平衡操作

二、HDFS的Java API
用Java API的方式在HDFS上创建一个目录:
在本地导入依赖的jar包:
/usr/hadoop/hadoop-2.7.3/share/hadoop/common/lib
/usr/hadoop/hadoop-2.7.3/share/hadoop/common/
/usr/hadoop/hadoop-2.7.3/share/hadoop/hdfs/lib
/usr/hadoop/hadoop-2.7.3/share/hadoop/hdfs/

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestMain {

    public static void main(String[] args) throws Exception {
        // 使用HDFS的API创建目录
        //设置NameNode地址
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.222.100:9000");

        //得到HDFS的文件系统
        FileSystem fs = FileSystem.get(conf);
        fs.mkdirs(new Path("/folder1"));
    }

}

本文由【waitig】发表在等英博客
本文固定链接:HDFS基本操作
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)