Hadoop 02：常用命令和配置

hadoop
hadoop

介绍hadoop常用命令和配置。

文件操作

  • 查看File system

    1
    # bin/hdfs dfs -ls /  // 查看根目录

  • 将文件放入File system

    1
    2
    3
    # bin/hdfs dfs -put test.txt /data01
    # bin/hdfs dfs -ls /data01  // 读data01中的文件列表
    # bin/hdfs dfs -cat /data01/test.txt  // 读文件text.txt

  • 删除文件

    1
    # bin/hdfs dfs -rm /data01/test.txt

  • 删除目录

    1
    # bin/hdfs dfs -rmdir /data01

HDFS用户权限

  • 操作File system目录时，会根据校验是否是当前用户拥有的File system，如果不是，会禁止操作并报错。解决方案是配置文件hdfs-site.xml，添加以下内容：
    1
    2
    3
    4
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

重启服务

1
2
3
4
5
6
7
# cd /opt/modules/hadoop-2.8.0
# sbin/hadoop-daemon.sh stop namenode  // 关闭namenode
# sbin/hadoop-daemon.sh stop datanode  // 关闭datanode
# sbin/hadoop-daemon.sh start namenode  // 启动namenode
# sbin/hadoop-daemon.sh start datanode  // 启动datanode
# bin/hdfs dfsadmin -safemode get // 查看安全模式
Safe mode is OFF

  • 修改文件所有者
    1
    # bin/hdfs dfs -chown -R hadoop /test  // 修改hadoop为test拥有者
分享到