【持续更新】hdfs 常见命令

hdfs fsck 命令

详细参见:

https://www.cnblogs.com/tesla-turing/p/11487899.html

https://zhuanlan.zhihu.com/p/336578884

hdfs distcp 命令

DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。

hadoop distcp hdfs://nn1:8020/foo/bar \
                    hdfs://nn2:8020/bar/foo

详细参见:https://hadoop.apache.org/docs/r1.0.4/cn/distcp.html

hdfs archive命令

Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据(part-*)文件。_index文件包含了档案中的文件的文件名和位置信息。

hadoop archive -archiveName name <src>* <dest>

详细参考:https://hadoop.apache.org/docs/r1.0.4/cn/hadoop_archives.html

hdfs dfsadmin

hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-help [cmd]]

详细参考:https://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#dfsadmin

hdfs mradmin

刷新tasktracker信息:

https://blog.csdn.net/u011500419/article/details/95760981

# hadoop  转载 


标 题:《【持续更新】hdfs 常见命令
作 者:zeekling
提 示:转载请注明文章转载自个人博客:浪浪山旁那个村

评论

取消