探索Hadoop数据存放目录

探索Hadoop数据存放目录,第1张

core-site.xml文件位于$HADOOP_HOME/etc/hadoop路径下,配置了hadoop数据存放路径,包括namenode、datanode、journalnode的相关数据。

接下来,分别看看集群中不同节点的data目录下有些什么

显然,hadoop001和hadoop002的data目录下文件层次结构是一致的,hadoop003的data目录下少了/hdfs/name相关内容。这是因为hadoop001和hadoop002分别是Namenode主备节点,而hadoop003仅为datanode。

进入/opt/module/hadoop-2.7.3/data/hdfs/name

hadoop001和hadoop002是主备关系,$HADOOP_HOME/etc/hadoop/data/hdfs/name路径下存放了主备同步所需的三类文件:edits、fsimage、seen_txid。

除上述主备同步的文件以外,还有一个VERSION文件,用于记录namenode启动或重启、重新格式化后的重要信息。

以hadoop003为例

集群中每个节点都部署了Journal_node,以hadoop003为例

namenode、datanode、journalnode的VERSION中记录的clusterID必须一致。

hadoop查看每个目录的路径需要验证数据。

1、点击shell命令,hadoopfscountq目录ps,查看目录下总的大小。

2、dfscount目录ps,一样的,hadoopfsdu目录ps,查看目录下每个子目录的路径。

是的,Hadoop搭建过程中设置元数据文件存储路径的配置文件是hdfs-site.xml。

在Hadoop集群中,元数据指的是HDFS(Hadoop Distributed File System)存储的文件系统命名空间和其他相关信息,例如文件副本的位置和块的位置等。HDFS将元数据存储在一个称为NameNode的主节点上,而文件数据则分散存储在多个称为DataNode的从节点上。

要在Hadoop集群中指定元数据文件存储路径,需要编辑hdfs-site.xml配置文件并设置适当的属性。具体来说,在hdfs-site.xml文件中,可以使用以下属性配置元数据文件存储路径:

<property>

<name>dfs.namenode.name.dir</name>

<value>/path/to/namenode/dir</value></property>

其中,/path/to/namenode/dir是您希望用于存储元数据文件的本地目录的路径。请注意,这个路径应该是HDFS用户具有写入权限的路径。

因此,hdfs-site.xml配置文件是设置Hadoop集群中元数据文件存储路径的一个重要文件。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/tougao/11807890.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-18
下一篇2023-05-18

发表评论

登录后才能评论

评论列表(0条)

    保存