
接下来,分别看看集群中不同节点的data目录下有些什么
显然,hadoop001和hadoop002的data目录下文件层次结构是一致的,hadoop003的data目录下少了/hdfs/name相关内容。这是因为hadoop001和hadoop002分别是Namenode主备节点,而hadoop003仅为datanode。
进入/opt/module/hadoop-2.7.3/data/hdfs/name
hadoop001和hadoop002是主备关系,$HADOOP_HOME/etc/hadoop/data/hdfs/name路径下存放了主备同步所需的三类文件:edits、fsimage、seen_txid。
除上述主备同步的文件以外,还有一个VERSION文件,用于记录namenode启动或重启、重新格式化后的重要信息。
以hadoop003为例
集群中每个节点都部署了Journal_node,以hadoop003为例
namenode、datanode、journalnode的VERSION中记录的clusterID必须一致。
hadoop查看每个目录的路径需要验证数据。1、点击shell命令,hadoopfscountq目录ps,查看目录下总的大小。
2、dfscount目录ps,一样的,hadoopfsdu目录ps,查看目录下每个子目录的路径。
是的,Hadoop搭建过程中设置元数据文件存储路径的配置文件是hdfs-site.xml。在Hadoop集群中,元数据指的是HDFS(Hadoop Distributed File System)存储的文件系统命名空间和其他相关信息,例如文件副本的位置和块的位置等。HDFS将元数据存储在一个称为NameNode的主节点上,而文件数据则分散存储在多个称为DataNode的从节点上。
要在Hadoop集群中指定元数据文件存储路径,需要编辑hdfs-site.xml配置文件并设置适当的属性。具体来说,在hdfs-site.xml文件中,可以使用以下属性配置元数据文件存储路径:
<property>
<name>dfs.namenode.name.dir</name>
<value>/path/to/namenode/dir</value></property>
其中,/path/to/namenode/dir是您希望用于存储元数据文件的本地目录的路径。请注意,这个路径应该是HDFS用户具有写入权限的路径。
因此,hdfs-site.xml配置文件是设置Hadoop集群中元数据文件存储路径的一个重要文件。
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)