在CentOS上安装和配置Hadoop分布式文件系统（HDFS）涉及多个步骤，以下是一个基本的指南，帮助你设置一个高效且可靠的HDFS集群：

环境准备

• 安装Java：HDFS需要Java环境，推荐使用OpenJDK 8。
• 配置网络：确保所有节点有静态IP地址，并配置主机名。

Hadoop安装

• 下载并解压Hadoop：从Apache Hadoop官网下载适合的版本并解压。

HDFS配置

• 配置core-site.xml：配置默认文件系统和临时目录。
• 配置hdfs-site.xml：配置HDFS相关参数，如副本数、数据目录等。
• 配置yarn-site.xml和mapred-site.xml：配置YARN和MapReduce的相关参数。

启动HDFS

• 格式化NameNode：在启动集群前，需要对NameNode进行格式化。
• 启动HDFS：使用start-dfs.sh命令启动HDFS集群。

验证配置

• 使用hdfs dfs -df -h命令检查HDFS状态。

安全配置

• SSH免密登录：配置SSH免密登录，确保节点间可以无密码通信。
• 关闭防火墙：临时关闭防火墙以便启动服务。

监控和日志

• 配置日志目录和监控工具：以便及时发现和解决问题。

性能优化

• 调整内核参数：如单进程打开文件数限制、TCP参数优化。
• 优化HDFS配置文件：如调整块大小、设置合适的副本数量、启用压缩技术。
• 提升硬件资源：如使用SSD、增加内存和CPU。

高可用性配置

• 配置ZooKeeper：用于管理HDFS的高可用性。
• 配置HDFS高可用性：包括设置多个NameNode和JournalNode。