在CentOS上配置Apache DolphinScheduler(通常称为DolphinScheduler)涉及多个步骤,包括环境准备、安装依赖、配置用户权限、启动Zookeeper以及修改DolphinScheduler的相关配置文件。以下是一个详细的配置教程:
环境准备
- 操作系统:确保你的CentOS系统版本为7或以上。
- 虚拟机节点:建议至少3个节点,以支持Zookeeper的集群模式(最小值为3)。
- 所需组件:
- Hadoop
- Zookeeper(推荐版本3.4.6+)
- MySQL或PostgreSQL(推荐版本5.7+或8.2.15+)
安装依赖
- 安装JDK 1.8:
yum install -y java-1.8.0-openjdk-devel
- 安装MySQL或PostgreSQL:
- MySQL:
yum install -y mysql-server
- PostgreSQL:
yum install -y postgresql-server
- MySQL:
- 安装Zookeeper:
wget https://downloads.apache.org/zookeeper/zookeeper-3.4.15/apache-zookeeper-3.4.15-bin.tar.gz tar -xzf apache-zookeeper-3.4.15-bin.tar.gz cd apache-zookeeper-3.4.15
配置用户免密及权限
- 创建部署用户:
useradd dolphinscheduler passwd dolphinscheduler
- 配置sudo免密:
sed -i '$!d' /etc/sudoers echo "dolphinscheduler ALL=(ALL) NOPASSWD: ALL" >> /etc/sudoers
- 修改目录权限:
chown -R dolphinscheduler:dolphinscheduler /path/to/dolphinscheduler
配置机器SSH免密登录
- 生成SSH密钥:
ssh-keygen -t rsa -b 4096 -C "your_email@example.com"
- 复制公钥到其他节点:
ssh-copy-id user@node2 ssh-copy-id user@node3
启动Zookeeper
- 启动Zookeeper:
cd /path/to/zookeeper ./bin/zkserver.sh start
- 验证Zookeeper启动:
./bin/zkserver.sh status
修改DolphinScheduler相关配置
- 下载并解压DolphinScheduler:
wget https://downloads.apache.org/dolphinscheduler/dolphinscheduler-3.1.8/apache-dolphinscheduler-3.1.8-bin.tar.gz tar -xzf apache-dolphinscheduler-3.1.8-bin.tar.gz cd apache-dolphinscheduler-3.1.8
- 配置
install.env
文件:- 修改以下参数:
install.server.ip=your_master_ip install.server.port=8848 install.zookeeper.quorum=your_zookeeper_nodes install.mysql.host=your_mysql_host install.mysql.port=3306 install.mysql.user=your_mysql_user install.mysql.password=your_mysql_password
- 修改以下参数:
- 执行安装脚本:
./bin/install-sh
启动DolphinScheduler
- 启动Master节点:
./bin/start-master.sh
- 启动Worker节点:
./bin/start-slave.sh
访问DolphinScheduler Web界面
打开浏览器,访问http://your_master_ip:8848
,使用配置的用户名和密码登录,即可开始配置和管理DolphinScheduler。
以上步骤涵盖了在CentOS上配置DolphinScheduler的基本流程。根据具体需求,可能还需要进行进一步的优化和配置。