1.Cloudera简介
由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。
在Hadoop生态系统中,规模最大、知名度最高的公司则是Cloudera。Cloudera的开源Apache Hadoop发行版,
亦即(Cloudera Distribution including Apache Hadoop,CDH),面向Hadoop企业级部署。
Cloudera称,其一半以上的工程产出捐赠给了各个基于Apache许可与Hadoop紧密相连的开源项目(Apache Hive、Apache HBase等等)。

2.安装前准备
主机配置:
10.9.1.3
10.9.1.7
10.9.1. 13

2.1 java 安装与配置(所有节点)
基于Linux 操作系统 java 安装 ,请参考 https://blog.csdn.net/wulin_9/article/details/140218597

2.2 修改主机名
修改/etc/sysconfig/network文件:
NETWORKING=yes
HOSTNAME=master

#NETWORKING_IPV6=yes

其中HOSTNAME与主机名一致。主机名如果跟系统安装时不一致请执行hostname命令让其立即生效,否则会影响各节点互相访问。
修改/etc/hosts文件,添加:
10.9.1.130 master
10.9.1.131 slave01
10.9.1.132 slave02

执行命令:
service network restart

2.3 打通所有节点ssh
这里master节点和其他datanode节点会略有区别。 首先所有节点均执行如下命令,遇到提示一路回车即可:
ssh-keygen -t rsa

然后在所有节点执行以下命令:
ssh-copy-id master
ssh-copy-id slave01
ssh-copy-id slave02

然后输入密码即可,以后再到其他机器就不需要密码

2.4 关闭防火墙和 SELinux
关闭所有机器的防火墙和 SELinux,执行以下命令:
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
关闭 SELinux
编辑/etc/selinux/config文件,将SELINUX=enforcing修改为SELINUX=permissive。
执行命令setenforce 0临时生效,或者重启机器永久生效。

2.4 在master 节点上安装mysql
请参考: centos 7.4 编译安装mysql 5.6 图文详细教程

mysql -uroot -p

mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_length=6;
Query OK, 0 rows affected (0.00 sec)

mysql> ALTER USER ‘root‘@’localhost’ IDENTIFIED BY ‘123456’;
Query OK, 0 rows affected (0.00 sec)

mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE rmon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

在MYSQL中创建集群所用的统一登陆用户授权:
mysql> CREATE USER ‘cdh‘@’%’ IDENTIFIED BY ‘123456’;
Query OK, 0 rows affected (0.00 sec)

mysql> GRANT ALL ON . TO ‘cdh‘@’%’;
Query OK, 0 rows affected (0.00 sec)

2.5 所有节点配置NTP服务
systemctl restart ntpd
systemctl status ntpd
ntpq -p

date;ssh slave01 date;

2.6 使用yum在线安装httpd
http://106.55.131.241:8182/blog-4.html

[root@cdh01 opt]# yum -y install httpd
启动httpd服务

[root@cdh01 opt]# systemctl start httpd
添加到开启启动项中

[root@cdh01 opt]# systemctl enable httpd.service
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.

参考网站:
https://www.jianshu.com/p/610cce9f9026
https://zhuanlan.zhihu.com/p/425449993

作者:admin  创建时间:2025-03-02 09:02
最后编辑:admin  更新时间:2025-03-04 20:32