Ubuntu16.0.4 手动安装 CDH 5.14.0 （二）cloudera manager安装

概述

当前所使用的系统为Ubuntu 16.0.4，发行版本为 xenial

准备

下载部署相关软件

下载以下软件

Cloudera Manager安装包，这里使用5.14.0版本。
- cloudera-manager-xenial-cm5.14.0_amd64.tar.gz
CDH离线资源包(parcel用安装包)，只下载以下文件即可：
- CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel
- CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha1
- manifest.json
mysql jdbc连接库

部署软件

mkdir /opt/cloudera-manager
tar -xzvf cloudera-manager-xenial-cm5.14.0_amd64.tar.gz -C /opt/cloudera-manager
mkdir -p /opt/cloudera/parcel-repo
mv CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha
cp CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha manifest.json /opt/cloudera/parcel-repo

最终的目录结构如下所示：

/opt
  |-/cloudera
  |  |-/parcels
  |  |-/parcel-repo
  |  |  |-CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel
  |  |  |-CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha
  |  |  |-manifest.json
  |-/cloudera-manager
  |  |-/cm5.14.0

安装

添加cloudera仓库

Step 1：设置包列表

从 Cloudera Manager Version and Download Information
找到适合当前操作系统版本的cloudera包文件(这里是
https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list)，
将文件中的内容复制到/etc/apt/sources.list.d/cloudera-manager.list
没有则新建。

Step 2：安装仓库密钥（可选）

1
2
3

wget https://archive.cloudera.com/cdh5/ubuntu/xenial/amd64/cdh/archive.key -O archive.key
sudo apt-key add archive.key
apt-get update

cloudera manager 安装和配置

Step 1：安装cloudera server和cloudera agent

1 2	sudo apt-get install cloudera-manager-daemons cloudera-manager-server sudo apt-get install cloudera-manager-agent

Step2：配置cloudera agent

修改/etc/cloudera-scm-agent/config.ini文件的以下选项：

1 2	server_host=master server_port=7182 #若改端口被占用，改为其它端口

Step3：添加mysql连接库

1	cp mysql-connector-java-5.1.45.jar /usr/share/cmf/lib

Step4：更改文件所有者

1 2	chown cloudera-scm:cloudera-scm /opt/cloudera/parcels chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

cloudera manager数据库账户设置

此处假设我们的cloudera manager所使用的数据库为scm,用户名为scm，密码为scm。

step 1：进入mysql命令界面

1	mysql -uroot -p

step 2：使能远程连接到scm账户

1 2	grant all on . to 'scm'@'%' identified by 'scm' with grant option; flush privileges;

step 3: 配置数据库及用户

若之前已尝试过安装，会有遗留的文件，删除：

1	rm -f /etc/cloudera-scm-server/db.*

使用以下命令创建和配置数据库及数据库用户

1	/usr/share/cmf/schema/scm_prepare_database.sh mysql -hmaster -uroot -proot --scm-host master scm scm scm

说明：该脚本用来创建和配置CMS需要的数据库。各参数是指：

mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-uroot：root身份运行mysql。-proot：mysql的root密码是root。
–scm-host localhost ：CMS的主机，一般是和mysql安装的主机是在同一个主机上。
最后三个参数是：数据库名，数据库用户名，数据库密码。

注意：如果创建失败，根据报错日志，可能需删去数据库与用户，进行排错。相关命令如下：

1
2
3

select distinct concat('User:''',user,'''@''',host,''';')as query from mysql.user; //查看用户
drop database scmdbn; //删除数据库
drop User 'scmdbu'@'master'; //删除用户