云梦泽
云梦泽
4月前 · 474 人阅读

概述

当前所使用的系统为Ubuntu 16.0.4,发行版本为 xenial

准备

下载部署相关软件

  • Step 1:下载以下软件

  • Step2: 部署软件

mkdir /opt/cloudera-manager
tar -xzvf cloudera-manager-xenial-cm5.14.0_amd64.tar.gz -C /opt/cloudera-manager
mkdir -p /opt/cloudera/parcel-repo
mv CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha
cp CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha manifest.json /opt/cloudera/parcel-repo

最终的目录结构如下所示:

  /opt
    |-/cloudera
    |  |-/parcels
    |  |-/parcel-repo
    |  |  |-CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel
    |  |  |-CDH-5.14.0-1.cdh5.14.0.p0.24-xenial.parcel.sha
    |  |  |-manifest.json
    |-/cloudera-manager
    |  |-/cm5.14.0

安装

添加cloudera仓库

Cloudera Manager Version and Download Information
找到适合当前操作系统版本的cloudera包文件(这里是
https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list),
将文件中的内容复制到/etc/apt/sources.list.d/cloudera-manager.list
没有则新建。

wget https://archive.cloudera.com/cdh5/ubuntu/xenial/amd64/cdh/archive.key -O archive.key
sudo apt-key add archive.key
apt-get update

cloudera manager 安装和配置

  • Step 1:安装cloudera server和cloudera agent
sudo apt-get install cloudera-manager-daemons cloudera-manager-server
sudo apt-get install cloudera-manager-agent

修改/etc/cloudera-scm-agent/config.ini文件的以下选项:

server_host=master
server_port=7182 #若改端口被占用,改为其它端口
cp mysql-connector-java-5.1.45.jar /usr/share/cmf/lib
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

cloudera manager数据库账户设置

此处假设我们的cloudera manager所使用的数据库为scm,用户名为scm,密码为scm。

mysql -uroot -p
grant all on *.* to 'scm'@'%' identified by 'scm' with grant option;
flush privileges;

若之前已尝试过安装,会有遗留的文件,删除:

rm -f /etc/cloudera-scm-server/db.* 

使用以下命令创建和配置数据库及数据库用户

/usr/share/cmf/schema/scm_prepare_database.sh mysql -hmaster -uroot -proot --scm-host master scm scm scm

说明:该脚本用来创建和配置CMS需要的数据库。各参数是指:

  • mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。

  • -uroot:root身份运行mysql。-proot:mysql的root密码是root。

  • --scm-host localhost :CMS的主机,一般是和mysql安装的主机是在同一个主机上。

  • 最后三个参数是:数据库名,数据库用户名,数据库密码。

注意:如果创建失败,根据报错日志,可能需删去数据库与用户,进行排错。相关命令如下:

select distinct concat('User:''',user,'''@''',host,''';')as query from mysql.user; //查看用户
drop database scmdbn; //删除数据库
drop User 'scmdbu'@'master'; //删除用户
收藏 0
关键词: cloudera scm xenial parcel man
评论