1.文档编写目的
随着CDSW新版本的发布也提供了更多的新功能,具体参考Fayson前面文章《
的新功能
》,本篇文章Fayson主要介绍如何通过ClouderaManager升级CDSW至1.4版本。
内容概述
1.升级准备
2.配置的Parcel库及激活
3.功能验证及总结
测试环境说明
1.CM和CDH版本为5.15
2.CDSW版本为1.3
3.集群未启用Kerberos
4.
2.升级准备
1.准备CDSW最新的Parcel安装包
(可左右滑动)
2.将下载好的Parcel包部署在本地的apache服务器的/var/www/html/目录下
[root@cdh05~]ll
(可左右滑动)
3.验证本地Parcel部署是否成功
3.CM配置的Parcel库
1.使用管理员登录ClouderaManager,进入Pacel主界面
3.保存更改后回到Parcel界面查看加载在的版本
完成下载
如上步骤完成了的分配
4.激活
在前面的步骤已完成了版本安装包的分发,在激活之前先收集下CDSW平台的基本信息及做简单备份。
1.使用管理员登录CDSW平台用户信息查看及备份
通过“ExportUsersList”功能将平台的用户导出备份。
2.查看当前用户创建的工程
fayson用户下也有创建相应的工程
以上步骤做了CDSW平台上用户及工程的简单记录,确保在CDSW平台升级后,工程依然存在。
3.登录ClouderaManager对版本进行激活
如下截图显示已激活成功
5.进入CDSW服务界面显示角色启动异常
6.查看启动日志发现有如下异常
“ERROR::Depencypackages[_64]:1”
(可左右滑动)
7.停止CDSW服务,进行如下操作
服务停止成功后,在操作下选择“PrepareNode”执行
命令执行成功
8.通过CM启动CDSW服务
执行完启动命令后,需要等待一段时间,等待CDSW服务中各个模块正常提供服务。
9.CDSW服务启动成功界面显示如下:
同样也可以在CDSW服务器上使用cdswstatus命令查看
5.CDSW验证
验证CDSW服务的可用性以及升级后平台的账号、配置、工程信息未丢失
1.使用管理员账号登录CDSW服务,进入主页面
可用看到升级后多了Experiments和Models功能,在后面的文章Fayson会介绍这两个功能的详细使用。
2.查看CDSW用户与升级前用户一致
3.Project工程存在
admin用户下的test工程存在,与升级前一致
fayson用户下的fayson-project工程与升级前一致
4.打开fayson-project工程的Workbench
6.总结
1.本篇文章Fayson将版本升级至1.4,需要准备的Parcel包,通过CM将Parcel包分发激活,使CDSW使用最新版本启动并提供服务。
2.在升级的过程中遇到CDSW服务启动失败,是由于新版本的CDSW需要安装OS的依赖包,可以通过“PrepareNode”功能来准备CDSW的服务所需要依赖环境(如:配置、依赖包等)。
3.升级前后不会导致CDSW平台的工程、用户以及配置等信息丢失。
4.版本后对服务器的要求更高一些,Fayson的服务器是4核16G的服务器,升级后不能打开Session,提示“Unschedulable:Nonodesareavailablethatmatchallofthepredicates:Insufficientcpu(1)”
5.对于生产环境的CDSW升级,在升级前有必要通知所有使用用户将自己的工程做相应的备份。
原创文章,欢迎转载,转载请注明:转载自实操