不采用cloudera全自动安装方式,参考Cloudera官方文章安装指导,一步步下载安装。我有3台ubuntu12.04 64bit VM, 1台ubuntu12.04 x86 vm
192.168.2.31 master
192.168.2.32 slave1
192.168.2.33 slave2
192.168.2.34 管理平台
1.首先每台都安装JDK1.6.0.35(我的机器之前已经有解压版的jdk,在/etc/profile设定了JAVA_HOME)
2.在31 ~ 33上面分分别执行命令:
apt-get install bigtop-utils bigtop-jsvc bigtop-tomcat hadoop hadoop-hdfs
hadoop-httpfs hadoop-mapreduce hadoop-yarn hadoop-client hadoop-0.20-mapreduce
hue-plugins hbase hive oozie oozie-client pig zookeeper. 中间安装失败,主要是因为没有更新包
在/etc/apt/source.list.d/下编辑cloudera.list, 添加如下内容:
deb [arch=amd64] http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh
precise-cdh4 contrib
deb-src http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh precise-cdh4
contrib
deb [arch=amd64] http://archive.cloudera.com/cm4/ubuntu/precise/amd64/cm precise-cm4
contrib
deb-src http://archive.cloudera.com/cm4/ubuntu/precise/amd64/cm precise-cm4 contrib
然后再执行上面的命令就可以了。
3.在34这台安装先安装mysql,然后安装cloudera manager server
apt-get install mysql-server-5.5
apt-get install cloudera-manager-daemons cloudera-manager-server
4. 配置数据库
先创建temp user
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
Query OK, 0 rows affected (0.00 sec)
- 报告JAVA_HOME未指定错误。因为我的JAVA_HOME路径,并不是cloudera默认路径,好像在/etc/profile指定,
- 登陆admin cosole后,添加hbase服务,启动失败,看/usr/lib/hbase/logs.报Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 错误
- switch到hbase user,然后执行
- hadoop fs -mkdir /hbase
- hadoop fs -chown hbase /hbase
- 启动jobtracker失败,报Log相关异常,最后查Log,发现不能打开文件/var/log/hadoop-0.20-mapreduce/*.log.out, 其实也是类似上面的权限问题。切换到mapred,赋予mapred操作该path的权限,这个问题解决。但仍然启动失败,且没有任何错误log,还在研究中。怀疑是因为我的机器内存太小(1G),服务太多的原因。(补充:最后再次检查,首先检查/run/cloudera-scm-agent/process/**-mapreduce-jobtracker/log/stderr.log,然后检查/var/log/hadoop-0.20-mapreduce/*.log,发现基本都是权限问题,解决)
相关推荐
Cloudera Impalad分布式群集部署(yum本地源+代码实例)
Hadoop2.7.5-HBase1.2.6伪分布式安装文档。 高清pdf,完整书签。 来自博客:http://blog.csdn.net/u011669700/article/details/79470769
cloudera-manager安装包及安装指导
Cloudera Manager安装部署.pdf
cloudera 安装部署手册 和base、solr运维
Cloudera Hadoop 安装指南
cloudera Manager在线安装,遇到问题的总结,solr的安装配置,solrcloud的搭建,hbase和solr的字段索引建立
ClouderaManager5.4安装详解文档:系统环境准备步骤和CM安装步骤,以及CM的简单实用介绍
公司使用的hadoop一般都不是apache下的hadoop,而是cloudera公司的hadoop,因为它除了提供hadoop外还提供了集成工具,所以,今天也采用cloudera hadoop进行安装学习。 一、先来看看hadoop对环境的要求 我选择的...
Cloudera CHD安装教程(新),老师下发的培训机构一手资料,Cloudear集群安装文档,本人已经测,可成功安装。
基于Ubuntu 14.04.3,搭建完全分布式CDH集群参考资料。 在公司测试环境中使用3台服务器完成搭建,
该文档详细讲解了cloudera manager安装cdh步骤,作者看了官方文档不下千次,呕心沥血整理,非常详细,以及各种安装方法的核心优缺点
大数据集群 cloudera CDH 安装手册 在服务器上安装CDH的实验 亲测可用
Centos7 安装Cloudera。本文适用于安装最新版本的Cloudera Manger,在1.2 节中请选择最近版本的 Cloudera manager相关rpm安装包下载,并在后面的步骤中使用对应的rpm安装。否则在3.3节中安装 cm服务到40%时会卡住不...
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的工具,大大提高集群管理的效率,节省运维成本。Cloudera Manager从6.3.3版开始收费,6.3.2及之前的版本可以免费使用,但是不能免费下载...
安装全套软件和视频推荐 包含如下文件: CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7.parcel cm7.2.4-redhat7.tar.gz CM7.2.4内容: cm7.2.4\RPMS\x86_64\cloudera-manager-agent-7.2.4-7594142.el7.x86_64.rpm cm7.2.4\...
Ubuntu14.04在线安装Cloudera Manager集群部署,涉及ssh免密码登陆,ntp时间同步,集群安装
cloudera-installation.pdf-安装CDH和CM的文档 cloudera-introduction.pdf-基本介绍文档 cloudera-operation.pdf-操作使用文档 cloudera-quickstart.pdf-虚拟机快速使用(免安装)文档 cloudera-releases.pdf-版本更新...
Cloudera
Centos7 安装Cloudera PDF 下载