打赏

Cloudera Manager安装之利用parcels方式（在线或离线）安装3或4节点集群（包含最新稳定版本或指定版本的安装）（添加服务）（Ubuntu14.04）（五）

 

 

 

　　前期博客

Cloudera Manager安装之Cloudera Manager 5.6.X安装（tar方式、rpm方式和yum方式） （Ubuntu14.04） （三）

 

 　　

　　如果大家，在启动的时候，比如遇到如下问题，则

 

 

 　　 明明已经授权了啊，怎么被拒绝，纳尼？？？

 

 

 

 

 　　

　　解决办法

 

 

 　　然后，再来这样，就可以了。

 

 

 

 

 

 

 

 

 

 

 　　注意，在此之前。

　　ubuntucmbigdata1机器上，则需要执行

bigdata@ubuntucmbigdata1:~$ sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql scm scm scm_password

[sudo] password for bigdata: 
Sorry, try again.
[sudo] password for bigdata: 
JAVA_HOME=/usr/java/jdk1.7.0_80
Verifying that we can write to /etc/cloudera-scm-server
Creating SCM configuration file in /etc/cloudera-scm-server
Executing:  /usr/java/jdk1.7.0_80/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

bigdata@ubuntucmbigdata1:~$ sudo service cloudera-scm-server start
[sudo] password for bigdata: 
Starting cloudera-scm-server: * cloudera-scm-server started



bigdata@ubuntucmbigdata1:~$


 


 


bigdata@ubuntucmbigdata1:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata: 
Starting cloudera-scm-agent:  * cloudera-scm-agent started


bigdata@ubuntucmbigdata1:~$ 


 


 


 


 




 


 


　　然后，在ubuntucmbigdata2、ubuntucmbigdata3、ubuntucmbigdata4上






bigdata@ubuntucmbigdata2:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata: 
Starting cloudera-scm-agent:  * cloudera-scm-agent started




bigdata@ubuntucmbigdata2:~$






bigdata@ubuntucmbigdata3:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata: 
Starting cloudera-scm-agent:  * cloudera-scm-agent started




bigdata@ubuntucmbigdata3:~$


 






bigdata@ubuntucmbigdata4:~$ sudo service cloudera-scm-agent start
[sudo] password for bigdata: 
Starting cloudera-scm-agent:  * cloudera-scm-agent started




bigdata@ubuntucmbigdata4:~$




 


 


 


 


 


 




 


 


 


 




 


 


 


 




 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 




 


 


 　　


 


 　　这是，因为。我之前前面4台机器都没有启动服务，所以会是如下。四个自动会勾选。


 


 


 


 　　有时候会是如下，


　　那是因为，ubuntucmbigdata3这台的服务没启动。




 


 


 　　


　　一般，若大家按照我本博文的顶部，把每台机器相应的服务，都启动起来了的话，则是如下（是最好的）


 


 


 


 


 


 


 


 


 


 


 




 


 


 


 


 


 


 


 


 


 




 


 


 


 


 


 


 




 


 


 


 


 




 


 


 


 


 


　　或者


 




 


 


 


 


 


 


 




 


 


 


 　　如果你的本地里，已经安装好了，比如我这里的jdk1.7，则这里就不需要勾选，不然会报错后面 （但是，若大家通过我的bin方式来安装的话，是直接没有安装任何jdk的，直接是上面一样，勾选，它会自动好jdk）




 




 


 


 


 




 


 


 


 


 




 


 


 


 


 


 




http://ubuntucmbigdata1:7180/cmf/express-wizard/wizard#step=hostCredentialsStep






 


 


 


 


 


 


 




 


 　　由此可见，我的ubuntucmbigdata2、ubuntucmbigdata3和ubuntucmbigdata4，是clouder manager agent。


 


 


 


 


 


 


 　　如下的界面，是因为，我提前没有安装好，所以是在线此刻安装的。




 　　两种方式都可以


 　　或者（以下，是因为，我已经先提前在这一步安装好了，所以是如下的界面）




 


 


 


 


 


 


 


 


 


 




 


 


 


 


 　　若出现如下问题，则






bigdata@ubuntucmbigdata1:~$ sudo echo 0 > /proc/sys/vm/swappiness
-bash: /proc/sys/vm/swappiness: Permission denied
bigdata@ubuntucmbigdata1:~$ su root
Password: 
root@ubuntucmbigdata1:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness
root@ubuntucmbigdata1:/home/bigdata# 


bigdata@ubuntucmbigdata2:~$ sudo echo 0 > /proc/sys/vm/swappiness
-bash: /proc/sys/vm/swappiness: Permission denied
bigdata@ubuntucmbigdata2:~$ su root
Password: 
root@ubuntucmbigdata2:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness
root@ubuntucmbigdata2:/home/bigdata# 



bigdata@ubuntucmbigdata3:~$ sudo echo 0 > /proc/sys/vm/swappiness
-bash: /proc/sys/vm/swappiness: Permission denied
bigdata@ubuntucmbigdata3:~$ su root
Password: 
root@ubuntucmbigdata3:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness
root@ubuntucmbigdata3:/home/bigdata# 



bigdata@ubuntucmbigdata4:~$ sudo echo 0 > /proc/sys/vm/swappiness
-bash: /proc/sys/vm/swappiness: Permission denied
bigdata@ubuntucmbigdata4:~$ su root
Password: 
root@ubuntucmbigdata4:/home/bigdata# sudo echo 0 > /proc/sys/vm/swappiness
root@ubuntucmbigdata4:/home/bigdata# 




 


 


 


 




 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


　然后，接下来，这一步，其实跟我另外写的一篇用ambari是一样的。


　　


Ambari安装之部署3个节点的HA分布式集群


 




 


 


 


 　　最后，我的初步安装是




 


 


 


　　 其实，也跟我写的这篇博客也类似


Cloudera Manager安装之利用parcels方式安装3或4节点集群（包含最新稳定版本或指定版本的安装）（添加服务）（CentOS6.5）（五）


 


 


 


 


 




 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 


 　　这里，我的数据库设置是在下面的博客就已经设置好了的。


Ubuntu14.04下完美安装cloudermanage多种方式（图文详解）（博主推荐）


 




 


 　　若是centos系统，则是可以直接




[root@cmbigdata1 ~]# yum install mysql-connector-java
Is this ok [y/N]: y




　　就好了。


 


　　但是，在ubuntu系统里，




root@ubuntucmbigdata1:/home/bigdata# apt-get install libmysql-java




　　则会失败。


 


 　　解决办法1




root@ubuntucmbigdata1:~# sudo /etc/init.d/mysql start




　　查看你的mysql服务启动没。


 　　


　　解决办法2




root@ubuntucmbigdata1:/usr/share/java# pwd
/usr/share/java
root@ubuntucmbigdata1:/usr/share/java# ls
gettext.jar  java_defaults.mk  java_uno.jar  juh-4.2.8.jar  juh.jar  jurt-4.2.8.jar  jurt.jar  libintl.jar  mysql-connector-java-5.1.28.jar  mysql-connector-java.jar  mysql.jar  ridl-4.2.8.jar  ridl.jar  unoloader.jar
root@ubuntucmbigdata1:/usr/share/java# sudo cp /usr/share/java/mysql-connector-java-5.1.28.jar /var/lib/oozie
root@ubuntucmbigdata1:/usr/share/java# cd /var/lib//oozie/
root@ubuntucmbigdata1:/var/lib/oozie# ls
examples.desktop  mysql-connector-java-5.1.28.jar
root@ubuntucmbigdata1:/var/lib/oozie# 




 


 


 


 


  


 


    

  1. sudo cp /usr/share/java/mysql-connector-java-5.1.28.jar /var/lib/oozie
    2. 

  2. 



 


 


 






bigdata@ubuntucmbigdata1:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib$ pwd
/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib
bigdata@ubuntucmbigdata1:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib$ ls
avro           debug                  hadoop-hdfs       hadoop-yarn  hive-hcatalog  kite                  libImpalaUdf-retail.a  libzookeeper_mt.so.2      libzookeeper_st.so        mahout   search  sqoop      zookeeper-native
bigtop-tomcat  flume-ng               hadoop-httpfs     hbase        hue            libhdfs.so            libzookeeper_mt.a      libzookeeper_mt.so.2.0.0  libzookeeper_st.so.2      oozie    sentry  sqoop2
bigtop-utils   hadoop                 hadoop-kms        hbase-solr   impala         libhdfs.so.0.0.0      libzookeeper_mt.la     libzookeeper_st.a         libzookeeper_st.so.2.0.0  parquet  solr    whirr
crunch         hadoop-0.20-mapreduce  hadoop-mapreduce  hive         impala-shell   libImpalaUdf-debug.a  libzookeeper_mt.so     libzookeeper_st.la        llama                     pig      spark   zookeeper
bigdata@ubuntucmbigdata1:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib$ cd hive
bigdata@ubuntucmbigdata1:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive$ ls
bin  cloudera  conf  lib  LICENSE  NOTICE  scripts  sentry
bigdata@ubuntucmbigdata1:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive$ cd lib/
bigdata@ubuntucmbigdata1:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ ls
accumulo-core-1.6.0.jar               commons-compress-1.4.1.jar              hbase-client.jar                          hive-jdbc-1.1.0-cdh5.6.0.jar             jackson-databind-2.2.2.jar              metrics-jvm-3.0.2.jar
accumulo-fate-1.6.0.jar               commons-configuration-1.6.jar           hbase-common.jar                          hive-jdbc-1.1.0-cdh5.6.0-standalone.jar  jackson-jaxrs-1.9.2.jar                 opencsv-2.3.jar
accumulo-start-1.6.0.jar              commons-dbcp-1.4.jar                    hbase-hadoop2-compat.jar                  hive-jdbc.jar                            jackson-xc-1.9.2.jar                    oro-2.0.8.jar
accumulo-trace-1.6.0.jar              commons-digester-1.8.jar                hbase-hadoop-compat.jar                   hive-jdbc-standalone.jar                 janino-2.7.6.jar                        paranamer-2.3.jar
activation-1.1.jar                    commons-httpclient-3.0.1.jar            hbase-protocol.jar                        hive-metastore-1.1.0-cdh5.6.0.jar        jcommander-1.32.jar                     parquet-hadoop-bundle.jar
ant-1.9.1.jar                         commons-io-2.4.jar                      hbase-server.jar                          hive-metastore.jar                       jdo-api-3.0.1.jar                       pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
ant-launcher-1.9.1.jar                commons-lang-2.6.jar                    high-scale-lib-1.1.1.jar                  hive-serde-1.1.0-cdh5.6.0.jar            jersey-server-1.14.jar                  php
antlr-2.7.7.jar                       commons-logging-1.1.3.jar               hive-accumulo-handler-1.1.0-cdh5.6.0.jar  hive-serde.jar                           jersey-servlet-1.14.jar                 plexus-utils-1.5.6.jar
antlr-runtime-3.4.jar                 commons-math-2.1.jar                    hive-accumulo-handler.jar                 hive-service-1.1.0-cdh5.6.0.jar          jetty-all-7.6.0.v20120127.jar           py
apache-curator-2.6.0.pom              commons-pool-1.5.4.jar                  hive-ant-1.1.0-cdh5.6.0.jar               hive-service.jar                         jetty-all-server-7.6.0.v20120127.jar    regexp-1.3.jar
apache-log4j-extras-1.2.17.jar        commons-vfs2-2.0.jar                    hive-ant.jar                              hive-shims-0.23-1.1.0-cdh5.6.0.jar       jline-2.12.jar                          servlet-api-2.5.jar
asm-3.2.jar                           curator-client-2.6.0.jar                hive-beeline-1.1.0-cdh5.6.0.jar           hive-shims-0.23.jar                      jpam-1.1.jar                            snappy-java-1.0.4.1.jar
asm-commons-3.1.jar                   curator-framework-2.6.0.jar             hive-beeline.jar                          hive-shims-1.1.0-cdh5.6.0.jar            jsr305-3.0.0.jar                        ST4-4.0.4.jar
asm-tree-3.1.jar                      datanucleus-api-jdo-3.2.6.jar           hive-cli-1.1.0-cdh5.6.0.jar               hive-shims-common-1.1.0-cdh5.6.0.jar     jta-1.1.jar                             stax-api-1.0.1.jar
avro.jar                              datanucleus-core-3.2.10.jar             hive-cli.jar                              hive-shims-common.jar                    junit-4.11.jar                          stringtemplate-3.2.1.jar
bonecp-0.8.0.RELEASE.jar              datanucleus-rdbms-3.2.9.jar             hive-common-1.1.0-cdh5.6.0.jar            hive-shims.jar                           libfb303-0.9.2.jar                      super-csv-2.2.0.jar
calcite-avatica-1.0.0-incubating.jar  derby-10.11.1.1.jar                     hive-common.jar                           hive-shims-scheduler-1.1.0-cdh5.6.0.jar  libthrift-0.9.2.jar                     tempus-fugit-1.1.jar
calcite-core-1.0.0-incubating.jar     eigenbase-properties-1.1.4.jar          hive-contrib-1.1.0-cdh5.6.0.jar           hive-shims-scheduler.jar                 log4j-1.2.16.jar                        velocity-1.5.jar
calcite-linq4j-1.0.0-incubating.jar   geronimo-annotation_1.0_spec-1.1.1.jar  hive-contrib.jar                          hive-testutils-1.1.0-cdh5.6.0.jar        logredactor-1.0.3.jar                   xz-1.0.jar
commons-beanutils-1.7.0.jar           geronimo-jaspic_1.0_spec-1.0.jar        hive-exec-1.1.0-cdh5.6.0.jar              hive-testutils.jar                       mail-1.4.1.jar                          zookeeper.jar
commons-beanutils-core-1.8.0.jar      geronimo-jta_1.1_spec-1.1.1.jar         hive-exec.jar                             htrace-core.jar                          maven-scm-api-1.4.jar
commons-cli-1.2.jar                   groovy-all-2.4.4.jar                    hive-hbase-handler-1.1.0-cdh5.6.0.jar     httpclient-4.2.5.jar                     maven-scm-provider-svn-commons-1.4.jar
commons-codec-1.4.jar                 gson-2.2.4.jar                          hive-hbase-handler.jar                    httpcore-4.2.5.jar                       maven-scm-provider-svnexe-1.4.jar
commons-collections-3.2.2.jar         guava-14.0.1.jar                        hive-hwi-1.1.0-cdh5.6.0.jar               jackson-annotations-2.2.2.jar            metrics-core-3.0.2.jar
commons-compiler-2.7.6.jar            hamcrest-core-1.1.jar                   hive-hwi.jar                              jackson-core-2.2.2.jar                   metrics-json-3.0.2.jar
bigdata@ubuntucmbigdata1:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ cp /usr/share/java/mysql-connector-java-5.1.28.jar .
cp: cannot create regular file ‘./mysql-connector-java-5.1.28.jar’: Permission denied
bigdata@ubuntucmbigdata1:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ sudo cp /usr/share/java/mysql-connector-java-5.1.28.jar .
[sudo] password for bigdata: 
bigdata@ubuntucmbigdata1:/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib$ ls
accumulo-core-1.6.0.jar               commons-compress-1.4.1.jar              hbase-client.jar                          hive-jdbc-1.1.0-cdh5.6.0.jar             jackson-databind-2.2.2.jar              metrics-jvm-3.0.2.jar
accumulo-fate-1.6.0.jar               commons-configuration-1.6.jar           hbase-common.jar                          hive-jdbc-1.1.0-cdh5.6.0-standalone.jar  jackson-jaxrs-1.9.2.jar                 mysql-connector-java-5.1.28.jar
accumulo-start-1.6.0.jar              commons-dbcp-1.4.jar                    hbase-hadoop2-compat.jar                  hive-jdbc.jar                            jackson-xc-1.9.2.jar                    opencsv-2.3.jar




 


 


 




root@ubuntucmbigdata1:~# mysql -uhive -hubuntucmbigdata1 -phive_password
ERROR 2003 (HY000): Can't connect to MySQL server on 'ubuntucmbigdata1' (111)
root@ubuntucmbigdata1:~# mysql -uhive -hlocalhost -phive_password
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 58
Server version: 5.5.55-0ubuntu0.14.04.1 (Ubuntu)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> exit;




 


　　


 


 


　　断定不是授权的问题。






#bind-address           = 127.0.0.1




 


 


 


 


 


 




 


 


 


 




 


 


 


 


 


 


 


 


 


 


 　　下面这里，大家看看就好，以后是可以更改的。




 


 


 


 


 


 


 




 


 


 


 


 


 


 


说白了，这里是启动的总界面，但是呢，我们若这里没启动成功，没关系，可以在后面，单独来启动！（具体如下的详细步骤）




http://ubuntucmbigdata1:7180/cmf/clusters/2/express-add-services/index#step=commandDetailsStep




 


 


 


 


 


 


 


 


 


 


 


参考


Ubuntu Server 14.04 安装部署 CDH5.7.2


https://www.zybuluo.com/ncepuwanghui/note/474966


 


Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0]


 


 


 


 


 


 


 


 


 


 


 


欢迎大家，加入我的微信公众号：大数据躺过的坑     免费给分享


 


 


 




同时，大家可以关注我的个人博客：


   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/ 


 


　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，每天必须有收获


 


       以及对应本平台的QQ群：161156071（大数据躺过的坑）


 


 


 


 


 


 


 


 






 


 




 







            

            
posted @ 
2017-06-25 23:26 
大数据和AI躺过的坑 
阅读(753) 
评论(0) 
编辑 
收藏 
举报