hadoop 安装问题总结

 安装启动步骤  [英语好的，直接手把手跟着来]

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

问题

Diagnostics 「诊断」

Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. 
Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. 

只要在这个 of的 ' 2G physical' ＊ 2.1 大于后面需要的，即可！配置

yarn-site.xml

<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>8196</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>4096</value>
</property>

再具体的可参考

http://blog.chinaunix.net/uid-25691489-id-5587957.html

 

 

－－－－－－－－－－－－－－－－－－－－－ 安装 hive 过程－－－－－－－

解决bug，第一是问题定位！    [有些是不够具体的错误信息，而在其它log文件才显示]

问题一：Unable to instantiate org.apache.hadoop.hive.metastore.....

直接 通过在hive shell 的异常信息并不能解决问题！   通过查看日志tmp/${user.name}/hive.log”

 

问题二：当你确定mysql-connector-java- jar 一定in lib里的时候，

在

<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>

和

<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver </value>

这俩配置能找区别吗？ 对，没错，找出来了，多了个空白，我的天，也许是因为空白留出我的空虚，抒情了我的寂寞！

繁忙的手打，盲目的信心，逝去的光阴，去百度以下

“ The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH ”

或者

The specified datastore driver ("com.mysql.jdbc.Driver ") was not found in the CLASSPATH     

     

 多了个空白，少了半天生命！

 

问题三：mysql Access denied for user root@localhost

用以下解决，在安装后mysql后，需要对mysql 做root的密码设置！ 然后在hive.site.xml对应就好了

# mysqladmin -uroot -p password 'newpassword'

 

 

问题四：hive JDODataStoreException: Error executing SQL query "select "DB_ID" from "DBS"" 错误，

hive 未初始化元数据库报错

 跟着来就可以了，主要是./schematool -dbType mysql -initSchema