2013年6月17日

hadoop集群安装与配置--c#调用hive的thrift服务

摘要： 1.在hadoop.client上开始运行hive的thrift服务，命令如下bin/hive --service hiveserver2.通过NuGet安装hive的c#客户端,项目地址如下https://bitbucket.org/vadim/hive-sharp/3.c#调用服务demo代码int port = 10000;//注意hadoop.client服务器上防火墙一定打开10000端口 var socket = new TSocket("hadoop.client的ip", port); var transport = new TBufferedTranspo 阅读全文

posted @ 2013-06-17 11:46 AI001 阅读(665) 评论(0) 推荐(0) 编辑

hadoop集群安装与配置--sqoop安装

摘要： 1.Sqoop安装在hadoop.client上2.复制一份sqoop-env-template.sh,命名为sqoop-env.sh3.修改sqoop-env.sh的内容:export HADOOP_COMMON_HOME=/home/hadoopuser/hadoopexport HADOOP_MAPRED_HOME=/home/hadoopuser/hadoop/libexport HIVE_HOME=/home/hadoopuser/hive4.复制一份sqoop-site-template.xml，命名为sqoop-site.xml5.如果没有使用HBASE数据库，则需要修改bin/ 阅读全文

posted @ 2013-06-17 09:54 AI001 阅读(636) 评论(0) 推荐(0) 编辑

hadoop集群安装与配置---hive安装与配置

摘要： 1.hive安装在hadoop.client上2.解压缩安装在/home/hadoopuser下3.配置(1)复制一份hive-env.sh.template，取消.template后缀(2)更改hive-env.sh的内容:HADOOP_HOME=/home/hadoopuser/hadoop(3)复制一份hive-site.xml.template，取消.template后缀(4)更改hive-site.xml中如下的内容: hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql://lo... 阅读全文

posted @ 2013-06-17 09:48 AI001 阅读(321) 评论(0) 推荐(0) 编辑

hadoop集群安装与配置

摘要： 硬件五台服务器，一台master，三台slave，一台集群client网络设置机器名IP备注Hadoop.materip1Master,NamenodeHadoop.slave1ip2SlaveHadoop.slave2ip3SlaveHadoop.slave3ip4slaveHadoop.clientip5集群client，thrift服务承载系统设置安装操作系统centOS6.4版本每台机器均配置/etc/hosts文件，将除client以外的机器全部按照网络设置解析安装sun公司的Java-jdk，要求版本至少1.6以上,安装路径:/usr/java/default每台机器配置/etc/ 阅读全文

posted @ 2013-06-17 09:44 AI001 阅读(274) 评论(0) 推荐(0) 编辑

导航