虚拟机中配置Hadoop与Hbase

虚拟机配置Hadoop HBase

物理机系统：windows10

虚拟机系统：ubuntu16

目标：在虚拟机上搭建hadoop+hbase，物理机上通过java代码访问

Hadoop搭建

根据官网上的guide，可以搭建出一个单节点的hadoop集群

• https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Supported_Platformshadoo

这里按照配置后，如果没有手动stop dfs与yarn，再次启动虚拟机时可能会发生，hdfs的web页面（访问9870端口）无法访问，但通过jps可以看到namenode，这时候解决办法是重新格式化namenode后启动dfs

HBase

官网教程

• https://hbase.apache.org/book.html#quickstart

使用的也是单节点下的hbase，其实这个hbase可以不依赖Hadoop，而是利用本机的文件系统，这里为了简单起见，使用这个单节点的hbase

物理机访问

在虚拟机里配好前两个后，可以在虚拟机里访问

• localhost:9870
• localhost:8088
• localhost:16010

这三个端口分别对应hdfs，yarn，hbase的页面

在虚拟机里终端输入 ifconfig，查找到虚拟机的ip

在物理机中用ip+端口应该也是能访问到对应的页面的

但是测试后发现，hbase可以连接上，但是hdfs连不上，telnet ip 9000也访问不到

通过sudo netstat -tpnl查看端口后，我们发现9000端口对应的ip是127.0.0.1，而不是0.0.0.0，所以只允许从localhost访问

这里就要改一下hdfs的配置了

在hdfs-site.xml中，修改默认FS的url配置为

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-master:9000</value>
    </property>
</configuration>

同时修改/etc/hosts，添加0.0.0.0 hadoop-master

修改后重启hdfs，就可以从物理机访问hdfs了

Java API连接

Hbase

在写好的Hbase工具类后，需要配置conf

    public static Configuration conf;

    static {
        conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","192.168.221.135");  //hbase 服务地址
        conf.set("hbase.zookeeper.property.clientPort","2181");
    }

这里配置对应的zookeeper ip即可

建表，删除等需要admin的操作，需要用HbaseAdmin

Connection connection = ConnectionFactory.createConnection(conf);
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();

Hadoop

        Configuration conf=new Configuration();
        conf.set("fs.defaultFS","hdfs://192.168.221.135:9000");
        System.setProperty("HADOOP_USER_NAME","chuyuxuan"); //设置用户身份，以root用户，否者没有权限
        FileSystem fs =FileSystem.get(conf);

这里在访问hdfs时，由于hadoop对windows的支持不太好，所以需要额外配置

这里的配置用户名就是搭建hadoop的用户名，否则会报permission denied

依赖的包需要手动把hadoop/share下的一些包导进来