04 2017 档案
摘要：Netty是由JBOSS提供的一个java开源框架，本质上也是NIO，是对NIO的封装，比NIO更加高级，功能更加强大。可以说发展的路线是IO->NIO->Netty。 ServerBootstrap和ClientBootstrap是Netty中两个比较重要的类，分别用来进行服务器和客户端的初始化。
阅读全文
摘要：Java NIO (New IO)是Java 1.4版本开始引入的新的IO API。和IO的区别在于NIO是一个异步、非阻塞的IO，可以用一个线程管理多个连接。比如1个服务器，5个客户端，如果用IO，在服务器上就需要5个线程，而使用NIO的话，只需要1个线程就可以同时管理5个连接，节约了资源。 NI
阅读全文
摘要：Channel注册到Selector时添加了一个Object： 后来取这个Object： 出现空指针错误： 很奇怪，后来发现第一次注册时添加了Object，后来注册时没有添加，导致了空指针错误： 每次注册都添加Object，就不会有这个错误了：
阅读全文
摘要：NIO项目中出现了这个错误： 一般是因为InetSocketAddress的主机名、端口号写错，或者要连接的服务器没有启动造成的。
阅读全文
摘要：在Eclipse下新建一个Map/Reduce项目，并将以下jar添加到Build path： 程序代码： 以上程序调用HBAse的API，实现了新建一张表，并随机向表里插入数据。
阅读全文
摘要：集群共三台CentOS虚拟机，一个Matser，主机名为master；三个Worker，主机名分别为master、slave03、slave04。前提是Hadoop和Zookeeper已经安装并且开始运行。 1. 在master上下载Scala-2.11.0.tgz，复制到/opt/下面，解压，在/
阅读全文
摘要：Hadoop的文件操作位于包org.apache.hadoop.fs里面，能够进行新建、删除、修改等操作。 比较重要的几个类： (1)Configuration：HDFS的配置信息； (2)FileSystem: HDFS文件系统； (3)Path: HDFS文件或目录的路径； (4)FileSta
阅读全文
摘要：Eclipse调用HDFS API上传文件时出现了如下错误： 解决的办法是把Hadoop集群的hdfs-site.xml和core-site.xml两个配置文件复制到项目的bin目录下面，就可以正常运行了。
阅读全文
摘要：使用Sqoop远程连接MySQL导入数据到HBase数据库： 出现了拒绝连接的错误： 把主机名换成IP地址就正常了。
阅读全文
摘要：基本思路就是为mysql.user表增加一条记录：'hadoop'@'%'，这样，任何主机上的用户'hadoop'都可以远程连接MySQL数据库。于是输入下面的命令： 结果出现了错误： 这是因为指定了严格模式，不能直接往mysql.user表里面insert用户： 只能输入下面两个命令来实现： 这样
阅读全文
摘要：Windows下面调试程序比在Linux下面调试方便一些，于是用Windows下的Eclipse远程连接Hadoop。 1. 下载相应版本的hadoop-eclipse-plugin插件，复制到eclipse的plugins目录下面，再次启动Eclipse。 2. 解压hadoop的.tar.gz文
阅读全文
摘要：HDFS本身并没有提供用户名、组等的创建和管理，在客户端操作Hadoop时，Hadoop自动识别执行命令所在的进程的用户名和用户组，然后检查是否具有权限。启动Hadoop的用户即为超级用户，可以进行所有操作。 由于想在Windows 7的Eclipse里面操作Hadoop，Windows 7的用户是
阅读全文
