代码空间

摘要： Hadoop的文件操作位于包org.apache.hadoop.fs里面，能够进行新建、删除、修改等操作。 比较重要的几个类： (1)Configuration：HDFS的配置信息； (2)FileSystem: HDFS文件系统； (3)Path: HDFS文件或目录的路径； (4)FileSta 阅读全文

摘要： Eclipse调用HDFS API上传文件时出现了如下错误： 解决的办法是把Hadoop集群的hdfs-site.xml和core-site.xml两个配置文件复制到项目的bin目录下面，就可以正常运行了。 阅读全文

摘要： 使用Sqoop远程连接MySQL导入数据到HBase数据库： 出现了拒绝连接的错误： 把主机名换成IP地址就正常了。 阅读全文

摘要： 基本思路就是为mysql.user表增加一条记录：'hadoop'@'%'，这样，任何主机上的用户'hadoop'都可以远程连接MySQL数据库。于是输入下面的命令： 结果出现了错误： 这是因为指定了严格模式，不能直接往mysql.user表里面insert用户： 只能输入下面两个命令来实现： 这样 阅读全文

摘要： Windows下面调试程序比在Linux下面调试方便一些，于是用Windows下的Eclipse远程连接Hadoop。 1. 下载相应版本的hadoop-eclipse-plugin插件，复制到eclipse的plugins目录下面，再次启动Eclipse。 2. 解压hadoop的.tar.gz文 阅读全文

摘要： HDFS本身并没有提供用户名、组等的创建和管理，在客户端操作Hadoop时，Hadoop自动识别执行命令所在的进程的用户名和用户组，然后检查是否具有权限。启动Hadoop的用户即为超级用户，可以进行所有操作。 由于想在Windows 7的Eclipse里面操作Hadoop，Windows 7的用户是 阅读全文

摘要： Nutch是一个Java实现的网络爬虫。Nutch的安装可以使用二进制包，也可以使用源代码安装。这里介绍用二进制包安装。 1. 下载apache-nutch-1.12-bin.tar.gz，并且解压，解压后会形成一个apache-nutch-1.12文件夹； 2. 编辑conf/nutch-site 阅读全文

摘要： 最近重新格式化NameNode以后，发现几个DataNode都不能启动了。 这是因为dfs.name.dir路径下面有一个current/VERSION文件，里面有一个clusterID，重新格式化以后，clusterID和以前的不一样了，需要把新的clusterID复制到所有DataNode的df 阅读全文

摘要： 运行Pig时出现错误： 这是因为没有启动jobhistoryserver，在mapred-site.xml中增加设置： 然后再启动jobhistoryserver： 以上命令需要在${HADOOP_HOME}/sbin/下执行。 阅读全文

摘要： 运行Pig时出现这个错误： 解决的办法是把${HADOOP_HOME}/share/hadoop/yarn/lib下的jline-2.1.1.jar删除掉，再重启Hadoop就可以了。 阅读全文

摘要： Hive Web Interface，简称hwi，是Hive的Web接口。 首先，安装ant，下载ant，解压，并在/etc/profile中设置： 然后 修改${HIVE_HOME}/conf/hive-site.xml文件，加上下面几个设置： 但是，${HIVE_HOME}/lib下默认是没有那 阅读全文

摘要： 在Hive里创建表时出现了错误： 解决的办法是把数据库的Character Set改成latin1： 阅读全文

摘要： 运行Hadoop时出现了： 导致运行失败。仔细分析后发现，这是因为以前192.168.1.201的主机名为master，后来把192.168.1.202改名为master，由于两台主机的公钥不一样，所以提示DNS欺骗(网络中有主机冒充master)，或者master的IP地址和公钥同时改变了。 解决 阅读全文

摘要： SSH是一种协议，实现计算机之间的加密登录，即使被截获，截获的也只是加密后的密文，不会泄密。 如果每次登录另外一台计算机，都需要输入密码，就显得太麻烦，所以SSH协议实现了无密码登录，即公钥登录。所谓公钥登录，就是用户先把自己的公钥发给远程主机存储起来，登录时，远程主机向登录主机发送一个随机的字符串 阅读全文

摘要： 1. 安装 安装前先关闭iptables和SELinux。 Centos输入以下命令： Ubuntu输入以下命令： 2. 设置 创建一个文件夹： 编辑/etc/samba/smb.conf文件： 3. 运行 CentOS下运行： Ubuntu下运行： 4. Windows7访问Samba 因为Sam 阅读全文

摘要： 复制密钥另一台主机时，出现了错误： 到被登录主机的/var/log/auth.log查看日志： 应该是/etc/ssh文件夹的权限问题，执行下面的操作更改权限： 再重新启动sshd服务，复制成功，并且可以ssh登录。 阅读全文

摘要： 运行 时FAILED，查看日志： 意思是说没有内核源文件，解决的办法是运行 分别是编译器，内核，内核头文件以及Makefile，然后再重启，让系统从新的内核文件选项启动。再运行 就可以编译成功了。 阅读全文

摘要： Hive是Hadoop的常用工具之一，Hive查询语言(HiveQL)的语法和SQL类似，基本实现了SQL-92标准。 1. 表的建立 编写以下的文件： 保存为test.hql，该文件指定了表的结构和分隔符。Hive的数据类型除了INT、STRING、FLOAT等基本类型以外，还有三种复杂数据类型： 阅读全文

摘要： 采用伪分布模式安装和设置CDH，前提是已经安装了Java和SSH。 1. 下载hadoop-2.6.0-cdh5.9.0，复制到/opt/下，再解压； 2. 进入/opt/hadoop-2.6.0-cdh5.9.0/etc/hadoop/，在hadoop-env.sh中添加： 修改配置文件core- 阅读全文

摘要： 经检查，原来是Activity的onCreate(Bundle savedInstanceState)里面没有写： 阅读全文

摘要： 1. 输入命令： 2. 输入命令： 3. 可能会出现错误： 解决的办法是依次输入命令： 然后再运行： 就可以了: 阅读全文

摘要： 1. 什么是缓存？ 数据库的缓存指的是应用程序和物理数据源之间的数据。即把物理数据源的数据复制到缓存。有了缓存，可以降低应用程序对物理数据源的访问频率，从而提高效率。缓存的介质一般是内存，也可以是硬盘。 Hibernate的缓存有三种类型：一级缓存、二级缓存和查询缓存。 2. 一级缓存 一级缓存即S 阅读全文

摘要： 在Hibernate3中获取Session的方法： 前提是类要继承HibernateDaoSupport: 在Hibernate4中，仍然需要继承HibernateDaoSupport，但是不能再this.getSession()了，只能通过SessionFacotry获得Session。首先要获得 阅读全文

摘要： 1. 点击File->New->Other，在弹出的对话框中选择Maven->Maven Project: 2. 点击Next，选择maven-archetype-webapp： 3. 填入Group ID和Artifact ID，会自动生成一个包名： 4. 点击Finish，会生成以下的目录： 5 阅读全文

摘要： 1. 首先下载apache-maven-3.3.9-bin.zip，并解压； 2. 添加系统变量MAVEN_HOME，值为apache-maven-3.3.9-bin.zip的解压路径： 再在path变量中添加： 3. 输入命令mvn -version检测安装是否成功： 4. 编辑%MAVEN_HO 阅读全文

摘要： 首先，在applicationContext.xml文件中加一行： 加上这一行以后，将自动扫描路径下面的包，如果一个类带了@Service注解，将自动注册到Spring容器，不需要再在applicationContext.xml文件定义bean了，类似的还包括@Component、@Reposito 阅读全文

摘要： 1. Slf4j的使用 在上一篇随笔：SSH使用Log4j的基础上配置。 (1)导入两个文件：slf4j-api-1.5.8.jar和slf4j-log4j12-1.5.8.jar。 (2)在需要日志的地方写入下面的代码： 第1行代码是通过工厂模式获得一个Logger，第2行代码使用Logger输出 阅读全文

摘要： 1. 将Jar文件log4j-1.2.14.jar导入项目。 2. 在src文件夹下新建log4j.properties文件： 该文件设置了日志的级别、目录等信息。 3. 修改web.xml文件，增加下面的语句： applicationConetext.xml文件不需要修改。 4. 在需要输出日志的 阅读全文

摘要： Android Studio导入Eclipse项目有两种方法，一种是直接把Eclipse项目导入Android Studio，另一种是在Eclipse项目里面进行转换，然后再导入Android Studio。 1. 直接导入 打开Android Studio，如果里面已经打开了项目，选择关闭当前的项 阅读全文

摘要： 打开Eclipse以后，一直在Android sdk content loader 0%，等了很长时间都没有变，解决的方法是Project->Clean->Clean all projects，等一会儿就正常了。 阅读全文