摘要：
在anaconda prompt里可以正常使用pip，普通cmd下activate后也可以使用。但不激活就不行。 解决方法： 是环境变量的问题。 安装anaconda需要添加三个环境变量，而不是只添加Scripts那个。 D:\Anaconda3; D:\Anaconda3\Scripts; D:\ 阅读全文
摘要：
原因是多次 hadoop namenode -format 导致 datanode 的version 里的Cluster-Id 不一致 这个Cluster-Id的位置在: 自己设置的数据临时文件/dfs/name（如果是datanode就是data）/name/current里的VERSION文件 阅读全文
摘要：
1. 在hosts文件添一个group，里面是你需要安装jdk的ip，如： [newhosts]192.168.2.155 ansible_ssh_user=hadoop ansible_ssh_pass=hadoop ansible_sudo_pass=hadoop192.168.2.159 an 阅读全文
摘要：
java 安装后 不能 java javac 说找不到命令 -bash: javac: command not found 不是环境变量的问题， 直接cd到java的目录 也不能执行命令 后来发现是因为java是32位的，linux系统是64位的，就会发生此问题 解决办法是安装一个库：sudo yu 阅读全文
摘要：
我们在用MapReduce做数据处理的时候，经常会遇到将只需要输出键或者值的情况，如context.write(new Text(record), new Text("")),这样得到结果每行尾部会自动加上一个制表符。尽管我们的值是空的，但是MapReduce默认输出的是键值对，且键值对之间默认的分 阅读全文
摘要：
虽然ArrayWritable不是接口，但貌似必须要子类去extends ArrayWritable，不能直接用ArrayWriable 否则会报下面的错误？（不是很确定） java.lang.Exception: java.lang.RuntimeException: java.lang.NoSu 阅读全文
摘要：
1、使用插件——Hadoop-Eclipse-Plugin此方法需要借助Eclipse，插件的安装及使用请参考博文使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS。借助Eclipse只能进行简单的HDFS操作，如查看，删除，上传，下载。以下是操作界 阅读全文
摘要：
1.查询sjcenter数据库里开头为sj_demo和sj_onlyinv的所有表的总条数 select sum(table_rows) from (select table_name,table_rows from tables where TABLE_SCHEMA = 'sjcenter' or 阅读全文