2019年6月16日
hadoop数据仓库搭建--hadoop初始化及其运行
摘要： 使用创建的grid用户进行hadoop安装文件的解压，并修改其对应的配置文件 core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml hadoop-env.sh yarn-env.sh 修改完毕后将该hadoop目录复制到其他三个从节点 s 阅读全文
posted @ 2019-06-16 20:10 hipth 阅读(2344) 评论(0) 推荐(0)
2018年5月14日
hadoop数据仓库搭建--配置ssh免密码
摘要： Haoop集群中的各个节点主机需要互相通信，因此datanode与namenode之间需要免密码ssh 本次实践分为四台虚拟机： 192.168.227.128 master192.168.227.129 slave1192.168.227.130 slave2192.168.227.131 sla 阅读全文
posted @ 2018-05-14 11:20 hipth 阅读(429) 评论(0) 推荐(0)
2018年5月8日
python分布式爬虫实践
摘要： 近期阅读了范传辉的Python爬虫开发与项目实战一书，对其第七章的分布式爬虫进行实操 遇到自己环境上代码跑不通的问题，经一番功夫，发现主要是由以下几点造成的： 书中环境：python2.7，linux 本地环境：python3.4，window 1.文中导入模块为import Queue，py3中应 阅读全文
posted @ 2018-05-08 12:17 hipth 阅读(195) 评论(0) 推荐(0)
2017年4月18日
hadoop配置环境后jps没有显示TaskTracker和JobTracker进程
摘要： 根据网上的hadoop环境配置视频，跟着配置到start-all.sh这一步，发现启动后只有下面进程 缺少了TaskTracker和JobTracker进程（因为我下的是1.2.1版本的，所以不存在2.0版本后的没有这两进程的这个问题） 经过一段时间的查找，发现是端口对应不一致导致的的 在core- 阅读全文
posted @ 2017-04-18 17:03 hipth 阅读(3938) 评论(0) 推荐(0)