大数据开源技术分类
摘要：hadoop 分布式处理大数据的框架 分为三个阶段： 1）data -db -user/app 2）data - 存储hdfs - 处理mapreduce - user/apps 大数据开源技术分类 3）DATA - 数据传输/采集 - 数据处理 - 数据存储 - 数据查询 - users/apps
阅读全文
posted @
2018-09-16 13:07
tigerloveapple
阅读(834)
推荐(0) 编辑
namenode namespaceID与datanode namespaceID 不一致导致datanode无法启动的问题
摘要：在启动hadoop之后，发现如下 datanode何在？？？？？ 在重新启动hadoop的时候，发现了问题，如下 这说明datanode启动时出错了 我们跟踪这个问题，进入到log文件夹下，找到hadoop-root-datanode-master.log 接下来，就是来解决这个问题。 一种是删除/
阅读全文
posted @
2018-08-20 10:52
tigerloveapple
阅读(904)
推荐(0) 编辑
Hadoop单机模式的配置与安装
摘要：Hadoop单机模式的配置与安装 单机hadoop集群正常启动后进程情况 ResourceManager NodeManager SecondaryNameNode NameNode DataNode 完全分布式。最少要有三个节点（三台主机） 一个节点用来做:NameNode和JobTracker
阅读全文
posted @
2018-08-20 10:49
tigerloveapple
阅读(395)
推荐(0) 编辑
大数据分析股市行情-微博-图书等
摘要：利用大数据技术分析新浪财经美股行情 用 python 爬取微博评论并手动分词制作词云 利用hadoop分析微博评论 利用Scrapy爬取豆瓣图书并保存至Mysql数据库 适应Xpath获取html页面中具体的某个元素，再用python调用api来获取元素内容。 xpath的入门 各个搜索引擎的Use
阅读全文
posted @
2018-03-09 16:29
tigerloveapple
阅读(177)
推荐(0) 编辑
【转】Hadoop学习路线图
摘要：按照这个路线图来学习即可。 1、M. Tim Jones的三篇文章： 用Hadoop进行分布式数据处理第1部分（入门）：http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/index.html 用hadoop进行分布式数据处理第2部分（进阶）：
阅读全文
posted @
2017-07-30 19:50
tigerloveapple
阅读(136)
推荐(0) 编辑
