08 2016 档案

网站统计中的数据收集原理及实现
摘要：转载自：http://blog.sina.com.cn/s/blog_62b832910102w5mx.html Avinash Kaushik将点击流数据的获取方式分为4种：log files、web beacons、JavaScript tags和packet sniffers，其中包嗅探器（p 阅读全文
posted @ 2016-08-28 19:24 大葱拌豆腐 阅读(1320) 评论(0) 推荐(0) 编辑
启动hadoop报ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile
摘要：不知道怎么回事，今天在启动集群时通过jps查看进程时始终有一个standby namenode进程无法启动。查看日志时报的是不能加载fsimage文件。日志截图如下： 日志报的很明显了是不能加载元数据信息，解决方案： 解决办法： 1、手动copy namenode（active）所在的那台服务器上X 阅读全文
posted @ 2016-08-28 15:38 大葱拌豆腐 阅读(2888) 评论(0) 推荐(0) 编辑
淘宝（大数据库应用）--转载
摘要：第一部分、mapreduce模式与hadoop框架深入浅出 架构扼要 想读懂此文，读者必须先要明确以下几点，以作为阅读后续内容的基础知识储备： 所以，你现在，知道了什么是mapreduce，什么是hadoop，以及这两者之间最简单的联系，而本文的主旨即是，一句话概括：在hadoop的框架上采取map 阅读全文
posted @ 2016-08-27 15:06 大葱拌豆腐 阅读(1748) 评论(0) 推荐(0) 编辑
MapReduce作业的map task和reduce task调度参数
摘要：MapReduce作业可以细分为map task和reduce task，而MRAppMaster又将map task和reduce task分为四种状态： 1、pending：刚启动但尚未向resourcemanager发送资源请求； 2、scheduled：已经向resourceManager发 阅读全文
posted @ 2016-08-13 22:21 大葱拌豆腐 阅读(1258) 评论(0) 推荐(0) 编辑
Spark和Hadoop作业之间的区别
摘要：Spark目前被越来越多的企业使用，和Hadoop一样，Spark也是以作业的形式向集群提交任务，那么在内部实现Spark和Hadoop作业模型都一样吗？答案是不对的。 熟悉Hadoop的人应该都知道，用户先编写好一个程序，我们称为Mapreduce程序，一个Mapreduce程序就是一个Job，而 阅读全文
posted @ 2016-08-13 22:09 大葱拌豆腐 阅读(557) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示