09 2013 档案
摘要：--先备份数据库--截断事务日志backup log Twitterwith no_loggo--收缩数据库dbcc shrinkdatabase(Twitter)goOK,搞定
阅读全文
摘要：翻译自：http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduces, Combiners, Partitioners,和 sorting。如下图所示。基本MapReduce模式计数与求和问题陈述:有许多文档，每个文档都有一些字段组成。需要计算出每个字段在所有文档中的出现次数或者这些字段的其他什么统计值。例如，
阅读全文
摘要：假设A有好友B C D；B有好友A C D E；C有好友A B D E；D有好友A B C E;E有好友B C D。A -> B C DB -> A C D EC -> A B D ED -> A B C EE -> B C D则对于A来说，A -> B C D(A B) -> B C D(A C) -> B C D(A D) -> B C D对于B来说，B -> A C D E(A B) -> A C D E(B C) -> A C D E(B D) -> A C D E(B E) -> A C D E对于C
阅读全文
摘要：第一步：安装jdk由于hadoop是java开发的，所以需要JDK来运行代码。这里安装的是jdk1.6.jdk的安装见http://www.cnblogs.com/tommyli/archive/2012/01/06/2314706.html第二步：创建独立的用户useradd hadooppasswd hadoop有些机器不能设置空密码的时候passwd -d hadoop这里的用户名为hadoop，如果你要调试的时候要注意名字。比如我用windows调试linux的集群，这个名字应该是windows系统的用户名（否则你没有权限提交作业到hadoop）。第三步：设置用户无密码登陆su - h
阅读全文
摘要：1:杀掉hadoop作业列出作业./hadoop job -list杀掉./hadoop job -kill job_id1：某些节点出现running asprocess XXX. Stop it first这是由于各节点登录用户为root，在启动hadoop前，务必将各节点用户切换至普通用户ha...
阅读全文
摘要：1."Hadoop.Operations.pdf.zip"http://vdisk.weibo.com/s/vDOQs6xMAQH62."Hadoop权威指南(中文版)(带书签).pdf"http://vdisk.weibo.com/s/wxJYuVE573j3."[Hadoop权威指南(第2版)].pdf"http://vdisk.weibo.com/s/vmaSwlKBP5Kt4."hadoop权威指南第3版2012.rar"http://vdisk.weibo.com/s/aN4iIpKT0Kml5.《Had
阅读全文
