摘要：
编写个powershell脚本 命名为BackupToS3.ps1,将脚本添加到windows计划任务执行即可 阅读全文
摘要：
在官网下载对应的sdkhttp://aws.amazon.com/cn/sdk-for-net/然后再aws上为s3上的bucket生成密钥对 access_key和secret_key调用对应的sdk TransferUtility transferUtility =... 阅读全文
摘要：
参考地址：http://my.oschina.net/infiniteSpace/blog/312890?p=1server.properties中所有配置参数说明(解释)broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有... 阅读全文
摘要：
今天,机器做IP变更配置ubuntu网卡的时候出现了:RTNETLINK answers: File exists网络network service 无法重启google一下找到rm etc/udev/rules.d/70-persistent-net.rules就是设备管理下网络配置,然后reboot一下,网络就可以了 阅读全文
摘要：
准备工作：下载Thrift compiler for Windows版本的EXE文件(thrift-0.7.0.exe)下载SVN源码地址：http://svn.apache.org/repos/asf/thrift/attic/trunk/lib/csharp/（使用svn来下载）1.将hbase-0.94.4\src\main\resources\org\apache\hadoop\hbase\thrift2\hbase.thrift 到thrift-0.7.0.exe 相同目录下进入命令行，到 thrift-0.7.0.exe 目录下执行thrift-0.7.0.exe-gen csha 阅读全文
摘要：
当在Map阶段输入数据逻辑上很大（二十G）（存在hdfs上实际都是以64M的块存储），而你的集群数量不是很大（只有十台），这样造成会有很多的Map（320个），造成map效率不是很高这里可以通过设置ConfigurationConfiguration defaultConf = new Configuration();defaultConf.set("mapred.min.split.size", "134217728"); //默认为64M，这里改为128M来增大map的split的大小将Map数减少为160个hadoop版本：1.0.4 阅读全文
摘要：
hadoop的版本区别：1.0.X -current stable version, 1.0 release1.1.X -current beta version, 1.1 release2.X.X -current alpha version0.23.X -simmilar to 2.X.X but missing NN HA.0.22.X -does not include security0.20.203.X -old legacy stable version0.20.X -old legacy version参考官方地址：http://hadoop.apache.org/releas 阅读全文
摘要：
最近因为工作上面数据挖掘方面的计算量比较大，所以准备入手hadoop这个开源的分布式计算学习。 主要可能通过运用hadoop集群来增强对数据处理的能力以及速度。 纯为新手学习。 阅读全文
摘要：
应为换系统缘故，升级为windows 7 64bit 旗舰版，安装完成后，发现有些软件的中文编码为乱码，而且中文路径也为乱码。不影响开发就没去管他，后来查一下，知道是区域语言设置问题，可能我的是ghost版本，有些编码部分没有生效，所以只要把区域语言切换成英语，重启再切换回中文，重启就可以了 阅读全文
摘要：
我是参考这位博友的安装方式http://www.cnblogs.com/seanlv/archive/2011/11/22/2258716.html第一步，下载Node.js的windows安装程序和Npm地址如下：node.jshttp://nodejs.org/#downloadnpm https://github.com/isaacs/npm/tags第二步，安装node.js，把安装目录下的node.exe拷贝到自己新建的D:/nodejs/目录下，然后添加Path环境变量D:/nodejs/，然后新建一个D:/npmjs/目录将npm压缩包加压到里面，添加环境变量NODE_PATH. 阅读全文