摘要： 为了在Windows 8.1上直接使用Linux环境和hadoop开发，装了cygwin，同时设置ssh无密码登录。 但正常ssh-keygen后复制到authorised_keys后登录出现提示： Permissions 0660 for '/home/***/.ssh/id_rsa' are too open. It is required that your private key... 阅读全文

摘要： 这段时间接到很多猎头的联系，纷纷找大数据架构师，对应的客户是通信、电力或者消费品这类“传统”企业，而不是互联网企业。做了这些年的数据处理，从最底层的简单数据转换处理到最近的结合大数据和分布式数据仓库搭建的统一数据架构（见下图），算是对目前数据方面的企业应用有点认识，但我就没搞懂这些“传统”企业真的已经具备做大数据的基础吗？他们会不会不知道自己真正需要什么，其实可能只是海量数据处理的平台？ 统一数... 阅读全文

摘要： 今天在编译hadoop的pipes的wordcount例子时，总是报错不能成功。 g++ -m64 -I/Users/stephen/Downloads/hadoop-0.20.2/c++/Mac_OS_X-x86_64-64/include wordcount.cpp -Wall -L/Users/stephen/Downloads/hadoop-0.20.2/c++/Mac_OS_X-x86... 阅读全文

摘要： 今天才发现是有方法通过邮件方式保存ipad上浏览的内容到evernote，之前以为要反复切换app来做到。只要在toread.cc登记evernote对应帐号的邮箱，就可以根据toread返回到evernote中的一个note的提示操作，做一个bookmark（稍作修改），以后要clip内容就点这个bookmark，就会发邮件到evernote。但暂时想不到toread在底层怎么把内容发到邮箱了，应该要结合浏览器吧。。。 阅读全文

摘要： 最近一直使用mac来工作，所以写博也相应改为marsedit。初步感觉还是不错的，越来越发现mac其实也适合在工作中使用，生活上当然不在话下。从高富帅的x220t变成屌丝的macbook小白（升级到SSD+8G RAM），心理的落差用一张黑色贴膜是不容易遮盖的。 阅读全文

摘要： 就目前了解，结合eclipse阅读和编译hadoop源码用两种方式：svn和git。 根据官方指南http://wiki.apache.org/hadoop/EclipseEnvironment 推荐的是git和mvn一起把源码拉下来后经过编译后import到eclipse。 从另一个中文的博客http://blog.csdn.net/basicthinker/article/details... 阅读全文

摘要： 经历两天努力，8月25日下午2点40分，终于让hadoop1.2.1跑起来。 用的是《Hadoop实战第2版》（陆嘉恒）里面的WordCount例子，虽然书是2013年出的，但用的例子还是hadoop1.0.1版本，有点旧。 不怕，关键问题不在于hadoop版本，其实是java的版本和hostname设置。 我用的环境：虚拟机vmplayer上跑的opensuse12.3，java一开始用自... 阅读全文

摘要： 今天开通的博客园的博客账户，先来尝试一下用哪种方式最适合写博。 目前用Live Writer。 以后计划在这里分享数据技术的技术体会和学习心得，尤其是大数据和数据仓库相关的知识。Hello my blog！ 阅读全文