10 2013 档案

cygwin在Windows8.1中设置ssh的问题解决
摘要：为了在Windows 8.1上直接使用Linux环境和hadoop开发，装了cygwin，同时设置ssh无密码登录。 但正常ssh-keygen后复制到authorised_keys后登录出现提示： Permissions 0660 for '/home/***/.ssh/id_rsa' are too open. It is required that your private key... 阅读全文
posted @ 2013-10-21 10:18 丁峰 阅读(338) 评论(0) 推荐(0) 编辑
海量数据还是大数据
摘要：这段时间接到很多猎头的联系，纷纷找大数据架构师，对应的客户是通信、电力或者消费品这类“传统”企业，而不是互联网企业。做了这些年的数据处理，从最底层的简单数据转换处理到最近的结合大数据和分布式数据仓库搭建的统一数据架构（见下图），算是对目前数据方面的企业应用有点认识，但我就没搞懂这些“传统”企业真的已经具备做大数据的基础吗？他们会不会不知道自己真正需要什么，其实可能只是海量数据处理的平台？ 统一数... 阅读全文
posted @ 2013-10-11 10:25 丁峰 阅读(367) 评论(0) 推荐(0) 编辑
一个在mac上编译c++程序的低级失误
摘要：今天在编译hadoop的pipes的wordcount例子时，总是报错不能成功。 g++ -m64 -I/Users/stephen/Downloads/hadoop-0.20.2/c++/Mac_OS_X-x86_64-64/include wordcount.cpp -Wall -L/Users/stephen/Downloads/hadoop-0.20.2/c++/Mac_OS_X-x86... 阅读全文
posted @ 2013-10-06 22:58 丁峰 阅读(1444) 评论(0) 推荐(0) 编辑