01 2015 档案

修改hadoop FileUtil.java，解决权限检查的问题
摘要：在Hadoop Eclipse开发环境搭建这篇文章中，第15.）中提到权限相关的异常，如下： 15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicab... 阅读全文
posted @ 2015-01-30 11:47 justinzhang 阅读(5155) 评论(0) 推荐(0) 编辑
编译hadoop遇到maven timeout
摘要：在编译hadoop的过程中，使用ant jar进行编译时，提示maven版本库连接超时的问题，通过搜索发现，在如下文件的位置中有repo2的版本库地址，这个地址在国内，目前不能正常的访问： 将出现repo2.maven.org/maven2的地方，都替换成： http://mirrors.ibiblio.org/maven2/ 可以解决问题。 这个地址是在ivysetting... 阅读全文
posted @ 2015-01-30 11:25 justinzhang 阅读(1457) 评论(0) 推荐(0) 编辑
Hadoop Eclipse开发环境搭建
摘要：This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costs me two day’s spare ti... 阅读全文
posted @ 2015-01-30 11:15 justinzhang 阅读(29636) 评论(0) 推荐(1) 编辑
tcpdump抓包
摘要：有一台ubuntu机器，想看到这台机器和外界通信的情况，使用如下命令： sudo tcpdump -i em1 -nn port 80 zhangchao3@ubuntu:~$ sudo tcpdump -i em1 -nn port 80 tcpdump: verbose output suppressed, use -v or -vv for full protocol decod... 阅读全文
posted @ 2015-01-29 15:31 justinzhang 阅读(293) 评论(0) 推荐(0) 编辑
Hadoop JobTracker和NameNode运行时参数查看
摘要：1）JobTracker运行时参数： hadoop@ubuntu:/home/zhangchao3$ ps -ef | grep job hadoop 29563 1 0 11:34 pts/12 00:00:24 /home/hadoop/jdk1.7.0_60/bin/java -Dproc_jobtracker -Xmx1000m -Dcom.sun.mana... 阅读全文
posted @ 2015-01-28 16:24 justinzhang 阅读(2300) 评论(0) 推荐(0) 编辑
Hadoop hostname: Unknown host
摘要：本来下想在一台虚拟机上，搭建一个hadoop的测试hadoop，用于调试和阅读hadoop源代码，发现在虚拟机上执行： $hostname -i hostname: Unknown host 这个是因为没有设置/etc/hosts文件导致的，如果linux的环境是这样的，那么将会在启动datanode和tasktracker的时候失败， datanode和namenode将会抛出如下的... 阅读全文
posted @ 2015-01-28 12:55 justinzhang 阅读(5832) 评论(0) 推荐(0) 编辑
java.io.IOException: Incompatible namespaceIDs
摘要：问题描述： 在实验的时候，需要往以前的集群中添加一台datanode，在添加之前，由于在调式namenode的时候，格式化了dfs，这就导致了namenode上的namespaceID和以前集群上datanode的namespaceID不一致，结果就会导致在启动hadoop集群的时候，旧的的datanode就没有办法启动hdfs服务，但是旧的dadanode可以启动tasktracker。 ... 阅读全文
posted @ 2015-01-28 11:17 justinzhang 阅读(1381) 评论(0) 推荐(1) 编辑
Hadoop集群搭建
摘要：1. 首先，准备好hadoop安装包和JDK，hadoop-1.0.3的svn版本库：http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.3/， hadoop-1.0.3的安装包地址：http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/ 2. 建立后各个... 阅读全文
posted @ 2015-01-27 11:37 justinzhang 阅读(6385) 评论(0) 推荐(0) 编辑
Google Mesa概览
摘要：Google Mesa的文章：https://research.google.com/pubs/pub42851.html https://gigaom.com/2014/08/07/google-shows-off-mesa-a-super-fast-data-warehouse-that-runs-across-data-centers/ 为什么未来的Hadoop是实时的： https:/... 阅读全文
posted @ 2015-01-25 21:05 justinzhang 阅读(608) 评论(0) 推荐(0) 编辑
C++ smart pointer智能指针
摘要：在C++中，程序员可以直接操作内存，给编程增加了不少的灵活性。但是灵活性是有代价的，程序员必须负责自己负责释放自己申请的内存，否则就会出现内存泄露。智能指针就是为了解决这个问题而存在的。它和其他指针没有本质的区别，主要的目的就是为了避免悬挂指针、内存泄露的问题。在这里，我使用对象的应用计数做了一个smart pointer，当一个对象还有引用的时候，就不执行释放内存的操作，当引用计数为0时，就... 阅读全文
posted @ 2015-01-22 09:57 justinzhang 阅读(4590) 评论(0) 推荐(0) 编辑
${HADOOP_CONF_DIR:-$HADOOP_PREFIX/$DEFAULT_CONF_DIR}
摘要：在hadoop-config.sh中，有如下语句：${HADOOP_CONF_DIR:-$HADOOP_PREFIX/$DEFAULT_CONF_DIR} 在这里面， :- 是一个运算符，叫做替换运算符： ... 阅读全文
posted @ 2015-01-21 09:02 justinzhang 阅读(5570) 评论(0) 推荐(0) 编辑
shell case语法
摘要：在阅读hadoop相关的脚本文件时，遇到case语句，好久不写shell，忘了不少，复习下shell的case语句： 运行结果: case的语法: Hado... 阅读全文
posted @ 2015-01-20 15:52 justinzhang 阅读(884) 评论(0) 推荐(0) 编辑
产品思想
摘要：如果你找到了产品的早期合作者用户，那么你的项目已经成功了50%。 「即便是高层次的设计，如果能有很多合作开发者在你产品的设计空间周围探索，也是很有价值的。设想下一滩雨水是怎么找到下水口的，或者说蚂蚁是怎么发现食物的。探索在本质上是分散行动，并通过一种可扩展的通信机制来协调整体行为。一个外围的游走者可能会在你旁边发现宝藏，而你可能有点过于专注而没能发现」 如果有一天放下现在的工作，我一定会... 阅读全文
posted @ 2015-01-19 14:09 justinzhang 阅读(337) 评论(0) 推荐(0) 编辑
Securecrt emacs/vi 代码无法高亮、无颜色
摘要：无法高亮：这是因为.bashrc中没有 export term=linux最后，代码恢复正常： 阅读全文
posted @ 2015-01-19 11:27 justinzhang 阅读(904) 评论(0) 推荐(0) 编辑
招聘，项目管理相关
摘要：今天看了刘未鹏先生写的文章： 怎样花两年时间去面试一个人 感触颇深，总结起来就是两点，是用书单+github的方式，就可以迅速的辨别这个人是否是雇主想要的人。通过github和stackoverflow去招聘合适的人，在国外已经风行起来。这也是国内的趋势。 读者两篇文章的同时，拜读了Joel Spolsky大神的文章： Hitting the High Notes 文章中提到了码龙的重要... 阅读全文
posted @ 2015-01-15 20:57 justinzhang 阅读(465) 评论(2) 推荐(0) 编辑
Scala first trial
摘要：scala是一种将面向对象和函数式编程相结合的语言，在spark中大显身手，在大数据时代下，不会scala都不敢说自己是搞大数据的。前段时间参加BDTC2014大数据会议时，spark的贡献者，陈超老师也极力推荐scala，看来scala在今后的大数据中，将扮演越来越重要的角色。尤其是现在，spark统一实时处理和批处理计算框架的进程非常迅猛. So learn it, use it, le... 阅读全文
posted @ 2015-01-15 10:24 justinzhang 阅读(289) 评论(0) 推荐(0) 编辑
甲骨文关闭OpenSSO后，OpenAM成为其继续者
摘要：消息来源：http://os.51cto.com/art/201003/190108.htm OpenAM主页连接： http://openam.forgerock.org/ 阅读全文
posted @ 2015-01-15 09:13 justinzhang 阅读(690) 评论(0) 推荐(0) 编辑
Eclipse color theme jsp javascript显示问题
摘要：Q: 在eclipse 中，设置为sublime格式时， 在编辑器中，jsp中嵌套的javascript底色非常难看。 A：在如下位置进行设置，Window -> Preferences-> MyEclipse -> Files and Editors -> Javascript -> Editor -> Syntax Coloring -> Background 使用m... 阅读全文
posted @ 2015-01-13 20:33 justinzhang 阅读(2743) 评论(0) 推荐(2) 编辑
windows live writer 2012 0x80070643
摘要：折腾了两天，windows live writer 安装不成功，最后放弃了，发现一个叫做菊子曰的软件，但是免费版本的，发图片有限制，感觉非常不爽。windows live writer报错如下： 后来发现，office 2013也可以发微博，就将电脑上的office 2010卸载了，结果卸载office2010 也报错，太坑爹。 最后用ui... 阅读全文
posted @ 2015-01-13 16:31 justinzhang 阅读(362) 评论(0) 推荐(0) 编辑
编译原理语言的分类
摘要：从推导式的左边到右边成为推导，从右边到左边成为规约LL的分析是一个不断向右扩展的过程，类似一个循环，适合EBNF描述。因此LL是对语法树的一个前序遍历，它是从上到下的，从根节点的起始非终结符一直到叶子节点的终结符LR的shift-reduce过程则是一个递推-回归的过程，SR总是从终结符开始，将终结... 阅读全文
posted @ 2015-01-12 21:12 justinzhang 阅读(740) 评论(0) 推荐(0) 编辑
java servlet中执行linux命令
摘要：public HttpServletResponse execCmd(String cmd, HttpServletRequest request, HttpServletResponse response) throws IOException { ... 阅读全文
posted @ 2015-01-12 21:04 justinzhang 阅读(1021) 评论(0) 推荐(0) 编辑
spring中action和url的对应关系
摘要：spring 中， action和url的对应关系 在web.xml中，这样配置： spring*.html 由此，我们可以看到，要进入到LoginController,我们需要在浏览器中输入：localhost:8080/springMybatis/background/to_lo... 阅读全文
posted @ 2015-01-12 20:57 justinzhang 阅读(1288) 评论(0) 推荐(0) 编辑
servlet中 getRealPath deprecated（被废弃）
摘要：servlet中， HttpRequestServlent req; req.getRealPath 被废弃，使用this.getServletContext().getRealPath()替代: 阅读全文
posted @ 2015-01-12 20:53 justinzhang 阅读(822) 评论(0) 推荐(0) 编辑
spring mvc get方式乱码
摘要：使用spring get方式，向后台传递参数的时候，出现乱码，网上搜索了好久，最后发现原因是server.xml中默认的配置有问题，修改如下就正确了，图片：文本信息： 阅读全文
posted @ 2015-01-12 20:47 justinzhang 阅读(501) 评论(0) 推荐(0) 编辑
这么久不写博客的原因
摘要：从13年到14年，这段时间基本上没有在写博客了，原因就是因为有了Evernote，所有的秘籍、学习感悟的东西都记载在里面。时间过得真快，15年已经开始了，evernote固然好用，但是毕竟是属于私人的东西，独乐乐不如众乐乐，今后，所有可以放到网上的技术相关的东西，都还是放到网上。 为了能够再次写博客，在公司的机器上折腾了两天，公司的破机器啊，最终windows li... 阅读全文
posted @ 2015-01-12 20:39 justinzhang 阅读(204) 评论(0) 推荐(0) 编辑
Hadoop启动过程分析
摘要：先把客户端修好，后续慢慢写。 菊子曰：体验离线写博的乐趣 阅读全文
posted @ 2015-01-12 17:28 justinzhang 阅读(359) 评论(0) 推荐(0) 编辑