吴超沉思录 - 博客园

[置顶] 国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程

摘要：前言 hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。 hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoop未来使用的一个趋势。当然，配置也更加复杂，网上也没有一篇详细的教程来知道大家可以轻轻松松搭建起这个环境的。我应该算是第一个吧。hadoop2体系结构要想理解本节内容，首先需要了解hadoop1的体系结构。在本博客中和我的视频中都有相关内容，这里不再重复，只讲had 阅读全文

posted @ 2014-02-12 14:45 吴超沉思录阅读(31309) 评论(12) 推荐(9)

2014年7月

让自己变得更有钱

摘要： “让自己变得更有钱”，几乎是每个人的梦想，上至副国级干部，下至屌丝程序员，概莫能外。我的父母是农村的，日复一日、年复一年的耕种着土地。辛苦了一年，到最后能否有好的收成，还要提心吊胆的关注暴雨、强风、干旱等天气因素。当我还在农村上学的时候，看到村子里面的很多人，不种地了，出去做点小买卖，家里就有... 阅读全文

posted @ 2014-07-28 10:28 吴超沉思录阅读(2069) 评论(1) 推荐(3)

2014年2月

看视频也能拿到月薪1万

摘要：一个朋友加我为好友，问是否有hadoop视频，说是同事推荐的。我根据姓名一查，果然是超人学院的会员。仅仅通过看视频，也能拿到月薪1万的工资，就是这么简单，有图有真相，信不信由你，反正我信了！阅读全文

posted @ 2014-02-19 07:26 吴超沉思录阅读(1169) 评论(0) 推荐(1)

超人学院二期学员分享hadoop工作经验

摘要：定于2月17日——2月23日的某一天，邀请咱们学员分享一下hadoop工作经验。对于没工作过的同学或者没从事过hadoop工作的同学，抓住机会啊，你可以提前准备自己关心的各种问题！具体时间请关注QQ群（3群261520795），超人学院其他群的朋友不必重复加到3群，每个群都会发公告的。你的未来或许因为这次聆听而改变！分享内容大纲原文如下： 1.分享内容漫谈**移动互联网公司hadoop环... 阅读全文

posted @ 2014-02-13 22:22 吴超沉思录阅读(4717) 评论(0) 推荐(0)

2014年1月

2013年吴超的个人总结

摘要：马年的大年初一快要过去了，给亲戚朋友也已经拜过年了，2013年真的过去了。也许是自己又长了一岁的原因，现在有了很多的感触，想写下来。那就写下来吧。女儿篇最令我兴奋的是女儿——缘宝。她到今年5月份就三周岁了。想一想刚出生时带有血迹的样子，再看看现在蹦蹦跳跳的样子，孩子长的太快了。因为工作的原因，缘宝大部分时间是和姥姥姥爷在一起的。在爸爸妈妈身边，也就最近半年多的时间。刚开始，经常为她会学会... 阅读全文

posted @ 2014-01-31 23:50 吴超沉思录阅读(1032) 评论(0) 推荐(1)

国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置

摘要：简介 hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker，而是分解成ResourceManager和ApplicationMaster。这次大变革被称为MRv2或者YARN，是一次革命性的变化。配置在前面的文章中，我们配置了hadoop2集群的HA高可靠，下面紧接上前面的配置，设置MapReduce的配置信息，也是最简单最容易上手的。修... 阅读全文

posted @ 2014-01-26 20:26 吴超沉思录阅读(6348) 评论(1) 推荐(0)

国内最全最详细的hadoop2.2.0集群的HA高可靠的最简单配置

摘要：简介hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。hadoop2就解决了这个问题。图1hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。这些NameNode之间通过共享数据，阅读全文

posted @ 2014-01-25 00:32 吴超沉思录阅读(7574) 评论(1) 推荐(2)

2012年8月

回复：有人投资200万，让你当老板，你干吗

摘要：今天投资人对我回复了，摘录如下： "...... 我个人建议你只把我们的诉求当成你其中开发的一个项目即可，我认为未来在运动自行车领域会有很大的发展空间，也会有更多的公司需求此类相关软件，你就把我们目前需要使用的当成试验田，软件可用我们会正常买单。我们也会全力配合，磨合成功了就是你的资源。未来几年运动单车会以上百或更多品牌出现，办公效率会成为诸多公司考虑到的，但是，还没有真正适合这个产业的办公软件。我认为未来市场很大请兄弟思考！成与否？我等你的回复 ......" 投资人的这个回复，很合我的心意。我的想法很简单，先把这块进销存拿下来，赚了钱再谈其他合作。这样我的风险最小，我阅读全文

posted @ 2012-08-16 10:48 吴超沉思录阅读(4020) 评论(27) 推荐(4)

有人投资200万，让你当老板，你干吗

摘要：大家看到这个标题，估计第一个回答就是“天上掉馅饼了，谁不干就是傻子”！我抛出这个话题，就是听听大家的意见。这不是一个假设，是一个真实的故事。这个故事的主人公就是我，时间就是上周末。当然了，我肯定是受赠者，而不是投资人了。我先说说投资人吧。投资人是搞某个产品的地区代理的，发展很快，去年的时候月销售额才100万，到今年，月净利润就过100万了，年销售额过亿元。他的会员有160多万，都是有手机号码，很多会员经常参加地区活动或者全国性活动。随着机会的增多，他还想搞一些独家产品，就是在大陆地区唯一授权的产品。思路很广阔。搞代理，说白了就是商品、货款的进进出出，必然用到进销存。我们就是... 阅读全文

posted @ 2012-08-15 21:37 吴超沉思录阅读(10031) 评论(111) 推荐(21)

快速开发框架V0.01——包含集团管理的组织机构设置

摘要：常见的项目一般都是公司——>部门，复杂点的就是部门分上下级。然后部门里面很多员工。有没有遇到过这样的情况： 1.公司有派出机构，比如办事处。派出机构不是独立法人，但是在系统中也有一定的权限。 2.公司有分公司，比如北京分公司、上海分公司。分公司的权限要比办事处大，比如可以独立订货、发货。 3.公司有往来单位，比如有的经销商的产品信息是让厂家登录系统维护的，自己人不负责。往来单位严格来说不属于公司组织体系的。 4.一个员工在多个分公司任职，比如集团的副总在北京分公司担任临时总经理职务。 4.管理界面非常凌乱，公司信息维护一个菜单项，分公司信息维护一个菜单项，部门信息维护一个菜单... 阅读全文

posted @ 2012-08-14 22:45 吴超沉思录阅读(2224) 评论(9) 推荐(1)