摘要:
2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。 阅读全文
摘要:
2014年apache开源软件最火的应该是spark,没有之一。为了更好的掌握spark,scala应该是必须学习的。为了一周左右快速入门scala,对scala有个基本认识,不可能像学校那样拿着书系统学习,只能通过官网tutorial以及高手的总结(后面的参考资料)。现把scala的基本知识总结了一下,分享给大家。 阅读全文
摘要:
hive可以从几个方面进行优化,从系统角度看:整体架构、MR阶段、JOB以及平台都可以进行优化。从用户角度看:了解SQL执行过程以及业务数据特点,调整SQL语句进行优化。 阅读全文
摘要:
默认为10MB,如果大于该值不会执行mapjoin,hive语句中直接设置的mapjoin也不再起作用。参考hive wiki把hive.auto.convert.join.noconditionaltask.size修改大一些就ok。官方解释为:hive.auto.convert.join.noc... 阅读全文
摘要:
基于C++11线程的基本管理,包括如何启动一个线程,如何等待一个线程结束,如何处理一个异常以及如何让一个线程后台运行。 阅读全文
摘要:
在C++11中的标准库中引入了线程库,这样就可以方便我们并行编程。什么时候需要并行编程呢?什么时候又不需要呢?并用线程库实现hello world。 阅读全文
摘要:
好玩实在的分布式系统理论系列,本节主要介绍分布式系统中涉及到的一些术语,大家应该经常听到这些术语的,但是具体含义应该没有多少人可以确切回答的,如scalability、latency、performance等。 阅读全文
摘要:
在上周听了mike的关于linux内核策略的分享,这可是一个长达四个小时的分享,其中一句话印象非常深刻就是,“好的系统性能不是压测出来的,是设计出来的”。内容主要通过后台服务依赖的硬件资源(CPU、内存、外存、网络、其他)主线来介绍的。 阅读全文
摘要:
每个人都想拥有自己的网站,但是大部分比较屌丝,不想花钱租赁服务器,哈哈,屌丝有屌丝办法。github应该都听说过吧,github.io提供了此功能,而且使用github来管理自己的代码,如果你有域名,还可以绑定你自己的域名欧。我在github的博客终于捣鼓好了,也给大家介绍一下建站步骤。 阅读全文
摘要:
父Makefile在src目录下包含很多文件夹,那么需要遍历所有的目录执行Makefile,那么给一个在src目录下的Makefile。# 需要排除的目录exclude_dirs := include bin# 取得当前子目录深度为1的所有目录名称DIRS := $(shell find . -ma... 阅读全文