摘要:
最近写服务,经常是单进程,多线程的,加了各种锁,很担心出现死锁问题,专门学习了一下死锁问题的诊断。 死锁 (deallocks): 是指两个或两个以上的进程(线程)在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。此时称系统处于死锁状态或 系统产生了死锁,这些永 阅读全文
摘要:
关于工具,大家理解是一种可以用提高工作效率的,在大数据平台,工具也是很重要的,很多时候我们分析大数据涉及很多重复性的体力劳动,假如我们可以将一些操作工具化,可以大大提高开发的效率。 比较有名的工具,大家能想到的是 Mapreduce,帮我们实现程序并行化。Sql,帮我们很快实现一个Mapreduce 阅读全文
摘要:
分布式计算系统中,为了高效利用资源,经常需要一个合理的调度器帮我们自动完成任务的合理调度和运行。不管是系统级别,还是应用级别。只要在资源有限的系统上运行任务,一个设计合理的调度器是很有用的。 在操作系统上,我们为了充分利用CPU,内存,磁盘,网络。 在分布式计算系统上,我们充分利用计算平台的抽象的计 阅读全文