毛小娃

摘要： 操作系统内核Hack：(三)引导程序制作关于本文涉及到的完整源码请参考MiniOS的v1_bootloader分支。1.制作方法现在我们已经了解了关于BootLoader的一切知识，让我们开始动手做一个BootLoader吧！但真正开始之前，我们还要做出一个选择，在之前的讨论中我们... 阅读全文

摘要： 一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的event log日志去生成spark ui，内存不足自然会OOM，可以在master的运行日志中看到，通过HA启... 阅读全文

摘要： 下面是我在spark user list的求助贴,很快就得到了正确回答，有遇到问题的同学解决不了也可以去上面提问。I can use it under spark1.4.1,but error on spark1.5.1,how to deal with this problem... 阅读全文

摘要： 使用 elasticsearch-hadoop 包，可在 github 中搜索到该项目项目地址exampleimport org.elasticsearch.spark._import org.elasticsearch.spark.sql._val conf = new Spar... 阅读全文

摘要： 操作系统内核Hack：(二)底层编程基础在《操作系统内核Hack：(一)实验环境搭建》中，我们看到了一个迷你操作系统引导程序。尽管只有不到二十行，然而要完全看懂还是需要不少底层软硬件知识的。本文的目的就是跟大家一起学习这一部分知识，本着够用就行的原则，不会完全铺开来，只要能让我们顺... 阅读全文

摘要： 用Netty开发中间件：高并发性能优化最近在写一个后台中间件的原型，主要是做消息的分发和透传。因为要用Java实现，所以网络通信框架的第一选择当然就是Netty了，使用的是Netty 4版本。Netty果然效率很高，不用做太多努力就能达到一个比较高的tps。但使用过程中也碰到了一些... 阅读全文

摘要： C实战：项目构建Make,Automake,CMake在本系列文章《C实战：强大的程序调试工具GDB》中我们简要学习了流行的调试工具GDB的使用方法。本文继续“C实战”的主题，对同样非常流行的构建工具Make的用法和原理一探究竟，并顺便看一下一些高级衍生产品。1.Make基础首先我... 阅读全文

摘要： 以前为了在一台机器上启动多个executor都是通过instance多个worker来实现的，因为standalone模式默认在一台worker上启动一个executor，造成了很大的不便利，并且会造成不同节点间任务负载不均衡，后来发现了另一种解决方法，方法如下。设置参数设置每个e... 阅读全文

摘要： 分布式一致性协议Raft原理与实例1.Raft协议1.1 Raft简介Raft是由Stanford提出的一种更易理解的一致性算法，意在取代目前广为使用的Paxos算法。目前，在各种主流语言中都有了一些开源实现，比如本文中将使用的基于JGroups的Raft协议实现。关于Raft的原... 阅读全文

摘要： spark Hive表操作之前很长一段时间是通过hiveServer操作Hive表的,一旦hiveServer宕掉就无法进行操作。比如说一个修改表分区的操作一.使用HiveServer的方式val tblName = "hive_table"def dropPartitions(t... 阅读全文