摘要：
背景： 最近使用MapReduce做离线数据清洗，在map段做简单的数据过滤，有经纬度的发送到reduce端，没经纬的过滤掉。reduce端将数据整理出来，按业务模型拼接成字符串写入HDFS。供hive作为外表进行后续数据处理分析。 问题： 该批数据总共2T大小，MapReduce执行第一次时，不出 阅读全文
摘要：
线上故障主要会包括cpu、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如jstack、jmap等工具也是不囿于一个方面的问题的，基本上出问题就是df、free、top 三连，然后依次jstack、jmap伺候，具体问题具体分析即可 阅读全文
摘要：
从一个BUG说起 前段时间翻到了一个 JDK 有点意思的 BUG，带大家一起瞅瞅。 memory leak，内存泄漏。 是谁导致的内存泄漏呢？ ConcurrentLinkedQueue，这个队列。 这个 BUG 里面说，在 jetty 项目里面也爆出了这个 BUG： 我看了一下，觉得 jetty 阅读全文