摘要：
好东西不是随便收集下，发篇博文，骗些点赞的！积累了5年多的东西，是时候放出来跟大家见见面了。 或许有的园友在14年的时候收藏过我的一篇“工欲善其事、必先利其器”的博文，时隔3年，已经做了N多更新，那篇文章也已被我删除，迁移至GitHub，重新进行管理。 这篇文章，大家可以推荐、收藏，让更多的人在园内 阅读全文
摘要：
为什么要做正文提取一般做舆情分析，都会涉及到网页正文内容提取。对于分析而言，有价值的信息是正文部分，大多数情况下，为了便于分析，需要将网页中和正文不相干的部分给剔除。可以说正文提取的好坏，直接影响了分析结果的好坏。对于特定的网站，我们可以分析其html结构，根据其结构来获取正文信息。先看一下下面这张... 阅读全文
摘要：
随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现： 的异常。 Spark 2.2开始移除了对Java 7的支持，大多数情况下，我们的Spark Application是和Hadoop 阅读全文
摘要：
原创文章，转载请保留出处 最近刚刚忙完Spark 2.2.0的性能测试及Bug修复，社区又要发布2.1.2了，国庆期间刚好有空，过了一遍2.1.2的相关 "JIRA" ，发现有不少重要修复2.2.0也能用上，接下来需要将有用的PR合到我们内部维护的2.2.0分支上了。 经常有朋友问我是怎么把社区的P 阅读全文
摘要：
原创文章，谢绝转载 Spark 2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了，2.x宣称有诸多的性能改进，相信不少使用Spark的同学还停留在1.6.x或者更低的版本上，没有升级到2.x或许是由于1.6相对而言很稳定，或许是升级后处处踩坑被迫放弃。 Spark SQL是Spark中最 阅读全文
摘要：
原创文章，谢绝转载 笔者出于工作及学习的目的，经常与Spark源码打交道，也难免对Spark源码做修改及测试。本人一向讲究借助工具提升效率，开发Spark过程中也在摸索如何更加顺畅的对源码进行调试。 Spark基于Scala，采用IntelliJ IDEA和sbt应对日常开发，自然是最佳选择了。如何 阅读全文
摘要：
让代码分布式运行是所有分布式计算框架需要解决的最基本的问题。 Spark是大数据领域中相当火热的计算框架，在大数据分析领域有一统江湖的趋势，网上对于Spark源码分析的文章有很多，但是介绍Spark如何处理代码分布式执行问题的资料少之又少，这也是我撰写文本的目的。 Spark运行在JVM之上，任务的 阅读全文
摘要：
最近运维同学为了提高安全性，用Google Authenticator对服务器加了双重认证，此后登录服务器需要先输入动态密码，在输入服务器密码。Google Authenticator相当于软token，对他不了解的同学可以看下这篇文章： "谷歌验证 (Google Authenticator) 的 阅读全文
摘要：
前言 在国内编译Spark项目需要从Maven源下载很多依赖包，官方源在国内大环境下的下载速度大家都懂得，那个煎熬啊，简直是浪费生命。 如果你的下载速度很快，你现在就可以无视这篇文章了。 阿里云给国内开发者提供了一个非常的良心的服务：提供了一个国内Maven镜像，可以让我们拜托这种煎熬。 地址信息 阅读全文
摘要：
前言 最近为了解决Spark2.1的Bug，对Spark的源码做了不少修改，需要对修改的代码做编译测试，如果编译整个Spark项目快的话，也得半小时左右，所以基本上是改了哪个子项目就单独对那个项目编译打包。 Spark官方已经给出了如何使用mvn单独编译子项目的方法： 使用mvn单独编译子项目是节约 阅读全文
摘要：
SparkSQL从2.0开始已经不再支持 这种语法了（下文简称add columns语法）。如果你的Spark项目中用到了SparkSQL+Hive这种模式，从Spark1.x升级到2.x很有可能遇到这个问题。 为了解决这个问题，我们一般有3种方案可以选择： 1. 启动一个hiveserver2服务 阅读全文