摘要：
背景 在使用spark处理文件时，经常会遇到要处理的文件大小差别的很大的情况。如果不加以处理的话，特别大的文件就可能产出特别大的spark 分区，造成分区数据倾斜，严重影响处理效率。 解决方案 Spark RDD spark在读取文件构建RDD的时候（调用spark.SparkContext.Tex 阅读全文
摘要：
日常工作中，主要是通过ssh终端（putty等）远程开发，经常涉及到传输文件，因为本地系统为Win10，所以没办法利用强大的linux脚本来进行文件传输。之前用过python的SimpleHttp模块写了一个简单的文件服务器（http://www.cnblogs.com/sxhlinux/p/669 阅读全文
摘要：
一、静态分析工具 cppcheck cppcheck主要用于对C/C++源代码进行分析检查的一个开源工具，可以用来检测未使用的变量、越界访问、内存泄漏等问题。 使用方法 gcov gcov是伴随gcc发布的一个代码覆盖率检查工具，可以用来检查代码中各个语句的执行次数，查看代码执行逻辑，方便后期对代码 阅读全文
摘要：
一、前言 随着互联网的发展，人们的衣食住行渐渐的与互联网联系愈加紧密。在这种情况下，与我们生活密切相关的网络服务（微信、支付宝、QQ等）的实时性、稳定性、可靠性就愈加重要。下面我们就来介绍一些用于保证高并发服务的技术方案，从前端页面到后端存储依次介绍。 二、前端页面 通常情况下，用户访问网络服务通过 阅读全文
摘要：
在分布式集群中，对机器的添加删除，或者机器故障后自动脱离集群这些操作是分布式集群管理最基本的功能。如果采用常用的hash(object)%N算 法，那么在有机器添加或者删除后，就需要大范围的移动原有数据，这种大规模的移动数据在大规模的分布式集群中是不可被接受的，因为移动过程中造成的‘抖动’或者可能出 阅读全文
摘要：
一、背景 在linux命令行中执行程序，程序通常会占用当前终端，如果不启动新的终端就没法执行其他操作。简单可以通过'&'将程序放到后台执行，但是这种方法有个问题就是，一旦连接远程服务器的网络异常或者本机ssh客户端、系统等关闭亦或出现问题导致连接断开，那么放到后台执行的程序就会被终止。 对于需要长时 阅读全文
摘要：
一、前言 通常的http访问会遭到中间人攻击、网络嗅探等普通用户感知不到的恶意行为，这些行为会篡改用户浏览页面引导用户访问非法网站、抓取用户的上网行为以及个人信息、严重的会造成用户的个人资产损失。https由于采用了从用户端浏览器和网站服务端的证书加密认证机制，在信息的整个传输过程中都是以加密形式存 阅读全文
摘要：
一、前言 首先分享出原文链接http://www.infoq.com/cn/news/2017/09/streaming-Pipeline-kuaishou。自己平时并未用过快手，但是通过“宇宙中心”——五道口 快手巨大的LOGO以及 老家小伙伴的聊天内容来看，快手还是相当火爆的。虽然，直播这个技术 阅读全文
摘要：
模板是C++中很重要的一个特性，利用模板可以编写出类型无关的通用代码，极大的减少了代码量，提升工作效率。C++中包含类模板、函数模板，对于需要特殊处理的类型，可以通过特化的方式来实现特定类型的特殊操作。 最近工作中，需要处理CONT<TYPE>这种复合类型和T这种自定义类型的模板特化，因为CONT类 阅读全文
摘要：
繁体字通常采用BIG5编码，简体字通常采用GBK或者GB18030编码，这种情况下，直接使用iconv（linux下有对应的命令，也有对应的C API供编程调用）就行。对于默认采用utf-8编码的文件或者繁简体都并存的情况（通常采用utf-8）编码的情况，iconv这种方式就不行了。这里我们可以采用 阅读全文