摘要： maven利用各种插件来管理构建项目，本文记录下工作中常用到的插件及使用方法。每个插件都会提供多个目标(goal)，用于标示任务。各插件配置在pom.xml里，如下： <build> [...] <plugins> <plugin> ... </plugin> </plugins> [...] </ 阅读全文

摘要： 1.Hive相关 脚本导数据，并设置运行队列 将毫秒转换为日期 对值类型为JSON的数据进行解析，如下就是一个字段data为json类型，其中的type代表日志类型，查询搜索日志。 JSONArray类型解析 表格有3个字段（asrtext array, asraudiourl string) se 阅读全文

摘要： 1.变量 类变量紧接在类名后面定义，相当于java和c++的static变量 实例变量在init里定义，相当于java和c++的普通变量 2.日期 #coding:utf-8 import time import datetime #日期格式化，time.strftime(format[, t]), 阅读全文

摘要： 1.介绍Spark是基于Hadoop的大数据处理框架，相比较MapReduce，Spark对数据的处理是在本地内存中进行，中间数据不需要落地，因此速度有很大的提升。而MapReduce在map阶段和Reduce阶段后都需要文件落地，对于连续的数据处理，就需要写多个MapReduce Job接力执行。... 阅读全文

摘要： 1.搜索业务主搜索：商品搜索、商家搜索、采购搜索、app搜索行业搜索：淘货源、淘工厂、聚好货、主题市场、品牌馆等2.优势由于用户多，需求强烈，收益大，所以功能、场景、架构做到极致高效。代码复用性强：基础通用功能进行组件抽象化组件通用性好：一些组件或者组件进行组合的服务，适用更多场景，支持更多功能转化... 阅读全文

摘要： 后续完善。背景假设有1亿用户（108），每个用户有1万张相片(104)。从数据量和数据大小两个方面认识下。数据量：共有1012条数据，100台机子存储，每台机子1010条数据（100亿）。数据大小：每个用户的数据占2MB，共2*108MB = 200TB，200台机子存储，每台机子存储1TB。初步印... 阅读全文

摘要： 滑动窗口(sliding window) 滑动窗口是用于流量控制的，发送端根据接收端的处理能力发送数据，不至于造成过多的丢包。 是发送方和接收方间的协调，对方的接收窗口大小就是自己的发送窗口大小。 在TCP头中有一个字段window，这个字段就是接收端告诉发送端自己还有多少缓冲区可以接收数据。发送端 阅读全文

摘要： 本文介绍下lucene生成的索引有哪些文件组成，每个文件包含了什么信息。基于Lucene 4.10.0。数据结构索引(index)包含了存储的文档(document)正排、倒排信息，用于文本搜索。索引又分为多个段(segments)，每个新添加的doc都会存到一个新segment中，不同的segme... 阅读全文

摘要： 接上篇文章，介绍一些实用的技巧和注意点。首次用MarkDown编辑，感觉行空隙太大，不是那么好看。GET/POST前后端会有数据交互，使用JQuery来实现get/post请求 GET 方法1：通过正则表达式匹配url传递参数$.ajax({ type:"GET", url:"/sear... 阅读全文

摘要： 以前用web.py(另外一款轻量级web开发框架)做一个监控管理平台，没有做特别的记录就不好拾起来。最近做一个日志聚合系统，使用的是django，这次就记下来，方便查询。Django是一个高效的web开发框架，上手容易，便于调试和发布。设计模式它的设计遵循经典的web设计架构-MVC（Model-v... 阅读全文