摘要：
本文探讨在web开发中如何解决并发访问带来的数据同步问题。 1、需求： 通过REST接口请求并发访问redis，例如:将key=fusor:${order_id} 中的值+1； 2、场景： 设想，多线程对key=fusor:${order_id}并发访问触发了竞态条件，例如两个线程同时发现key=f 阅读全文
摘要：
1、spark是什么？ Spark是基于内存计算的大数据并行计算框架。 1.1 Spark基于内存计算 相比于MapReduce基于IO计算，提高了在大数据环境下数据处理的实时性。 1.2 高容错性和高可伸缩性 与mapreduce框架相同，允许用户将Spark部署在大量廉价硬件之上，形成集群。 2 阅读全文
摘要：
前言 redis支持发布订阅模式，在这个实现中，发送者（发送信息的客户端）不是将信息直接发送给特定的接收者（接收信息的客户端），而是将信息发送给频道（channel），然后由频道将信息转发给所有对这个频道感兴趣的订阅者。 发送者无须知道任何关于订阅者的信息，而订阅者也无须知道是那个客户端给它发送信息 阅读全文
摘要：
在使用django集成celery进行了异步调度任务之后，如果想对失败的任务进行跟踪或者告警，怎么做？ 这里提供一个亲测的方法。 1、任务callback 假如你想在任务执行失败的时候，打印错误信息并且发出报警，该怎么搞。有两个方法： (1)link_error (2)on_failure/on_s 阅读全文
摘要：
1、统计一下代码量 (1)find，拿到所有py结尾的文件，你写相对路径得到相对路径，绝对路径得到绝对路径 (2)wc -l计数 (3)awk求和，wc其实能算出来总数，所以后面除2 2、对满足某个条件的字段计数 3、打印error的前后5行 (1)-B后5行，-A前5行，-Ccontext前后5行 阅读全文
摘要：
持续集成是一种项目管理和流程模型，依赖于团队中各个角色的配合。各个角色的意识和配合不是一朝一夕能练就的，我们的工作只是提供一种方案和能力，这就是持续集成能力的服务化。而在做持续集成能力服务化的过程中，最核心的一点就是，如何实现一个可定制化的任务流，即所谓的pipeline。 在传统的持续集成工具实现 阅读全文
摘要：
如何用JS实现一个类似百度搜索框的输入框呢，再填充完失去焦点时，自动填充配置项，最终效果如下图： 实现很简单，但是易用性会上升一大截，需要用到的有jquery-ui的autocomplete，jquery的keyup事件，以及ajax与服务端的交互。 废话少说直接上代码： 引用，需要jquery-u 阅读全文
摘要：
大数据团队搞数据质量评测。自动化质检和监控平台是用django，MR也是通过python实现的。(后来发现有orc压缩问题，python不知道怎么解决，正在改成java版本) 这里展示一个python编写MR的例子吧。 抄一句话：Hadoop Streaming是Hadoop提供的一个编程工具，它允 阅读全文
摘要：
我们的这个爬虫设计来爬取京东图书(jd.com)。 scrapy框架相信大家比较了解了。里面有很多复杂的机制，超出本文的范围。 1、爬虫spider tips： 1、xpath的语法比较坑，但是你可以在chrome上装一个xpath helper，轻松帮你搞定xpath正则表达式 2、动态内容，比如 阅读全文
摘要：
mongodb副本集模式由如下几部分组成： 1、路由实例mongos 2、配置实例configsvr 3、副本集集群replset(一主多从) tips： 1、以上实例都是mongod守护进程 2、以上实例应在同一网段 配置一个集群分两步：启动和配置。 1、启动 对于下面实例的管理，你可以将各个实例 阅读全文