凝望远处的天鹅

摘要： 写后端的同学们可能都知道，工作中可能需要周期性执行一些任务，俗称定时任务。Linux环境下，可以借助于系统自带的crontab完成定时任务。但是很多时候，开发的同学们可能并没有权限去操作crontab，所以就催生了一些不太好的解决方案，比如基于Python/Java里面的Timer去弄一个周期性执行 阅读全文

摘要： 什么是Spark？ 关于Spark具体的定义，大家可以去阅读官网或者百度关于Spark的词条，在此不再赘述。从一个野生程序猿的角度去理解，作为大数据时代的一个准王者，Spark是一款主流的高性能分布式计算大数据框架之一，和MapReduce，Hive，Flink等其他大数据框架一起支撑了大数据处理方 阅读全文

摘要： Spark DataFrame一定比Spark RDD快？NO 阅读全文

摘要： python一些安装包有时候在windows下无法 直接安装。 可以在一个非官方的Python Windows扩展库里面找到对应的打包好的whl，下载后直接安装。 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 阅读全文

摘要： 想必大家都知道可以通过多进程或者多线程的方式实现异步。 PHP多进程编程当前主要有这几种方式， 1>基于pcntl实现多进程，这也是PHP自带的多进程玩法 2>Swoole自己修改PHP内核代码，从而实现多进程，这个看起来比较新 PHP基于pcntl封装的多进程或者进程池也有很多第三方库，今天分享下 阅读全文

摘要： 事务的四种隔离级别 数据库事务的隔离级别有4种，由低到高分别为Read uncommitted 、Read committed 、Repeatable read 、Serializable 。而且，在事务的并发操作中可能会出现脏读，不可重复读，幻读。下面通过事例一一阐述它们的概念与联系。 Read 阅读全文

摘要： 熟悉Python的人可能都知道，Apscheduler是python里面一款非常优秀的任务调度框架，这个框架是从鼎鼎大名的Quartz移植而来。 之前有用过Flask版本的Apscheduler做定时任务。刚好前不久接触了Tornado，顺便玩玩Tornado版本的Apscheduler。 本篇做了 阅读全文

摘要： 工作中经常需要梳理一些流程图，时序图。以前用微软Visio绘制流程图(当然不是正版Visio)。后来为了响应国家号召，改用processon(proceson.com)进行绘制流程图。Processon总体来讲还算好用，功能也不错，能够满足日常所需的流程图绘制。Proceson有个毛病，免费版的对保 阅读全文

摘要： 先介绍下背景：由于工作需要，前段时间又写了一段爬虫去获取和更新一些数据。之前爬虫主要用Scrapy框架批量爬取一些页面数据，或者用Gevent调用目标站点的接口。偶然看到了Tornado，听说这个框架很强大，所以打算这次爬虫用Tornado试试。不足之处，欢迎指正。 总的来说，Tornado是Pyt 阅读全文