摘要：
大家好，我是一个初级的Python开发工程师。本文是结合官方教程和代码案例，简单说下我对flask-socketio的使用理解。 一、websocket简介 websocket 说白一点就是，建立客户端和服务端双向通讯通道， 服务器可以主动向客户端发消息。 二、flask-socketio理解与使用 阅读全文
摘要：
声明，本文纯粹是自己瞎嘚嘚，聊一下自己的职业处境和一点思考。 我是一个初级的Python后端开发，目前我的情况是这样子： （1）想学的东西太多了，不知道从哪里下手。 （2）找到要学习的技术栈后，又坚持不下去，常常半途而废，无疾而终。 （3）然后时间一点点流逝，却发现自己什么都没学会。 我的思考如下： 阅读全文
摘要：
一、前言 在使用scrapy框架开发爬虫时，scrapy命令是必不可少的。如使用startproject命令创建一个爬虫项目，genspider命令创建一个具体的爬虫，crawl命令运行编写完成的爬虫等等。。。 scrapy的命令分为全局命令和项目命令。顾名思义，全局命令是不管什么时候都能使用，项目 阅读全文
摘要：
一、前言 阅读本文的前提是你已经对scrapy有了基本的认识，或是已经使用scrapy写过数据抓取项目。 二、框架总体结构 scrapy框架由多个组件组合而成，要采集的数据经过网络响应后返回流过各个组件，经过一些处理（如格式校验，过滤去重，异常数据抛弃），最终保存到指定的文件或数据库中。 下面是sc 阅读全文
摘要：
简介 HTTP是Hyper Text Transfer Protocol（超文本传输协议）的缩写。HTTP协议是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如 阅读全文
摘要：
判断值是否在set集合中的速度明显要比list快的多, 因为查找set用到了hash，时间在O(1)级别。 假设listA有100w个元素，setA=set(listA)即setA为listA转换之后的集合。 以下做个简单的对比: 第一个循环用了16min，第二个循环用了52s。 由此可见，在set 阅读全文
摘要：
是用redis做任务队列时，要思考： 用什么数据类型来做任务队列 怎样才能防止重复爬取 上一篇文章已经决定使用list来做任务队列，但是去重问题没有得到解决。这里可以用set来解决思考二的问题，就是防止重复爬取的问题。 以下是具体代码 算是一个生产消费把，master往队列里塞任务，parser使用 阅读全文
摘要：
队列本身其实是个有序的列表，而Redis是支持list的，我们可以查看Redis的官方文档 http://redis.io/commands#list ，其中我们可以对这个队列的两端分别进行操作，所以其实Redis中的list即可以当做普通的先进先出的queue，也可以作为先进后出的stack。 如 阅读全文
摘要：
一、为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么。在搭建集群之前，我们首先先问一句，为什么我们需要搭建集群？它有什么优势呢？ （1）高可用性 Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步 阅读全文
摘要：
前言 之所以在这里写下python爬虫常见面试题及解答，一是用作笔记，方便日后回忆；二是给自己一个和大家交流的机会，互相学习、进步，希望不正之处大家能给予指正；三是我也是互联网寒潮下岗的那批人之一，为了找工作而做准备。 一、题目部分 1、scrapy框架专题部分（很多面试都会涉及到这部分） （1）请 阅读全文