摘要：
在每一次学习一个新东西之前，需要知道的几个问题。这个东西是什么(what),怎么使用(how)，为什么(why) scrapy的概念：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的框架。 scrapy的作用：通过少量代码实现快速抓取。 scrapy一共有5个模块和2个中间件，模块分别是S 阅读全文
摘要：
以往编写的一个爬取百度贴吧的小爬虫，发布出来，供大家参考。 本爬虫是在pycharm中编写完成，服务器环境是ubuntu16.04，使用语言是python3，导入的模块包是requests模块 # 导入模块 import requests # 定义百度贴吧爬虫类 class TiebaSpider( 阅读全文
摘要：
在面试时，经过寒暄后，一般面试官会让你介绍项目经验。常见的问法是：“说下你最近的（或最拿得出手的）一个项目”。 根据我的面试经验，发现有不少程序员对此没准备，说起来磕磕巴巴，甚至有人说出项目经验从时间段或技术等方面和简历上的不匹配，这样就会造成如下的后果。 第一印象就不好了，至少会感觉该候选人表述能 阅读全文
摘要：
摘自：http://blog.chinaunix.net/uid-25063573-id-3032578.html Mysql索引使用解析 1．索引作用 在索引列上，除了上面提到的有序查找之外，数据库利用各种各样的快速定位技术，能够大大提高查询效率。特别是当数据量非常大，查询涉及多个表时，使用索引往 阅读全文
摘要：
查看mysql版本：select version();方法一： show profiles。1. Show profiles是5.0.37之后添加的，要想使用此功能，要确保版本在5.0.37之后。 查看方法： show variables like "%pro%";(查看profiling是否开启) 阅读全文
摘要：
1. 数据库三范式是什么? 第一范式：表中每个字段都不能再分。 第二范式：满足第一范式并且表中的非主键字段都依赖于主键字段。 第三范式：满足第二范式并且表中的非主键字段必须不传递依赖于主键字段。 2. 什么是数据库事务？ 事务具有四大特性：一致性、原子性、隔离性、持久性。 数据库事务是指：几个SQL 阅读全文
摘要：
MVC模式：是一种程序设计模式，其核心思想是分工、解耦，让不同的代码块之间降低耦合，增强代码的可扩展性和可移植性，实现向后兼容。 MVC：Model-View-Control M：主要封装对数据库层的访问，对数据库中的数据进行增删查改的操作。 V：用于封装结果，生成页面展示的html内容。 C：用于 阅读全文
摘要：
GIL（全局解释器锁） 描述Python GIL的概念， 以及它对python多线程的影响？编写一个多线程抓取网页的程序，并阐明多线程抓取程序是否可比单线程性能有提升，并解释原因。 1.python语言和GIL没有任何关系，GIL不是python语言的特性，仅仅是因为历史原因在Cpython解释器， 阅读全文
摘要：
HTTPS和HTTP的区别主要如下： 1、https协议需要到ca申请证书，一般免费证书较少，因而需要一定费用。 2、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。 3、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是44 阅读全文
摘要：
线程 并发：指的是任务数多余cpu核数，通过操作系统的各种任务调度算法，实现用多个任务“一起”执行（实际上总有一些任务不在执行，因为切换任务的速度相当快，看上去一起执行而已） 并行：指的是任务数小于等于cpu核数，即任务真的是一起执行的 多线程之间共享全局变量 在一个进程内的所有线程共享全局变量，很 阅读全文