zhang_derek

python爬虫入门(六) Scrapy框架之原理介绍

摘要： Scrapy框架 Scrapy简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted['twɪstɪ 阅读全文

posted @ 2018-02-25 16:19 zhang_derek 阅读(2977) 评论(3) 推荐(3) 编辑

PYTHON面试

摘要：大部分的面试问题，有最近要找事的老铁吗？ python语法以及其他基础部分可变与不可变类型；浅拷贝与深拷贝的实现方式、区别；deepcopy如果你来设计，如何实现； __new__() 与 __init__()的区别；你知道几种设计模式；编码和解码你了解过么；列表推导list compreh 阅读全文

posted @ 2018-02-24 10:23 zhang_derek 阅读(1061) 评论(0) 推荐(0) 编辑

14.Ubuntu基本命令

摘要： vi编辑器 { ：上一段diamante } ：下一段代码 dw: 删除一个单词权限前面的分三组第一：文件拥有者的权限第二：同组者拥有的权限第三：其他人拥有的权限前面“-”表示是文件前面是“d” 表示的文件夹 rwx 可读可写可执行改变权限 u 拥有者 g 同组者 o 其它人子母阅读全文

posted @ 2018-02-19 13:02 zhang_derek 阅读(984) 评论(0) 推荐(0) 编辑

python爬虫入门（五）Selenium模拟用户操作

摘要：爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔的斗争... 小莫想要某站上所有的电影，写了标准的爬虫(基于HttpClient库)，不断地遍历某站的电影列表页面，根据 Html 分析电影名字存进自己的数据库。这个站点的运维小黎发现阅读全文

posted @ 2018-02-16 13:06 zhang_derek 阅读(26013) 评论(0) 推荐(8) 编辑

python爬虫入门（四）利用多线程爬虫

摘要：多线程爬虫先回顾前面学过的一些知识 1.一个cpu一次只能执行一个任务，多个cpu同时可以执行多个任务2.一个cpu一次只能执行一个进程，其它进程处于非运行状态3.进程里包含的执行单元叫线程，一个进程可以包含多个线程4.一个进程的内存空间是共享的，每个进程里的线程都可以使用这个共享空间5.一个线程阅读全文

posted @ 2018-02-15 23:26 zhang_derek 阅读(38174) 评论(0) 推荐(12) 编辑

python爬虫入门（三）XPATH和BeautifulSoup4

摘要： XML和XPATH 用正则处理HTML文档很麻烦，我们可以先将 HTML文件转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。 XML 指可扩展标记语言（EXtensible Markup Language） XML 是一种标记语言，很类似 HTML XML 的设计宗旨是传输数据阅读全文

posted @ 2018-02-15 18:06 zhang_derek 阅读(13874) 评论(0) 推荐(4) 编辑

python爬虫入门（二）Opener和Requests

摘要： Handler和Opener Handler处理器和自定义Opener opener是urllib2.OpenerDirector的实例，我们之前一直在使用urlopen，它是一个特殊的opener(也就是我们构建好的)。但是urlopen()方法不支持代理、cookie等其他的HTTP/GTTP 阅读全文

posted @ 2018-02-15 00:48 zhang_derek 阅读(16267) 评论(0) 推荐(4) 编辑

python爬虫入门（一）urllib和urllib2

摘要：爬虫简介什么是爬虫？爬虫：就是抓取网页数据的程序。 HTTP和HTTPS HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。 HTTPS（Hypertext Transfer Protocol over Secure S 阅读全文

posted @ 2018-02-14 20:52 zhang_derek 阅读(102552) 评论(4) 推荐(34) 编辑

7.Ajax

摘要：优先级如果发送的是【普通数据】 jQuery XMLHttpRequest iframe 如果发送的是【文件】 iframe jQuery(FormData) XMLHttpRequest(FormData) 原生Ajax Ajax主要就是使用【XmlHttpRequest】对象来完成请求的操作阅读全文

posted @ 2018-02-13 21:12 zhang_derek 阅读(1616) 评论(0) 推荐(4) 编辑

10.Django ModelForm

摘要： ModelForm 1.ModeForm简单验证 from django.db import models # Create your models here. class UserInfo(models.Model): # verbose_name 等同于Form类里面的label usernam 阅读全文

posted @ 2018-02-13 20:17 zhang_derek 阅读(732) 评论(0) 推荐(0) 编辑