摘要：
scrapy-下载中间件 每个下载中间件组件是定义了以下一个或多个方法的Python类■ process_request(request,spider)■ process_response(request,response,spider)■ process_exception(request,exc 阅读全文
摘要：
百度图片网页中中，当页面滚动到底部，页面会加载新的内容。 我们通过selenium和谷歌浏览器驱动，执行js，是浏览器不断加载页面，通过抓取页面的图片路径来下载图片。 1 from selenium import webdriver 2 from selenium.webdriver.common. 阅读全文
摘要：
使用selenium+PhantomJS爬取拉钩网职位信息，保存在csv文件至本地磁盘 拉钩网的职位页面，点击下一页，职位信息加载，但是浏览器的url的不变，说明数据不是发送get请求得到的。 我们不去寻找它的API。这里使用另一种方式：使用PhantomJS模拟浏览，通过单击页面获取下一页。 这里 阅读全文
摘要：
有的时候爬取网页，可以利用网站额结构特点爬取网页 在百度搜索框中输入搜索内容，单击搜索，浏览器会发送一个带有参数的url请求。尝试删除其中的一些参数，只剩下wd这个参数。发现wd是搜索内容。这样程序可以根据不同的wd值，请求不同的网页。 1 from urllib import request,pa 阅读全文
摘要：
有的网页具有一些反爬机制，如：需要浏览器请求头中的User-Agent。User-Agent类似浏览器的身份证。 程序中不设置User-Agent。默认是Python-urllib/3.5。这样网站就知道是程序(而不是人)在访问，有的网站(如：西刺代理)就不会响应这样的请求。 程序中要设置浏览器请求 阅读全文
摘要：
简单的案例-爬取百度首页 1 from urllib import request 2 ''' 3 爬取百度首页 4 ''' 5 # 确定爬去目标 6 base_url = 'http://www.baidu.com' 7 8 # 发起http请求 返回一个类文件对象 9 response = re 阅读全文
摘要：
Model 模型模型是你的数据的唯一的、权威的信息源。它包含你所存储的数据的必要字段和行为。通常，每个模型对应数据库中唯一的一张表。 每个模型都是dhango.db.models.Model 的一个Python子类 模型的每个属性都表示数据中的的一个字段 Django提供一套自动生成的用于数据库访问 阅读全文
摘要：
为学一首示子侄 清代：彭端淑 天下事有难易乎？为之，则难者亦易矣；不为，则易者亦难矣。人之为学有难易乎？学之，则难者亦易矣；不学，则易者亦难矣。 吾资之昏，不逮人也，吾材之庸，不逮人也；旦旦而学之，久而不怠焉，迄乎成，而亦不知其昏与庸也。吾资之聪，倍人也，吾材之敏，倍人也；屏弃而不用，其与昏与庸无以 阅读全文
摘要：
Django URL路由概述 一个干净优雅的URL方案是高质量Web应用程序中的一个重要细则Django可以让你设计URL，无论你想要什么，没有框剪限制要为应用程序设计URL，您可以非正式地创建一个名为URLconf(URL configura URL配置)的Python模块。这个模块是纯Pytho 阅读全文
摘要：
1.安装mysql-server sudo apt-get install mysql-server 输入y，回车。等待下载，安装 出现下图，需要设定Mysql的密码。 输入密码，回车，弹出确认对话框， 再次输入密码。进行后面的安装。会自动安装完成。 2.安装mysql-clientsudo apt 阅读全文