2019年2月26日
Django之MVC和MTV
摘要： 一、 MVC MVC 是一种使用 MVC（Model View Controller 模型-视图-控制器）设计创建 Web 应用程序的模式： Model（模型）表示应用程序核心（比如数据库记录列表）。 View（视图）显示数据（数据库记录）。 Controller（控制器）处理输入（写入数据库记录） 阅读全文
posted @ 2019-02-26 23:29 菜鸟SSS 阅读(1065) 评论(0) 推荐(0) 编辑
Http协议
摘要： 一 HTTP概述 特点： HTTP叫超文本传输协议，基于请求/响应模式的！ HTTP是无状态，FTP有状态 二、请求协议 请求格式如下： 请求首行 // 请求方式 请求路径 协议和版本，例如：GET /index.html HTTP/1.1 请求头信息 // 请求头名称：请求头内容，即为key：va 阅读全文
posted @ 2019-02-26 21:40 菜鸟SSS 阅读(271) 评论(0) 推荐(0) 编辑
2019年2月22日
IP代理
摘要： import requests # 定义爬取url地址 base_url = 'https://www.baidu.com/' # 定义代理IP地址 proxies = {'http':'http://121.31.193.38:8123'} # 使用代理获取想要的页面 response = requests.request('get', base_url, proxies=proxies... 阅读全文
posted @ 2019-02-22 21:45 菜鸟SSS 阅读(244) 评论(0) 推荐(0) 编辑
IP代理（proxies参数）
摘要： 在爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信息的强度和采集速度太大，给对方服务器带去了太多的压力。 如果你一直用同一个代理ip爬取这个网页，很有可能ip会被禁止访问网页，所以基本上做爬虫的都躲不过去ip的问题。 通常情况下，爬虫用户自己是没有能力去自己维护服务器或 阅读全文
posted @ 2019-02-22 21:44 菜鸟SSS 阅读(2368) 评论(0) 推荐(0) 编辑
人人网（cookie登录）
摘要： 有时候，我们在爬取一些网页之前必需要登录该网站，比如说我想爬取我的人人网主页内容。 1、打开：www.renren.com 2、输入用户名和密码，登录网站18679030315 3、个人首页，如下图： 那么直接请求：http://www.renren.com/964508591/profile 可不 阅读全文
posted @ 2019-02-22 21:32 菜鸟SSS 阅读(5189) 评论(0) 推荐(0) 编辑
Cookie，Session，正则表达式
摘要： 一、Cookie和Session基础知识 Cookie：客户端本地存储的键值对 Http访问是不记录状态的，所以要借助session和cookie来保存访问状态 具体来说cookie机制采用的是在客户端保持状态的方案，而session机制采用的是在服务器端保 持状态的方案。 cookie 和sess 阅读全文
posted @ 2019-02-22 21:02 菜鸟SSS 阅读(1341) 评论(0) 推荐(0) 编辑
有道词典翻译（携带请求头和post参数请求）
摘要： 一、静态爬取页面信息 有道翻译网址：http://fanyi.youdao.com/ 在翻译中输入python 找到接口和请求的方式 参数是From Data类型 需要把参数数据转换为字典， 复制粘贴后按住Ctrl + r ，然后 Headers 内容的长度是data携带参数的长度 代码实现 分析： 阅读全文
posted @ 2019-02-22 20:10 菜鸟SSS 阅读(2572) 评论(1) 推荐(1) 编辑
爬取高德天气所有城市的天气
摘要： 1、打开网站：https://www.amap.com/ 2、按F12进入开发者界面，如下图 3、点击Network--XHR--刷新，如下图 4、找到存放天气的文件 如何获取图中adcode，因为adcode为获取每个城市天气的标识。 ①复制adcode在上个图中的左下方文件中的Preview找到 阅读全文
posted @ 2019-02-22 19:52 菜鸟SSS 阅读(1451) 评论(0) 推荐(0) 编辑
爬虫和数据
摘要： 一 为什么要做爬虫？ 首先请问：都说现在是"大数据时代"，那数据从何而来？ 企业产生的用户数据: 百度指数：http://index.baidu.com/ 阿里指数：https://alizs.taobao.com/ TBI腾讯浏览指数：http://tbi.tencent.com/ 新浪微博指数： 阅读全文
posted @ 2019-02-22 16:11 菜鸟SSS 阅读(495) 评论(0) 推荐(0) 编辑
2019年2月18日
开始flask项目
摘要： 一 新建Flask项目 # 导入Flask类 from flask import Flask # Flask函数接收一个参数name app = Flask(__name__) # 装饰器的作用是将路由映射到视图函数index # @app.route('/') def index(): 一 新建F 阅读全文
posted @ 2019-02-18 23:25 菜鸟SSS 阅读(235) 评论(0) 推荐(0) 编辑