2019年3月15日
scrapy框架之代理的使用
摘要： 首先我们检测ip是否可用: 1.对于免费代理的检测 #免费代理或不用密码的代理 url = 'http://httpbin.org/get' proxy = '127.0.0.0:8000' proxies = { 'http': 'http://' + proxy, 'https': 'https 阅读全文
posted @ 2019-03-15 15:51 sado 阅读(1450) 评论(0) 推荐(0) 编辑
爬虫之异步爬取加载数据
摘要： 什么是异步加载？ 向网站进行一次请求，一次只传部分数据。如：有些网页不需要点击下一页，其内容也可以源源不断地加载。如何发现异步加载？ 1、打开浏览器，右键选择“检查” 2、点击“Network”、“XHR” 这样在网页进行不断下拉的过程中，显示器会记录全部动作。可以看到不断加载新的页。如何加载异步数 阅读全文
posted @ 2019-03-15 14:38 sado 阅读(2954) 评论(0) 推荐(0) 编辑
爬虫之scrapy核心组件
摘要： Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associa 阅读全文
posted @ 2019-03-15 08:32 sado 阅读(149) 评论(0) 推荐(0) 编辑
2019年3月14日
TCP协议的三次握手与四次挥手
摘要： tcp协议的三次握手和四次挥手 三次握手： 第一次握手： 客户端发起一个链接（SYN） 第二次握手： 服务端就会返回一条（ACK）确认信息，同时服务端也会向客户端发起一个链接请求（SYN），此二者可合并 第三次握手： 客户端也会给服务端一个（ACK）确认建立链接的信息 注意：因为建立链接的过程中不涉 阅读全文
posted @ 2019-03-14 08:58 sado 阅读(176) 评论(0) 推荐(0) 编辑
网络通讯原理
摘要： 1 互联网的本质就是一系列的网络协议 一台硬设有了操作系统，然后装上软件你就可以正常使用了，然而你也只能自己使用 像这样，每个人都拥有一台自己的机器，然而彼此孤立 如何能大家一起玩耍 然而internet为何物？ 其实两台计算机之间通信与两个人打电话之间通信的原理是一样的（中国有很多地区，不同的地区 阅读全文
posted @ 2019-03-14 08:57 sado 阅读(645) 评论(0) 推荐(0) 编辑
HTTP协议
摘要： 一，HTTP协议简介 超文本传输协议（英文：Hyper Text Transfer Protocol，HTTP）是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。HTTP有很多应用，但最著名的是用于web浏览器和web服务器之间的双工通信。 HTTP的发展是由蒂 阅读全文
posted @ 2019-03-14 08:55 sado 阅读(138) 评论(0) 推荐(0) 编辑
2019年3月13日
python之栈与队列
摘要： 这个在官网中list支持，有实现。 补充一下栈，队列的特性： 1.栈(stacks)是一种只能通过访问其一端来实现数据存储与检索的线性数据结构，具有后进先出(last in first out，LIFO)的特征 2.队列(queue)是一种具有先进先出特征的线性数据结构，元素的增加只能在一端进行，元 阅读全文
posted @ 2019-03-13 19:35 sado 阅读(500) 评论(0) 推荐(0) 编辑
python之提升程序性能的解决方案
摘要： Python在性能方面不卓越，但是使用一些小技巧，可以提高Python程序的性能，避免不必要的资源浪费。 1. 使用局部变量 尽可能使用局部变量替代全局变量，可以是程序易于维护并且有助于提高性能节约成本。 2. 减少函数调用的数量 当需要确定对象类型时，使用isinstance()方法最好，id() 阅读全文
posted @ 2019-03-13 08:44 sado 阅读(482) 评论(0) 推荐(0) 编辑
2019年3月12日
Django之mysql数据库配置
摘要： 在settings.py中配置 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', # 数据库引擎 'NAME': 'mydb', # 你要存储数据的库名，事先要创建之 'USER': 'root', # 数据库用户名 ' 阅读全文
posted @ 2019-03-12 20:09 sado 阅读(193) 评论(0) 推荐(0) 编辑
2019年3月11日
爬虫之selenium模块;无头浏览器的使用
摘要： 一，案例 爬取站长素材中的图片：http://sc.chinaz.com/tupian/gudianmeinvtupian.html import requestsfrom lxml import etreeimport osurl = "http://sc.chinaz.com/tupian/gu 阅读全文
posted @ 2019-03-11 16:23 sado 阅读(879) 评论(0) 推荐(0) 编辑
下一页