上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 13 下一页
摘要: 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:对于单线程下串行N个任务,并不完全等同于低效,如果这N个任务都是纯计算的任务,那么该线程对cpu的 阅读全文
posted @ 2018-02-01 15:48 H......T! 阅读(229) 评论(0) 推荐(0) 编辑
摘要: 一:概述: 算法(Algorithnm): 一个计算过程,解决问题的方法。 时间复杂度: 用来估算运行效率的一个东西。 时间复杂度是用来估算算法运行时间的一个式子(单位)。 一般来说,时间复杂度高的算法比时间复杂度低的算法慢。 常见的时间复杂度(按效率排序) 不常见的时间复杂度 如何一眼判断时间复杂 阅读全文
posted @ 2018-01-31 22:55 H......T! 阅读(232) 评论(0) 推荐(0) 编辑
摘要: 一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 MongoDB是一个面向文档(document-oriented)的数据库,而不是关系型数据库。不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处,与关系数据库相比,面向文档的数据库不再有“行“(row)的概念取 阅读全文
posted @ 2018-01-31 19:52 H......T! 阅读(207) 评论(0) 推荐(0) 编辑
摘要: Mongodb: Mysql: redis: 阅读全文
posted @ 2018-01-31 19:18 H......T! 阅读(132) 评论(0) 推荐(0) 编辑
摘要: 一:介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2018-01-31 19:05 H......T! 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 数据库设计 from django.db import models class UserInfo(models.Model): """ 员工表 """ name = models.CharField(max_length=32) def __str__(self): return self.nam 阅读全文
posted @ 2018-01-30 20:01 H......T! 阅读(642) 评论(0) 推荐(0) 编辑
摘要: 一 介绍 官网:http://selenium-python.readthedocs.io 二 安装 #安装:selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可,注意最新版本是2 阅读全文
posted @ 2018-01-30 17:21 H......T! 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 一 介绍 二 基于GET请求 1、基本请求 2、带参数的GET请求->params #在请求头内将自己伪装成浏览器,否则百度不会正常返回页面内容 import requests response=requests.get('https://www.baidu.com/s?wd=python&pn=1 阅读全文
posted @ 2018-01-30 17:07 H......T! 阅读(402) 评论(0) 推荐(0) 编辑
摘要: 一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request from urllib.parse import urlencode import requests headers={ 'Accept':'text/html,application/xhtml+xml,application 阅读全文
posted @ 2018-01-30 16:48 H......T! 阅读(1117) 评论(0) 推荐(0) 编辑
摘要: 运行结果 你可能会很疑惑X和Y轴为什么是0~3和1~4。原因是这样的,这里我们只是为plot()命令提供 了一个list或者是array,matplotlib就会假设这个序列是Y轴上的取值,并且会自动为你生成X轴上的值。因为python中的范围是从0开始的,因此X轴就是从0开始,长度与Y的长度相同, 阅读全文
posted @ 2018-01-29 19:05 H......T! 阅读(4403) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 13 下一页