上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 38 下一页
摘要: 1. 连接mysql 2. 创建表 3. 插入数据 4. 更新数据 4.1:普通更新 4.2:去重更新 如果主键存在就更新,不存在就新增 分析理解 5. 删除数据 6. 查询数据 阅读全文
posted @ 2018-07-16 14:51 坚强的小蚂蚁 阅读(727) 评论(0) 推荐(0) 编辑
摘要: 1. location里面的root例子 这个配置表示输入 www.wzw.com:80/www 时会访问本机的/data/www/ 目录去找文件, 如果是root data/; 那么是在nginx的安装目录下的data目录,比如/usr/local/nginx/data/www/目录找文件 2. 阅读全文
posted @ 2018-07-12 23:51 坚强的小蚂蚁 阅读(2658) 评论(0) 推荐(0) 编辑
摘要: 一. location使用语法 location [ = | ~ | ~* | ^~ ] URI { ... } 说明: 1. 其中URI可以是普通的字符串地址路径,或者是正则表达式,匹配成功后执行后面大括号里的相关指令 2. URI前面的匹配标识说明 = 开头表示精确匹配, /和^~ 开头表示常规 阅读全文
posted @ 2018-07-12 11:18 坚强的小蚂蚁 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 方案1:一次性爬取全部淘宝美食信息 1. spider.py文件如下 2. config.py 方案2:上面这种方法经测试可正常运行,但是会一次性爬取全部数据,数据量较大且不能灵活控制抓取内容,下面代码基本实现方法如下 1. 把搜索的关键字直接放在url中 2. 分页抓取商品信息 3. 使用chro 阅读全文
posted @ 2018-07-09 09:21 坚强的小蚂蚁 阅读(918) 评论(0) 推荐(0) 编辑
摘要: 参考网站:https://blog.csdn.net/Young_Child/article/details/78571422 在爬的过程中遇到的问题: 1、被ban:更改header的User-Agent,伪装成浏览器浏览,如果还被ban可以使用代理,这个网站只需要伪装头再加上time.sleep 阅读全文
posted @ 2018-07-06 14:09 坚强的小蚂蚁 阅读(1021) 评论(0) 推荐(0) 编辑
摘要: 完整代码经测试可成功运行,目的是抓取头条网输入街拍后的图片,涉及的知识点如下 1. md5加密使用方法 方法1:不创建实例对象,直接使用 >>> from hashlib import md5 >>> md5('hong'.encode('utf-8')).hexdigest() '88163c52 阅读全文
posted @ 2018-07-06 13:20 坚强的小蚂蚁 阅读(478) 评论(0) 推荐(0) 编辑
摘要: 代码如下 使用pyquery简单实现 阅读全文
posted @ 2018-07-04 09:07 坚强的小蚂蚁 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 1. 一个简单的使用例子 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium. 阅读全文
posted @ 2018-07-02 16:32 坚强的小蚂蚁 阅读(307) 评论(0) 推荐(0) 编辑
摘要: 强大又灵活的网页解析库,如果觉得正则写起来太麻烦,BeautifulSoup语法太难记,而你又熟悉jQuery的语法,那么用PyQuery就是最佳选择 一. 初始化 强大又灵活的网页解析库,如果觉得正则写起来太麻烦,BeautifulSoup语法太难记,而你又熟悉jQuery的语法,那么用PyQue 阅读全文
posted @ 2018-06-29 15:34 坚强的小蚂蚁 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 灵活方便的网页解析库,处理高效,支持多种解析器,利用它不用编写正则表达式即可方便的实现网页信息的提取 一. BeautifulSoup的几种解析库 一. BeautifulSoup的几种解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, "html. 阅读全文
posted @ 2018-06-29 15:28 坚强的小蚂蚁 阅读(242) 评论(0) 推荐(0) 编辑
上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 38 下一页