摘要:
1. 连接mysql 2. 创建表 3. 插入数据 4. 更新数据 4.1:普通更新 4.2:去重更新 如果主键存在就更新,不存在就新增 分析理解 5. 删除数据 6. 查询数据 阅读全文
摘要:
1. location里面的root例子 这个配置表示输入 www.wzw.com:80/www 时会访问本机的/data/www/ 目录去找文件, 如果是root data/; 那么是在nginx的安装目录下的data目录,比如/usr/local/nginx/data/www/目录找文件 2. 阅读全文
摘要:
一. location使用语法 location [ = | ~ | ~* | ^~ ] URI { ... } 说明: 1. 其中URI可以是普通的字符串地址路径,或者是正则表达式,匹配成功后执行后面大括号里的相关指令 2. URI前面的匹配标识说明 = 开头表示精确匹配, /和^~ 开头表示常规 阅读全文
摘要:
方案1:一次性爬取全部淘宝美食信息 1. spider.py文件如下 2. config.py 方案2:上面这种方法经测试可正常运行,但是会一次性爬取全部数据,数据量较大且不能灵活控制抓取内容,下面代码基本实现方法如下 1. 把搜索的关键字直接放在url中 2. 分页抓取商品信息 3. 使用chro 阅读全文
摘要:
参考网站:https://blog.csdn.net/Young_Child/article/details/78571422 在爬的过程中遇到的问题: 1、被ban:更改header的User-Agent,伪装成浏览器浏览,如果还被ban可以使用代理,这个网站只需要伪装头再加上time.sleep 阅读全文
摘要:
完整代码经测试可成功运行,目的是抓取头条网输入街拍后的图片,涉及的知识点如下 1. md5加密使用方法 方法1:不创建实例对象,直接使用 >>> from hashlib import md5 >>> md5('hong'.encode('utf-8')).hexdigest() '88163c52 阅读全文
摘要:
代码如下 使用pyquery简单实现 阅读全文
摘要:
1. 一个简单的使用例子 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium. 阅读全文
摘要:
强大又灵活的网页解析库,如果觉得正则写起来太麻烦,BeautifulSoup语法太难记,而你又熟悉jQuery的语法,那么用PyQuery就是最佳选择 一. 初始化 强大又灵活的网页解析库,如果觉得正则写起来太麻烦,BeautifulSoup语法太难记,而你又熟悉jQuery的语法,那么用PyQue 阅读全文
摘要:
灵活方便的网页解析库,处理高效,支持多种解析器,利用它不用编写正则表达式即可方便的实现网页信息的提取 一. BeautifulSoup的几种解析库 一. BeautifulSoup的几种解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, "html. 阅读全文