zengsf

摘要： 终端命令 1. 创建一个项目: scrapy startproject name 2. 利用蜘蛛名创建一个py文件: scrapy genspider name domain.name 3. 在终端运行：scrapy shell url 得到response 4. 利用蜘蛛名进行相对应的运行: sc 阅读全文

摘要： from selenium import webdriver import selenium.webdriver.support.ui as ui import time opt = webdriver.ChromeOptions() # 无界面 opt.set_headless() # 设置分辨率 opt.add_argument("window-size=1900x3000") drive... 阅读全文

摘要： 利用selenium来进行爬取数据 如果要用chrome浏览器的话，则将浏览器对象改为Chrome就可以 若要将有头浏览器变成无头浏览器的话，这添加 还有好多方法，查看文档即可：https://python-selenium-zh.readthedocs.io/zh_CN/latest/ 阅读全文

摘要： 将爬取下来的内容保存到本地 阅读全文

摘要： 将爬取出来的数据存入mongodb中 阅读全文

摘要： 1、定义 自定义的urlopen()方法,urlopen()方法是一个特殊的opener(模块已定义好),不支持代理等功能,通过Handler处理器对象来自定义opener对象 2、常用方法 1、build_opener(Handler处理器对象) ：创建opener对象 2、opener.open 阅读全文

摘要： 1.将爬取出来的数据存储到scv， mysql， mongo数据库中，利用正则的方式爬取。 得到csv中的结果，mysql和mongo结果就不显示了： 阅读全文

摘要： 在flask中，肯定是post提交个from进行密码验证。还有一定就是修改密码肯定是登录之后才能进行对密码的修改，这么说，在浏览器中的session中一定会有用户的信息，可以通过相对应的信息去获取到相对应的用户密码。 这里需要对werkzeug库里面的两个方法有所了解： 数据库中直接存放明文密码是很 阅读全文

摘要： import pymysql import warnings # 忽略警告 warnings.filterwarnings("ignore") # 连接数据库 db = pymysql.connect("localhost", 'root', "123456", charset="utf8") # 创建游标 cursor = db.cursor() # 创建数据库，如果存在，就不创建 c_... 阅读全文

摘要： 得到结果： 阅读全文