小明在线

摘要： 阅读全文

摘要： #========================================================== # 设置时区 注意注释上面的：LANGUAGE_CODE、TIME_ZONE、USE_TZ LANGUAGE_CODE = 'zh-Hans' # 中文编码 TIME_ZONE = 'Asia/Harbin' # 时区 USE_TZ = False # 不使用默认时区 # ... 阅读全文

摘要： 一、创建爬虫项目 二、分析并定义需要关注的信息，创建数据库（chapter18.sql），设置爬取变量（items.py） chapter18.sql items.py 三、引入下载中间件封装类（middlewares.py），并在settings.py中设置下载中间件指向 如在settings.p 阅读全文

摘要： 1.高度伪装封装类HeadersHelper.py 2.测试headershelper_test.py 阅读全文

摘要： 1 import urllib.request 2 import http.cookiejar 3 4 url = "http://www.baidu.com" 5 file_path = "E:/workspace/PyCharm/codeSpace/books/python_web_crawler_book/chapter6/demo5/1.html" 6 7 # 添加报头... 阅读全文

摘要： 一、先在MySQL中创建test数据库，和相应的site数据表 二、创建Scrapy工程 三、进入工程目录，根据爬虫模板生成爬虫文件 四、设置IP池或用户代理（middlewares.py文件） 五、settngs.py配置 六、定义爬取关注的数据（items.py文件） 七、爬虫文件编写（test 阅读全文

摘要： 1 import pymongo as pm 2 3 # 获取连接 4 client = pm.MongoClient('localhost', 27017) # 端口号是数值型 5 6 # 连接数据库 7 db = client.py3 8 9 # 获取集合 10 stb = db.stb 11 12 # 获取数据信息 13 datas = stb.find() 1... 阅读全文

摘要： 1.增删改查封装类MysqlHelper.py 2.数据查询（引入封装类） 3.数据修改（引入封装类） 阅读全文

摘要： 1 import pymysql as ps 2 3 # 打开数据库连接 4 db = ps.connect(host='localhost', user='root', password='123456', database='test', charset='utf8') 5 6 # 创建一个游标对象 7 cur = db.cursor() 8 9 # 参数化处理 10... 阅读全文

摘要： 1.增 2.删除 阅读全文