随笔分类 -  爬虫代码

网易云评论爬虫
摘要：import requests import json import my_fake_useragent import threading import pymysql #连接本地数据库 conn = pymysql.connect(host='',user='root',password='yan 阅读全文
posted @ 2021-10-27 23:12 1769987233 编辑
清理es索引
摘要：依赖安装 pip install requests-html -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com 如果安装失败，可能是Python解释器版本太高了，可以卸载掉，使用pycharm安装Python解释器 fr 阅读全文
posted @ 2021-10-27 16:08 1769987233 编辑
网易云热评
摘要：import requests from lxml import etree from urllib import parse import re import json import threading from queue import Queue import hashlib class Sp 阅读全文
posted @ 2020-02-10 15:55 1769987233 编辑
猫眼电影爬取
摘要：import requests from lxml import etree import csv import queue import threading from fake_useragent import UserAgent ua = UserAgent().random headers = 阅读全文
posted @ 2020-01-16 05:16 1769987233 编辑

点击右上角即可分享
微信分享提示