随笔分类 -  爬虫实战模块

1 2 3 下一页
批量查询经纬度
摘要：excel格式 #数据爬取 import requests from fake_useragent import UserAgent import pandas as pd #import xlrd import numpy as np from urllib.parse import quote 阅读全文
posted @ 2022-09-07 17:15 kuanleung 阅读(67) 评论(0) 推荐(0) 编辑
百度爬取经纬度（百度地图的经纬度是存在偏移加密的）
摘要：#!/usr/bin/env python # coding: utf-8 #数据爬取 import requests from fake_useragent import UserAgent import pandas as pd #import xlrd import numpy as np f 阅读全文
posted @ 2022-08-21 19:45 kuanleung 阅读(8) 评论(0) 推荐(0) 编辑
股票财务信息，董事会，监事会等高管信息爬取
摘要：股票财务信息，董事会，监事会等高管信息爬取，留言获取，私密仓库 https://gitee.com/kuanleung/163stock 阅读全文
posted @ 2022-07-16 20:44 kuanleung 阅读(3) 评论(0) 推荐(0) 编辑
chromedriver对应版本下载
摘要：如何找到和自己谷歌浏览器对应的驱动版本？？？？ 1.查询比如我的版本号是74.0.3729.169，只复制74.0.3729就行了，然后把复制下来的数字加到 https://chromedriver.storage.googleapis.com/LATEST_RELEASE_ 后面。 如 https 阅读全文
posted @ 2022-07-01 10:21 kuanleung 阅读(29) 评论(0) 推荐(0) 编辑
社会经济数据爬虫
摘要：声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任 爬虫代写：邮箱 leon_leon@yeah.net f 阅读全文
posted @ 2022-04-16 17:39 kuanleung 阅读(3) 评论(0) 推荐(0) 编辑
上市公司注册地址
摘要：声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任 爬虫代写：邮箱 leon_leon@yeah.net i 阅读全文
posted @ 2021-03-30 15:54 kuanleung 阅读(5) 评论(0) 推荐(0) 编辑
爬虫网易财经上市公司财务数据
摘要：声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任 爬虫代写：邮箱 leon_leon@yeah.net i 阅读全文
posted @ 2021-01-08 18:31 kuanleung 阅读(14) 评论(0) 推荐(0) 编辑
新发地市场价格爬取
摘要：声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任 爬虫代写：邮箱 leon_leon@yeah.net i 阅读全文
posted @ 2020-12-28 10:52 kuanleung 阅读(18) 评论(0) 推荐(0) 编辑
爬取市场价格，全国农产品商务信息公共服务平台
摘要：声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任 爬虫代写：邮箱 leon_leon@yeah.net 全 阅读全文
posted @ 2020-12-27 18:49 kuanleung 阅读(31) 评论(0) 推荐(0) 编辑
海关爬虫7代（圣佛版）
摘要：声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任 爬虫代写：邮箱 leon_leon@yeah.net # 阅读全文
posted @ 2020-12-20 12:48 kuanleung 阅读(58) 评论(0) 推荐(0) 编辑
海关爬爬虫3代（成熟变态版）
摘要：声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任 import requests from fake_us 阅读全文
posted @ 2020-11-17 19:48 kuanleung 阅读(70) 评论(0) 推荐(0) 编辑
selenium爬取中国经济与社会发展统计数据库
摘要：声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任 爬虫代写：邮箱 leon_leon@yeah.net f 阅读全文
posted @ 2020-11-10 15:39 kuanleung 阅读(31) 评论(0) 推荐(0) 编辑
python爬虫 selenium 对浏览器标签页进行关闭和切换
摘要：python selenium 对浏览器标签页进行关闭和切换 1. 关闭浏览器全部标签页 driver.quit() 2. 关闭当前标签页（从标签页A打开新的标签页B，关闭标签页A） driver.close() 3. 关闭当前标签页（从标签页A打开新的标签页B，关闭标签页B） 可利用浏览器自带的快 阅读全文
posted @ 2020-11-10 12:38 kuanleung 阅读(55) 评论(0) 推荐(0) 编辑
爬虫优质笔记
摘要：selenium selenium用法 https://selenium-python.readthedocs.io/index.html selenium设置代理 https://blog.csdn.net/xc_zhou/article/details/80823855 阅读全文
posted @ 2020-09-11 08:40 kuanleung 阅读(1) 评论(0) 推荐(0) 编辑
百度高德批量爬取经纬度并计算距离
摘要：声明：代码仅作学习交流用途，代码分享者与创作者不承担任何由他人恶意运行而导致的责任，勿擅自修改限制频率的参数，勿恶意攻击网页，请学习浏览者遵守社会公德与法律秩序，爬虫导致的网页崩溃等损失由计算机操作者负全部责任，造成严重后果的需要承担刑事责任 爬虫代写：邮箱 leon_leon@yeah.net # 阅读全文
posted @ 2020-09-02 10:30 kuanleung 阅读(31) 评论(0) 推荐(0) 编辑
爬虫--结语
摘要：基础 结语 爬虫基础部分资料更新与学习已经完成，有疑问的小伙伴可以留言或私聊我，下一步计划是学习与更新tensorflow的相关知识 阅读全文
posted @ 2020-08-20 10:48 kuanleung 阅读(4) 评论(0) 推荐(0) 编辑
(32)scrapy 登录
摘要：import scrapy class LogSpider(scrapy.Spider): name = 'log' allowed_domains = ['sxt.cn'] # start_urls = ['http://sxt.cn/'] def start_requests(self): ur 阅读全文
posted @ 2020-08-15 11:24 kuanleung 阅读(7) 评论(0) 推荐(0) 编辑
(31)爬虫--scrapy动态ua，IP
摘要：http_ua.py import scrapy class HttpUaSpider(scrapy.Spider): name = 'http_ua' allowed_domains = ['http://httpbin.org/get'] start_urls = ['http://httpbi 阅读全文
posted @ 2020-08-11 14:09 kuanleung 阅读(7) 评论(0) 推荐(0) 编辑
(30)爬虫--CrawlSpider自动获取爬取链接
摘要：scrapy genspider -t crawl zwr zedu.com import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule clas 阅读全文
posted @ 2020-08-11 11:22 kuanleung 阅读(4) 评论(0) 推荐(0) 编辑
(29)爬虫小说实例
摘要：main from scrapy.cmdline import execute execute('scrapy crawl zw'.split()) zw.py import scrapy class ZwSpider(scrapy.Spider): name = 'zw' allowed_doma 阅读全文
posted @ 2020-08-10 15:39 kuanleung 阅读(33) 评论(0) 推荐(0) 编辑

1 2 3 下一页
点击右上角即可分享
微信分享提示