爬虫五

打码平台

2、登录某些网站，会有验证码---》想自动破解

数字字母：python模块：ddddocr

计算题，成语题，滑块。。。：第三方打码平台，人工操作

 

2、打码平台

　　云打码，超级鹰

 

3 、咱们破解网站登录的思路

　　使用selenium----》打开网站----》（不能解析出验证码地址）---》使用截图

 

案例

超级鹰api demo下载

复制代码
import requests
from hashlib import md5


class ChaojiyingClient(object):
    def __init__(self, username, password, soft_id):
        self.username = username
        password = password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files,
                          headers=self.headers)
        return r.json()

    def PostPic_base64(self, base64_str, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
            'file_base64': base64_str
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()


if __name__ == '__main__':
    chaojiying = ChaojiyingClient('306334678', 'lqz123', '903641')  # 用户中心>>软件ID 生成一个替换 96001
    im = open('a.jpg', 'rb').read()  # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    print(chaojiying.PostPic(im, 1004))  # 1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
    # print chaojiying.PostPic(base64_str, 1902)  #此处为传入 base64代码
复制代码

 

打码平台自动登录

复制代码
import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from PIL import Image
from chaojiying import ChaojiyingClient

bro = webdriver.Chrome()

bro.maximize_window()

try:
    # 1 打开页面
    bro.get('https://www.chaojiying.com/user/login/')

    # 2 找到用户名，密码，验证码的输入框
    username = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/p[1]/input')
    password = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/p[2]/input')
    code = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/p[3]/input')
    time.sleep(2)
    username.send_keys('306334678')
    time.sleep(2)
    password.send_keys('lqz123')

    # 3 验证码破解---》网页屏幕截图---》根据验证码图片的位置和大小，从网页截图中扣出验证码图片---》调用超级鹰--》完成破解---》填入
    # 网页截图
    bro.save_screenshot('main.png')
    # 找到img的大小和位置
    img = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/div/img')
    location = img.location
    size = img.size
    print('大小是：', img.size)
    print('位置是：', img.location)
    # 获取图的 起始位置坐标  结束位置坐标
    img_tu = (
        int(location['x']), int(location['y']), int(location['x'] + size['width']), int(location['y'] + size['height']))
    # 使用pillow截图
    # #打开
    img = Image.open('./main.png')
    # 抠图
    fram = img.crop(img_tu)
    # 截出来的小图
    fram.save('code.png')

    # 调用超级鹰--》完成破解
    chaojiying = ChaojiyingClient('超级鹰用户名', '超级鹰密码', '903641')
    im = open('code.png', 'rb').read()
    res = chaojiying.PostPic(im, 1902)
    if res.get('err_no') == 0:
        code_img_text = res.get('pic_str')
        # 写入到验证码中
        code.send_keys(code_img_text)
        time.sleep(3)
        submit = bro.find_element(By.XPATH, '/html/body/div[3]/div/div[3]/div[1]/form/p[4]/input')
        submit.click()

    time.sleep(5)

except Exception as e:
    print(e)
finally:
    bro.close()
复制代码

 

selenium爬取京东商品信息

存京东cookie

复制代码
import json
import time

import requests
from hashlib import md5
from selenium import webdriver
from selenium.webdriver.common.by import By

bro = webdriver.Edge()
bro.get('https://www.jd.com/')
bro.maximize_window()
bro.implicitly_wait(10)
time.sleep(2)
#
login_btn = bro.find_element(By.CSS_SELECTOR,'#ttbar-login > a.link-login')
login_btn.click()

time.sleep(2)

login_btn_ma = bro.find_element(By.CSS_SELECTOR,'#content > div.login-wrap > div.w > div > div > div.login-form-body > div.login-tab.login-tab-l > a')
login_btn_ma.click()

input('登陆后点击回车')

cookie = bro.get_cookies()
with open('cookie_dj','w',encoding='utf-8') as f:
    json.dump(cookie,f)

time.sleep(2)
bro.close()
复制代码

爬取商品信息

复制代码
import time
import json
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.edge.options import Options

def get_goods(bro):
    bro.execute_script('scrollTo(0,document.documentElement.scrollHeight-600)')
    li_list = bro.find_elements(By.CLASS_NAME,'gl-item')   #这里是find_elements
    for li in li_list:
        try:
            name = li.find_element(By.CSS_SELECTOR, 'div.p-name em').text    #这里的需要自己一个标签一个往下找
            price = li.find_element(By.CSS_SELECTOR, 'div.p-price i').text
            url = li.find_element(By.CSS_SELECTOR, 'div.p-img>a').get_attribute('href')
            # 如果不滑动屏幕---》图片先放在 data-lazy-img属性中，只有滑动到底部，图片加载完，src才有值
            img = li.find_element(By.CSS_SELECTOR, 'div.p-img>a>img').get_attribute('src')
            shop_name = li.find_element(By.CSS_SELECTOR, 'div.p-shop a').text
            print('''
                        商品名字：%s
                        商品价格：%s
                        商品地址：%s
                        图片：%s
                        店铺名：%s

                        ''' % (name, price, url, img, shop_name))
        except Exception as e:
            print(e)
            continue
    next = bro.find_element(By.PARTIAL_LINK_TEXT,'下一页')
    next.click()
    time.sleep(20)
    get_goods(bro)





options = Options()
options.add_argument("--disable-blink-features=AutomationControlled")  # 去掉自动化控制
bro = webdriver.Edge(options=options)
bro.get('https://www.jd.com/')
bro.implicitly_wait(10)
bro.maximize_window()


with open('cookie_dj','r',encoding='utf-8') as f:
    cookies = json.load(f)

for item in cookies:
    bro.add_cookie(item)
bro.refresh()
time.sleep(2)
try:
    search = bro.find_element(By.XPATH,'//*[@id="key"]')
    search.send_keys('胶片相机')
    time.sleep(2)
    search.send_keys(Keys.ENTER)
    get_goods(bro)
except Exception as e:
    print(e)
finally:
    bro.close()
复制代码

 

scrapy介绍安装

爬虫模块：requests   bs4  selenium

爬虫框架---》不是模块---》类似于django---》爬虫界的django（跟djagno非常像）

安装：pip3 install scrapy

mac，linux 非常好装

win:看人品：因为twisted装不上

如果装不上的操作：

1、pip3 install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs

2、pip3 install lxml

3、pip3 install pyopenssl

4、下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/

5、下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

6、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl

7、pip3 install scrapy

装完后scripts文件夹下就会有scrapy可执行文件---》类似于（django-admin.exe）

创建项目，创建爬虫都用它

 

介绍

Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据或者通用的网络爬虫。

Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。整体架构大致如下：

架构：

1、爬虫（SPIDERS）

SPIDERS是开发人员自定义的类，用来解析responses，并提取items，或者发送新的请求

开发人员，主要在这写代码：设置爬取的地址，解析爬取完成的数据，继续爬取或者储存数据

2、引擎（EGINE）

引擎负责控制系统所有组件之间的数据流，并再某些动作发生时触发事件

3、调度器（SCHEDULER）

用来接收引擎发来的请求，压入队列中，并再引擎再次请求的时候返回，可以想象城一个URL的优先级队列，有它来决定下一次要抓取的网址是什么，同事去除重复的网址

4、下载器（DOWLOADER）

用于下载网页内容，并将网页内容返回给EGINE，下载器是建立在twisted这个高效的异步模型上的

5、项目管道（ITEM PIPLINES）

在items被提取后负责处理他们，主要包括清理、验证、持久化（比如存到数据库）等操作

6、下载器中间件(Downloader Middlewares)

位于Scrapy引擎和下载器之间，主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的响应response，你可用该中间件做以下几件事

7、爬虫中间件(Spider Middlewares)

位于EGINE和SPIDERS之间，主要工作是处理SPIDERS的输入（即responses）和输出（即requests）

 

scrapy目录结构

https://www.cnblogs.com/robots.txt 爬虫协议

 创建scrapy项目

    在cmd中创建：scrapy startproject scrapy_demo

　使用pycharm打开

　创建爬虫---》可以创建多个爬虫

　　　　scrapy genspider 爬虫名 爬虫地址  # django创建app

　　　　scrapy genspider cnblogs www.cnblogs.com  # 创建了爬取cnblogs的爬虫

　运行爬虫：默认直接爬取www.cnblogs.com---》后续需要写代码实现　　

　　　　scrapy crawl 爬虫名字
　　　　scrapy crawl cnblogs

目录结构

scrapy_demo #项目名
　　scrapy_demo #包
　　　　__init__.py
　　　　spiders #包 ，所有爬虫文件，放在这里
　　　　　　__init__.py
　　　　　　cnblogs.py
　　　　items.py # 一个个类，等同于djagno的models
　　　　pipelines.py # 写如何存储，存到拿
　　　　settings.py# 配置文件
　　　　middlewares.py # 中间件：两种

　　scrapy.cfg # 上线用的

 

 

posted @   别管鱼油我了  阅读(12)  评论(0)  编辑  收藏  举报
相关博文：
· 爬虫基础1
· 爬虫基础二
· 打码平台、打码平台自动登录打码平台、selenium爬取京东商品信息、scrapy介绍安装、scrapy目录结构
· day05
· 打码平台，自动登录打码平台，selenium爬取京东商品信息，scrapy介绍安装
阅读排行：
· 没有Manus邀请码？试试免邀请码的MGX或者开源的OpenManus吧
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· DeepSeek在M芯片Mac上本地化部署
· 葡萄城 AI 搜索升级：DeepSeek 加持，客户体验更智能
点击右上角即可分享
微信分享提示