爬取精美壁纸5w张，爱了爱了

　　近日接到一个需求——爬取某应用商店所有在线销售壁纸，这个任务起初让我惊呆了。因为上级没有给我解决风控问题，若爬取在售资源被人家厂商追责怎么办？若造成人家服务器出问题怎么办？问的时候上级含糊其辞，唉！其实大家都懂。但为什么我接了这个活儿呢，因为我随便发了几页，发现好多小姐姐壁纸，那种贼漂亮大波浪的你懂的，不愧是壁纸级小姐姐。

　　想要5万张小姐姐壁纸的单独联系我哦~

　　抛开资源本身，下面是具体的实现方法。这次不用scrapy，用requests实现的哦~

一. 登录

　　这种资源只有登录才能获取，所以我们得先过登录这一关。

　　起初我不知道是数万数量级的资源，人家给我说的自动化操作，我以为ui自动化可以实现，所以我用selenium的衍生库来模拟点击。

import time
from common.utils import GetDriver
from page import SumsungPage
from selenium.common.exceptions import NoSuchElementException

page: SumsungPage


def verify(func):
    def wrapper(*args):
        func(*args)
        try:
            if page.log_out.is_displayed():
                return True
        except NoSuchElementException:
            return False

    return wrapper


class SumsungLogin:
    """
    **应用商店登录，优先cookie登录，cookie登录失败就用账号登录
    """

    def __init__(self):
        global page
        page = SumsungPage(GetDriver().driver())

    @verify
    def __account_login__(self):
        """
        账号密码登录
        """
        page.get(page.url)
        page.entry.click()
        page.phone.send_keys(page.u)
        page.password.send_keys(page.p)
        page.login.click()
        page.not_now.click()

        # 更新cookie
        time.sleep(2)
        with open("./cookie.json", 'w+') as f:
            f.write(str(page.get_cookies()))

    @verify
    def __cookie_login__(self):
        """
        cookie登录
        """
        page.get(page.url)
        with open("./cookie.json", 'r+') as f:
            cookie = eval(f.read())
        page.add_cookies(cookie)
        time.sleep(2)
        page.driver.refresh()

    def trigger(self):
        flag = self.__cookie_login__()
        flag = flag if flag else self.__account_login__()
        print('登录成功状态:', flag)
        return page if flag else "登录失败"

　　当我知道人家给我说错了后，我起初是很无语的，毕竟人家不懂技术。。。按照模拟点击这种方法，就算一张图片只用1秒，5万张图片得用5万秒，得爬到地老天荒啊！

　　然后我果断弃用，因为这得走接口的方式爬。

　　而走接口的方式有两种，一是通过requests.session，二是直接携带cookie。因为人家给我配了专门的账号，直接从浏览器上把cookie复制过来啦~

headers = {
    'Content-Type': "application/x-www-form-urlencoded",
    'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36",
    'Referer': "https://seller.samsungapps.com/content/common/summaryContentList.as",
    'Accept-Language': "zh-CN,zh;q=0.9,en;q=0.8,zh-TW;q=0.7",
    'Cookie': "SCOUTER=x7o8fo083la90t; _hjid=cd3eb857-86e9-40e5-bba4-22b101dd0552; api_auth_sub=N; sellerLocale=zh_CN; _hjTLDTest=1; SLRJSESSIONID=SLm48RCYo2WqmgbfoOt5aBjlN1zbEFw10hrQrS2WFkkXrrDaJ1E5mCL2uKcxL99E.YXBwc19kb21haW4vc2VsbGVyMTE=; iPlanetDirectoryPro=NTbL8ooVcqrDnHlwgDxcABJZuzyR4xsNS9RrqQranfGKUkPTiZR/f8kop4j6ELBPc+TaRMW88Y3hUrTscvFk5t7je/dtPLfsDoVvZZn6oau1CY4NKsdQlNlSzkj3hdp1Lj7hRz2a3Q6BENPmpVewwbT3nqyI0Pb4/ZEyHVoXTaAGDzi7NzXwM54qizpIDXc8hkXAaXhtLcvra+DyVc72Undh9U31LyYlXO53LavOIFOYgPRvA9O5b4ed6xUxxa2etz9lpMwzlIayMvrOg8hdwDE5evVwpayZjXUv1cW4lMCbJhHaVhEucux23kcOuGbBgjraYYteAQ1ndWEvm0ipsg==; gss_auth_token=V/RK27AqVE6LV2BHAoKit6cWK+EWYKc8ERpYh2Wm7ESfGLw+oU/fgZmO2w1Oo1B+A/eYhyJu/XI9EagBTF+7Jg/5vRxPyCJW9hxMvNl4dhIRrWqNCSt6IrRQb0ZWPau8xMero/9FKGi7M3lrkuOMo8aUbTnl127zw1kj0Mgbfxw=; api_auth_token=Scri8yrXRz9kYmjyPxxyDOT8lKbIfKt2TQcwPwfO14U16J0AU1vAUMsqF/LtCfg7CtYw4hQIuO6SK1mCOJKPagKvmCyt7EjBEr1TTfIhjJPWbJkJ6pey9+Sj0CWEm/EuD/rjwUPc5THhiM7vpOkpWSqJLQYDmZ6AEy5cdtsOFIZSoZmbmZnMT8CIyig0GdE8FOPNJHpXrHxTgGSRQtsgyqYiXlFGKzfmjueeMC+x02ubCLNFdhReKZ2sfBzvFc8gxPyathHVXSYN+WCW/CTheiFwTP7D8N93agwEopZeLP79UvgwOyZi1VNwNl5GGe/le8qdiv10IhWjHMbNkt4lcA==; api_server_url=cn-auth2.samsungosp.com.cn; auth_server_url=cn-auth2.samsungosp.com.cn; _hjIncludedInPageviewSample=1; _hjAbsoluteSessionInProgress=1",
}

　　cookie放在请求头里，我们请求头里还要添加上基本的信息，爬虫时要养好这个习惯。

 

二.特征提取

　　要爬取的是图片的id和图片的url，然后根据图片的url来进行下载，所以总共有两次爬取操作。打开谷歌浏览器页面调试台，定位到图片位置后，观察特征。

　　发现id都在这个td标签下面，并且id的长度为12位，能观察到的id都是以00开头，我需要的信息就在<td>标签里面；而url都是以前面的网址开头，需要的信息在img标签的src属性里面。

　　于是确定了它们的特征，提取出来的xpath表达式为：

img_id = s.xpath("//td[string-length(text())=12 and starts-with(text(), '00')]/text()")
img_url = s.xpath("//td/img[contains(@src,'https://img.**apps.com/content')]/@src")

　　翻页的特征不在地址栏，被我注意到在查询字符串里面。于是将payload写活。

payload = "statusTab=all&pageNo=" + str(page_number) + "&isOpenTheme=true&isSticker=false&hidContentType=all&serviceStatus=sale&serviceStatusSub=forSale&contentType=all&ctntId=&contentName="

 

三.爬取id和url

　　根据id和url的特征，以及实现翻页的技巧，获取所有的id和url自然不在话下。

　　一个一个爬取太慢，多线程走起~

import threading
from data import url, payload_pre, payload_bac, headers
import time
from lxml import etree
import requests

thread_max = threading.BoundedSemaphore(10)


def send_req(page):
    with thread_max:
        page = str(page)
        payload = payload_pre + str(page) + payload_bac
        response = requests.request("POST", url, data=payload, headers=headers)
        text = response.text
        s = etree.HTML(text)
        img_id = s.xpath("//td[string-length(text())=12 and starts-with(text(), '00')]/text()")
        img_url = s.xpath("//td/img[contains(@src,'https://img.samsungapps.com/content')]/@src")
        a = len(img_id)
        b = len(img_url)
        s_ = page + " " + str(a) + " " + str(b)

        with open("1.txt", "a") as f:
            for c, d in zip(img_id, img_url):
                f.write(c + " " + d + "\n")
        print("ok " + s_) if a and a == b else print("not ok " + s_ + 60 * "!")


def start_work(s, e):
    thread_list = []
    for i in range(s, e):
        thread = threading.Thread(target=send_req, args=[i])
        thread.start()
        thread_list.append(thread)
    for thread in thread_list:
        thread.join()


if __name__ == '__main__':
    star, end = 1, 1001
    t1 = time.time()
    start_work(star, end)
    print("[INFO]: using time %f secend" % (time.time() - t1))

 

四.根据url下载

　　如果前面的看懂了，那么这里自然而然就懂啦~

　　读取url文件，就像一个一个种子（老司机你懂的），然后批量下载~

import threading
import urllib.request as ur

thread_max = threading.BoundedSemaphore(10)


def get_inf():
    ids = []
    urls = []
    with open("img_1.txt", "r") as f:
        while True:
            con = f.readline()
            if con:
                ids.append(con[:12])
                urls.append(con[13:-1])
            else:
                break
    print(len(ids), len(urls))
    return ids, urls


def down_pic(id_, url_):
    with thread_max:
        try:
            ur.urlretrieve(url_, "./img_1/" + id_ + ".jpg")
        except Exception as e:
            print(e)
            print(id_, url_)


def start_work(id_, url_):
    thread_list = []
    for i, j in zip(id_, url_):
        thread = threading.Thread(target=down_pic, args=[i, j])
        thread.start()
        thread_list.append(thread)
    for thread in thread_list:
        thread.join()


if __name__ == '__main__':
    i_, u_ = get_inf()
    start_work(i_, u_)

 

五.注意事项

　　起初没有合理控制频次，人家页面提示这个：

 

即便控制好了，但超过了人家的阈值，又提示了这个：

 

 

 

 

 通过 threading.BoundedSemaphore() 控制多线程最大数量，危险时协调部门资源解决风控，合理爬取资源噢~