day04 python

一、Selenium请求库

1、什么是selenium？

selenium是一个自动测试工具，它可以帮我通过代码

去实现驱动浏览器自动执行相应的操作。

所以我们也可以用它来做爬虫。

 

2、为什么要使用selenium？

主要使用selenium的目的是为了跳过登录验证。

 

3、安装与使用

——下载驱动器：

http：//npm.taobao.org/mirrors/chromedriver/2.38/

 

from pip._vendor.six.moves.urllib import parse as urllib_parse


class Index(object):
    def __init__(self, url):
        self.url = url
        self.netloc = urllib_parse.urlsplit(url).netloc
        self.simple_url = self.url_to_path('simple')
        self.pypi_url = self.url_to_path('pypi')
        self.pip_json_url = self.url_to_path('pypi/pip/json')

    def url_to_path(self, path):
        return urllib_parse.urljoin(self.url, path)


PyPI = Index('https://pypi.tuna.tsinghua.edu.cn/simple')