20190603 （一）安装Scrapy的环境

题外话：

今天有人说我像一只咸鱼，我承认我已经变成了咸鱼，那么又有人问我了“咸鱼翻身” 是什么意思

我答：“为了晒得更均匀”   -- 哎，已经很黑，不想再黑

 

第一步：

安装beautifulsoup  前提，你的系统支持pip安装方式 否则去百度 （我好像之前也写过，忘记了）

 

一个警告Pycharm 工具中

原因是

此段：from_encoding="utf-8"

是多余的，删除后，执行就没有警告

上面是，没有用框架的请求-获取-解析-打印，可以百度出一堆代码，就是没得详细的部分

 

第三方包

Urllib 和Urllib2有什么区别

urllib和urllib2

urllib 和urllib2都是接受URL请求的相关模块，但是urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。

这意味着，你不可以伪装你的User Agent字符串等。

urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。

目前的大部分http请求都是通过urllib2来访问的

 

httplib

httplib实现了HTTP和HTTPS的客户端协议，一般不直接使用，在python更高层的封装模块中（urllib,urllib2）使用了它的http实现。

 

这里会出现用python3 安装Urllib2 ，因为你需要模仿用户访问

还有一个Urllib4,5 我没试，我把Urllib3 安装了一下

安装的时候就会提示你找不到

不能用2 那你就用3吧

安装Urllib3

 

更换了一个工具采用了VS2019社区版

反正都安装不了urllib2   -- 难过了

 

安装一个自动测试包

pip install selenium

失败

换了个方式下载了.whl文件，安装

这样就可以了，是不是我的网有问题？

首先scrapy的安装之前需要安装这个模块：wheel、lxml、Twisted、pywin32，最后在安装scrapy

慢慢安装了

为什么要用框架呢，因为很多东西都写好了，我懒

安装Twisted 东西的时候提示出了一个c++的错误，没事的，我安装vs的时候把c++ 扩展需要的东西更新了一下，再次安装Twisted  就可以通过了（怎么更新不用我再写了吧）  汗。。。

 （反正安装VS2019的更新需要时间，耐心了）

OK了，基本环境安装好了