爬虫学习笔记第一天

1.需要安装：

  1.1python，anconda（内含很多库）

  1.2请求库（pip安装）：requests（anconda自带）；selenium（自动化测试工具，驱动浏览器完成特定动作，这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本，selenium用于爬虫，主要是用来解决javascript渲染的问题 ）；aiohttp（提供web异步服务）；

  1.3解析库：lxml（解析库，anconda自带）；beautifulsoup（解析库，anconda自带）

  1.4数据库：关系型数据库MySQL

  1.5存储库：PyMySQL

  1.6爬虫框架：pyspider

 

2.chorme的版本查看出现错误代码为 3: 0x80040154，连不上，可以凌晨人少去试试。

3.windows终端切换目录：cd 要切换的目录（可以直接去D:\MySQL\mysql-8.0.17-winx64\bin），然后再输入C/D/E/F：（去cdef哪个盘，就输大写+冒号D：）。

4：URI：统一资源标识符；URL：统一资源定位符（http访问协议，访问路径，资源名称）；URN（统一资源名称，对资源唯一标识但不定位）。URL和URN都属于URI。

5.CSS中：#代表id，.代表class。空格代表嵌套关系