摘要: 爬虫就是请求网站并提取数据的自动化程序,学程序模拟浏览器请求服务器,从html文本内提取我们想要的信息,存到数据库或本地。 爬虫工作原理 爬虫基本流程:四部曲, 第一步,发起请求,通过http库向目标站发起请求,即发送一个request,请求可以包含额外的headers等信息,等待服务器响应, 第二 阅读全文
posted @ 2020-12-27 22:51 李俊鹏Python 阅读(465) 评论(0) 推荐(0) 编辑
摘要: 请求库,解析库,存储库,工具库 请求库:Requests和selenium Windows安装过程,urllib和re库,python内置库,不需要安装的基本库 Requests库,做请求常用的库,第三方安装方式pip3 install requests然后验证这个库的安装导入包import req 阅读全文
posted @ 2020-12-27 17:41 李俊鹏Python 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 环境变量 计算机>>高级系统设置>>环境变量>>(环境变量和系统变量) Where python把每个python.exe文件拷贝一份改成自己想要的名称就可以了 Linux系统输入命令echo $PATH Whereis python3查找位置,直接python+版本号就能找到,ln -s +pyt 阅读全文
posted @ 2020-12-27 17:34 李俊鹏Python 阅读(83) 评论(0) 推荐(0) 编辑