摘要:
Windows之PowerShell使用命令 切换 命令格式: cd [option] 返回到上一层目录 或者 进入文件夹 不同磁盘之间切换 清屏 清空当前窗口的内容 查看当前文件夹目录 展示当前文件夹的详细信息 结果: 退出 快捷键 退出当前执行的的程序 Ctrl + C 命令 查看 查看IP地址 阅读全文
摘要:
scrapy之多环境的选择使用 个人主机主机上可能存在多个python环境,当在终端中使用scrapy时,容易产生错误,无法使用到自己想使用的那个python,如何解决这个问题呢? 出现这类问题时,直接使用绝对路径就可以解决这个问题。 绝对路径 以我的为例做一个简单的图解: a. 进入到环境中复制s 阅读全文
摘要:
scrapy之持久化存储 scrapy持久化存储一般有三种,分别是基于终端指令保存到磁盘本地,存储到MySQL,以及存储到Redis。 基于终端指令的持久化存储 xxoo为爬虫文件名。 -o为输出的意思,output。 xxoo.csv为保存到本地的文件的名称,其中包含文件的后缀。其中,这种方式可以 阅读全文
摘要:
scrapy之环境安装 在之前我安装了scrapy,但是在pycharm中却无法使用。 具体情况是: 我的电脑上存在多个python,有python2,python3,anaconda,其中anaconda中的python为python3。 我在PowerShell中直接键入scrapy可以使用。 阅读全文
摘要:
Windows之系统自带截屏快捷键 现在我们都习惯了使用QQ截屏,但是有时候电脑没有网络,也就意味着无法登陆QQ,在这个时候再有截屏的需求时,我们就束手无策了。 截取全屏 现在我说以个Windows系统自带的截屏功能。就是 PrtSc键。这个是截取的全屏,截取完后如果打开了图片处理工具,截取的图片就 阅读全文
摘要:
Windows之文件夹中打开PowerShell 为了解决Windows中在某个路径下使用PowerShell,而不是使用传统的cd命令切换过去,具体做法如下: 方法一 打开文件夹 在文件夹的内容区按下Shift+右击 点击在此处打开PowerShell即可 结果: 方法二 进入到指定文件夹 在地址 阅读全文
摘要:
scrapy之管道 通过管道将数据持久化到数据库中,企业中常见的数据库是MySQL,分布式爬取数据时只能讲数据存储到Redis装,还可以将数据存储到本地磁盘(即写入到本地文件中)。 未完待续。。。 0 阅读全文
摘要:
scrapy之基础概念与用法 框架 所谓的框架就是一个项目的半成品。也可以说成是一个已经被集成了各种功能(高性能异步下载、队列、分布式、解析、持久化等)的具有很强通用性的项目模板。 安装 Linux: windows: a. 下载安装wheel b. 下载twisted http://www.lfd 阅读全文
摘要:
爬虫之通讯协议 通讯协议 服务器和客户端进行数据交互的形式。 HTTP工作原理 HTTP协议工作于客户端-服务器架构上,浏览器作为HTTP客户端通过URL服务器的web服务器发送所有的请求,web服务器根据接收到的请求后,想客户端发送响应信息。 未完待续。。。 0 阅读全文
摘要:
爬虫 概念 编写程序模拟浏览器上网,让其去互联网上获取数据的过程。 分类 通用爬虫 针对的是一整张页面。搜索引擎。 聚焦爬虫 页面中的局部的内容。 反爬机制 对应的载体是门户网站。 反扒机制手段 robots协议 特点是防君子不防小人。 协议的查看方式为网站的url + robots.txt。 Us 阅读全文