摘要：
Windows之PowerShell使用命令 切换 命令格式： cd [option] 返回到上一层目录 或者 进入文件夹 不同磁盘之间切换 清屏 清空当前窗口的内容 查看当前文件夹目录 展示当前文件夹的详细信息 结果： 退出 快捷键 退出当前执行的的程序 Ctrl + C 命令 查看 查看IP地址 阅读全文
摘要：
scrapy之多环境的选择使用 个人主机主机上可能存在多个python环境，当在终端中使用scrapy时，容易产生错误，无法使用到自己想使用的那个python，如何解决这个问题呢？ 出现这类问题时，直接使用绝对路径就可以解决这个问题。 绝对路径 以我的为例做一个简单的图解： a. 进入到环境中复制s 阅读全文
摘要：
scrapy之持久化存储 scrapy持久化存储一般有三种，分别是基于终端指令保存到磁盘本地，存储到MySQL，以及存储到Redis。 基于终端指令的持久化存储 xxoo为爬虫文件名。 -o为输出的意思，output。 xxoo.csv为保存到本地的文件的名称，其中包含文件的后缀。其中，这种方式可以 阅读全文
摘要：
scrapy之环境安装 在之前我安装了scrapy，但是在pycharm中却无法使用。 具体情况是： 我的电脑上存在多个python，有python2，python3，anaconda，其中anaconda中的python为python3。 我在PowerShell中直接键入scrapy可以使用。 阅读全文
摘要：
Windows之系统自带截屏快捷键 现在我们都习惯了使用QQ截屏，但是有时候电脑没有网络，也就意味着无法登陆QQ，在这个时候再有截屏的需求时，我们就束手无策了。 截取全屏 现在我说以个Windows系统自带的截屏功能。就是 PrtSc键。这个是截取的全屏，截取完后如果打开了图片处理工具，截取的图片就 阅读全文
摘要：
Windows之文件夹中打开PowerShell 为了解决Windows中在某个路径下使用PowerShell，而不是使用传统的cd命令切换过去，具体做法如下： 方法一 打开文件夹 在文件夹的内容区按下Shift+右击 点击在此处打开PowerShell即可 结果： 方法二 进入到指定文件夹 在地址 阅读全文
摘要：
scrapy之管道 通过管道将数据持久化到数据库中，企业中常见的数据库是MySQL，分布式爬取数据时只能讲数据存储到Redis装，还可以将数据存储到本地磁盘（即写入到本地文件中）。 未完待续。。。 0 阅读全文
摘要：
scrapy之基础概念与用法 框架 所谓的框架就是一个项目的半成品。也可以说成是一个已经被集成了各种功能（高性能异步下载、队列、分布式、解析、持久化等）的具有很强通用性的项目模板。 安装 Linux: windows: a. 下载安装wheel b. 下载twisted http://www.lfd 阅读全文
摘要：
爬虫之通讯协议 通讯协议 服务器和客户端进行数据交互的形式。 HTTP工作原理 HTTP协议工作于客户端-服务器架构上，浏览器作为HTTP客户端通过URL服务器的web服务器发送所有的请求，web服务器根据接收到的请求后，想客户端发送响应信息。 未完待续。。。 0 阅读全文
摘要：
爬虫 概念 编写程序模拟浏览器上网，让其去互联网上获取数据的过程。 分类 通用爬虫 针对的是一整张页面。搜索引擎。 聚焦爬虫 页面中的局部的内容。 反爬机制 对应的载体是门户网站。 反扒机制手段 robots协议 特点是防君子不防小人。 协议的查看方式为网站的url + robots.txt。 Us 阅读全文