摘要： 前一阵子我们介绍了如何启动Scrapy项目以及关于Scrapy爬虫的一些小技巧介绍，没来得及上车的小伙伴可以戳这些文章： 手把手教你如何新建scrapy爬虫框架的第一个项目（上） 手把手教你如何新建scrapy爬虫框架的第一个项目（下） 关于Scrapy爬虫项目运行和调试的小技巧（上篇） 关于Scr 阅读全文

摘要： 前天在微信上遇到一个小伙伴问我一个关于Sublime text配置Python解释器的问题，可能是初学者，对这方面还不是很懂，想使用快捷键但是徒劳一场，因为缺少Python解释器，直接按下快捷键Ctrl+B是不会得到想要的结果的。 鉴于此，如果有小伙伴想使用Sublime跑Python程序的话，那么 阅读全文

摘要： 之前在做项目的时候主机IP地址、网关、DNS、子网掩码等都是公司或者对方直接给提供的，但是如果我们自己想搭建一台虚拟机或者一台集群的话，手头又没有IP地址，该肿么办呢？ 白慌，这里介绍一个小技巧，亲测是好使的，给大家分享一下。 首先，保证你的虚拟机或者服务器安装好了系统，这里以CentOS6.7版本 阅读全文

摘要： 前几天给大家分享了关于Scrapy爬虫项目运行和调试的小技巧上篇，没来得及上车的小伙伴可以戳超链接看一下。今天小编继续沿着上篇的思路往下延伸，给大家分享更为实用的Scrapy项目调试技巧。 三、设置网站robots.txt规则为False 一般的，我们在运用Scrapy框架抓取数据之前，需要提前到s 阅读全文

摘要： 扫除运行Scrapy爬虫程序的bug之后，现在便可以开始进行编写爬虫逻辑了。在正式开始爬虫编写之前，在这里介绍四种小技巧，可以方便我们操纵和调试爬虫。 一、建立main.py文件，直接在Pycharm下进行调试 很多时候我们在使用Scrapy爬虫框架的时候，如果想运行Scrapy爬虫项目的话，一般都 阅读全文

摘要： 前天在悟空问答的时候，很荣幸被邀请参加回答“在手机上可以用来学习编程的软件有哪些？”这个问题，当时在回答的首页看到一个头条大微（小小猿爱嘻嘻）的回答，觉得十分受用，在此将其整理好，发布头条给大家学习，希望对大家学习编程有帮助。感谢大佬提供的解答，原文可以点击拓展链接进行查看。 学习编程的软件其实挺多 阅读全文

摘要： 相信很多小伙伴已经听说过Xpath，之前小编也写过一篇关于Xpath的文章，感兴趣的小伙伴可以戳这篇文章如何利用Xpath抓取京东网商品信息以及Python网络爬虫四大选择器（正则表达式、BS4、Xpath、CSS）总结。今天小编继续给大家介绍一些Xpath知识点，希望对大家的学习有帮助。 1、Xp 阅读全文

摘要： 有小伙伴在群里边反映说在使用Scrapy的时候，发现创建项目一切顺利，但是在执行Scrapy爬虫程序的时候却出现下列报错：“No module named win32api”，如下图所示，但是不知道怎么破，今天就这个问题讲解一下解决方案。 出现这个报错是因为在Windows下我们缺少一个包，叫pyp 阅读全文

摘要： 前几天小编带大家学会了如何在Scrapy框架下创建属于自己的第一个爬虫项目（上），今天我们进一步深入的了解Scrapy爬虫项目创建，这里以伯乐在线网站的所有文章页为例进行说明。 在我们创建好Scrapy爬虫项目之后，会得到上图中的提示，大意是让我们直接根据模板进行创建Scrapy项目。根据提示，我们 阅读全文

摘要： 前几天给大家分享了如何在Windows下创建网络爬虫虚拟环境及如何安装Scrapy，还有Scrapy安装过程中常见的问题总结及其对应的解决方法，感兴趣的小伙伴可以戳链接进去查看。关于Scrapy的介绍，之前也在文章中提及过，今天小编带大家进入Scrapy爬虫框架，创建Scrapy爬虫框架的第一个项目 阅读全文