摘要：
当您的代码没有按照预期执行的时候，您是否还在用 console.log 来进行调试？如果是，那这篇文章就是为您准备的。 我写这篇文章的目的是让您了解 Chrome 开发工具提供的高效工具，让您可以更好、更快地调试 Javascript 代码。 本文主要讲述以下几点内容： 设置断点以调试特定行的代码 阅读全文
摘要：
1写在前面的话 咱们直接进入今天的主题 你真的会写爬虫吗？为啥标题是这样，因为我们日常写小爬虫都是一个py文件加上几个请求，但是如果你去写一个正式的项目时，你必须考虑到很多种情况，所以我们需要把这些功能全部模块化，这样也使我们的爬虫更加的健全。 2基础爬虫的架构以及运行流程 首先，给大家来讲讲基础爬 阅读全文
摘要：
我们知道，网站使用 Cookies 来记录用户的登录状态。如果我们从浏览器中把 Cookies 复制下来，放到爬虫中，在某些情况下，就可以让爬虫直接访问到登录后的页面。 以练习页面http://exercise.kingname.info/exercise_login_success为例。在没有登录 阅读全文
摘要：
最近有不少同学在粉丝群里面问，如何调试Scrapy 爬虫。有些人不知道如何让 Scrapy 爬虫进入调试模式；还有一些人不知道怎么单步调试。 怎么进入调试模式 我们知道，Scrapy 项目要启动爬虫的时候，需要在终端或者 CMD 中执行一段命令scrapy crawl 爬虫名。但是，PyCharm 阅读全文
摘要：
如何使用参数给 Scrapy 爬虫增加属性 在Scrapy 项目中，我们有时候需要在启动爬虫的时候，传入一些参数，从而让一份代码执行不同的逻辑。这个时候，有一个非常方便的方法，就是使用-a参数。它的语法为： scrapy crawl 爬虫名 -a 参数1 -a 参数2 -a 参数3 那么，传入的这些 阅读全文