不知道的痛

摘要： 学习了几天如何使用scrapy去爬取静态网站，今天尝试去爬取动态加载的网站。选取的网站是 "华尔街见闻" ，文中不会像往常一样大篇幅讲解每一步该如何做，而是探讨如何爬取。 在源代码中无法获得全部数据（有的根本没数据），但是通过下拉滑条可以看到网址不变但有数据加载出来，毫无疑问这就是动态加载的网页。以 阅读全文