摘要: 大部分爬虫框架都是 定个宏伟目标 python基础 知识储备 辅助工具 各种模块 反爬虫策略 数据库 数据分析 进阶技术 Scrapy + MongoDB + Redis 分布式爬虫系统 a). Redis 用来存储要爬取的网页队列,也就是任务队列 b). MongoDB 用来存储爬取的内容结果。 阅读全文
posted @ 2019-08-12 13:45 水墨黑 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 以解决问题为导向的python编程实践 0.第0章:计算机科学 思考:计算机科学是否为计算机编程的简称? 编程的困难点:1.同时做2件事(编程语言的语法、语义+利用其解决问题) 2.什么是好程序(解决问题+普遍适用+优美如诗) python的出发点:使得程序猿的效率更高 什么是计算?计算是人类或机器 阅读全文
posted @ 2019-08-12 12:56 水墨黑 阅读(335) 评论(0) 推荐(0) 编辑