摘要: 分布式爬虫系统 简单的分布式爬虫 分布式爬虫的作用:1.解决目标地址对IP访问频率的限制 2.利用更高的宽带,提高下载速度 3.大规模系统的分布式存储和备份 4.数据的扩展能力 将多进程爬虫部署到多台主机上 将数据库地址配置到统一的服务器上 将数据库设置仅允许特定IP来源的访问请求 设置防护墙,允许 阅读全文
posted @ 2019-03-14 16:46 jacky912 阅读(709) 评论(0) 推荐(0) 编辑
摘要: 分布式系统(Distributed System) A program(程序) is the code you write # code,代码 A process is what you get when you run it A message(消息) is used to communicate 阅读全文
posted @ 2019-03-14 16:27 jacky912 阅读(240) 评论(0) 推荐(0) 编辑
摘要: having 添加having语句(就像where指定条件一样,给每个组指定筛选条件一样,必须跟在group by后面) 以“dept_id”为分类标志统计各单位的职工人数和工资平均数且工资平均数大于4000。 select dept_id,avg(sal) from employee group 阅读全文
posted @ 2019-03-14 09:56 jacky912 阅读(95) 评论(0) 推荐(0) 编辑