01 2019 档案

scrapy项目renrencookie
摘要：settings 项目地址：https://github.com/CH-chen/renrencookie 阅读全文
posted @ 2019-01-29 06:28 CHVV 阅读(209) 评论(0) 推荐(0)
scrapy项目suningbook
摘要：pipelines.py settings 项目地址：https://github.com/CH-chen/suningbook 阅读全文
posted @ 2019-01-29 06:24 CHVV 阅读(225) 评论(0) 推荐(0)
scrapy项目4
摘要：pipelines.py settings 项目地址：https://github.com/CH-chen/sun0769 阅读全文
posted @ 2019-01-29 06:16 CHVV 阅读(241) 评论(0) 推荐(0)
scrapy项目3
摘要：pipelines.py items,py settings.py 项目地址：https://github.com/CH-chen/tencent 阅读全文
posted @ 2019-01-29 06:06 CHVV 阅读(239) 评论(0) 推荐(0)
scrapy项目2
摘要：pipelines.py settings.py 注意点 阅读全文
posted @ 2019-01-29 05:57 CHVV 阅读(220) 评论(0) 推荐(0)
scrapy项目1
摘要：pipelines.py settings.py 阅读全文
posted @ 2019-01-29 05:49 CHVV 阅读(232) 评论(0) 推荐(0)
scrapy流程
摘要：scrapy 命令： scrapy startproject xx(爬虫目录) 创建爬虫目录 cd xx 进入目录 scrapy genspilder chouti(爬虫名称) chouti.com(起始url) 然后编写 启动爬虫项目： scrapy crawl chouti(爬虫名称) --nolog(不看默认日志) # n... 阅读全文
posted @ 2019-01-29 05:42 CHVV 阅读(175) 评论(0) 推荐(0)
FastDFS分布式存储
摘要：FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS 架构包括 Tracker s 阅读全文
posted @ 2019-01-22 00:17 CHVV 阅读(753) 评论(0) 推荐(0)
celery使用发送邮件激活
摘要：Celery是一个功能完备即插即用的任务队列。它使得我们不需要考虑复杂的问题，使用非常简单。celery看起来似乎很庞大，本章节我们先对其进行简单的了解，然后再去学习其他一些高级特性。 celery适用异步处理问题，当发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作，我们可将其异步执行，这样 阅读全文
posted @ 2019-01-21 23:45 CHVV 阅读(679) 评论(1) 推荐(0)
xpath使用
摘要：//a[@class="n"]/@href 获取下一页网址//a[text()="下一页>"] 根据文本定位 //div[@class="indent"]/div/table 获取所有table,一级一级选//div[@class="indent"]//table 获取所有table//div[@c 阅读全文
posted @ 2019-01-21 14:25 CHVV 阅读(366) 评论(0) 推荐(0)