摘要: WSGI,uwsgi,uWSGI梳理 由于项目用的是uWSGI部署,想要了解uWSGI的工作流程,理清其在整个项目中的角色定位。在看了很多所谓技术文章之后脑子越发混沌,但最终在uWSGI的文档中找到了我所需的所有答案。 uWSGI的中文文档的翻译虽然很欢乐,但还是免不了浓重的翻译腔,英文文档的表达更 阅读全文
posted @ 2022-02-19 01:05 lymmurrain 阅读(256) 评论(0) 推荐(0) 编辑
摘要: scrapy的Pipeline类不可使用yield 业务需求在scarpy的pipeline中处理过数据后再生成新的Request。但如果直接再Pipeline类的process_item方法中yield Request,会导致爬虫执行直接跳过该Pipeline,连个报错都看不到。 排查发现是yie 阅读全文
posted @ 2022-01-22 23:23 lymmurrain 阅读(83) 评论(0) 推荐(0) 编辑
摘要: mongo的$push与$setOnInsert冲突解决 业务需求 update时集合中若不存在则插入文档,若存在则将该文档的一个数组字段添加一个元素。 示例 # 集合中一开始不存在name为1的文档,插入该文档 doc = {'name':1,'year':[2000]} # 现在集合中有name 阅读全文
posted @ 2022-01-12 23:57 lymmurrain 阅读(253) 评论(0) 推荐(0) 编辑
摘要: scrapy的cookie管理 单个请求的cookie管理 1.设置headers 需要把settings.py的COOKIES_ENABLED设置为false COOKIES_ENABLED = False 示例 def start_requests(self): headers = { "coo 阅读全文
posted @ 2022-01-12 01:18 lymmurrain 阅读(468) 评论(0) 推荐(0) 编辑
摘要: 课程交流网站项目架构 课程交流网站项目最终赶在3月初部署成功。 其功能主要提供一个平台交流,分享课程评价及学习资料。 附有自用开发的智慧树刷课,网课答题助手,百度文库文本提取,漫画模块,都可免费使用。 如果你是暨大的,甚至还有抢课助手自动抢课。 网址课程交流网站 基础设施 所含基础设施: 腾讯云香港 阅读全文
posted @ 2021-03-09 19:54 lymmurrain 阅读(76) 评论(0) 推荐(0) 编辑
摘要: docker容器中启动uwsgi秒退 docker容器中启动uwsgi秒退,若用docker logs 容器 只有 [uWSGI] getting INI configuration from uwsgi.ini,无其他错误信息。那么就是 uwsgi.ini里用了daemonize 参数。该参数会使 阅读全文
posted @ 2021-03-02 01:41 lymmurrain 阅读(725) 评论(1) 推荐(0) 编辑
摘要: mongo中update_one与find_one_update异同 在使用mongo时,想要更新一个文档的数据时,有update_one与find_one_update两种方法可供使用。 共同点 两个方法的传入参数都差不多,主要参数都是filter,update,upsert。两个方法都是用于更新 阅读全文
posted @ 2021-02-17 17:23 lymmurrain 阅读(1473) 评论(0) 推荐(0) 编辑
摘要: 概述 对于简单的富文本编辑器,使用ckeditor的即用型编辑器构建(名字中带有build的,如ckeditor5-build-classic)是个很好的选择,简单易用。但只能包含一些基础的功能。很多实用的功能如自动保存,自定义图片上传是无法使用的。 使用源代码集成CKEditor使您可以使用CKE 阅读全文
posted @ 2021-01-16 23:10 lymmurrain 阅读(784) 评论(0) 推荐(0) 编辑
摘要: Vue的index.html与其他静态文件分离部署 概述 需求 开发类似论坛的网站,由于域名备案政策,作为个人开发者很难备案成功,当然因为懒也没去尝试过。所以部署web的服务器只能选择香港的。但又因为穷,只能买最低配的1G1核,1M宽带的服务器。就这配置SSH连上去都费劲,还经常会丢包,那就更别说处 阅读全文
posted @ 2020-12-29 23:11 lymmurrain 阅读(789) 评论(0) 推荐(0) 编辑
摘要: scrapy-redis分布式爬虫使用及docker swarm集群部署 成果 实现了用docker swarm 集群部署scrapy-redis分布式漫画爬虫,数据统一存储至mongo。 概述 本文大致分为两部分 scrapy-redis分布式爬虫使用流程 使用docker部署分布式爬虫 部署流程 阅读全文
posted @ 2020-12-07 00:13 lymmurrain 阅读(568) 评论(0) 推荐(0) 编辑