摘要：
多任务场景中，为了节省大量子任务串行执行的耗时，通常采用并发方式充分利用 cpu 和 内存来节省整体任务运行时间。 对于多任务并发，常见的做法自然是抽象出功能函数，借助 multiprocess 类在主进程中并发出多个子进程，或者构建进程池，将任务构造好后丢入进程池中来实现并发。这种方式对于逻辑结构 阅读全文
摘要：
记录下一般的 Python web 项目开发后如何部署到外部服务器上，供用户访问。 1 简要 本质三件事： 租个服务器（含公网 ip）+配置环境电脑 + 公网IP 自己电脑 + 拉专线 代码放在服务器 程序运行起来 2 搞一台云服务器 租一个 linux 系统的云服务器，并获得一个公网 IP，例如直 阅读全文
摘要：
参考： https://blog.csdn.net/qq_38122800/article/details/132663030 https://blog.csdn.net/weixin_42289273/article/details/122912938 https://zhuanlan.zhihu 阅读全文
摘要：
1 基础命令 1 - 新建虚拟环境： conda create -n you_env_name python=3.7 2 - 查看当前有哪些虚拟环境： conda env list 3 - 激活某个虚拟环境： conda.bat activate your_env_name 4 - 在虚拟环境中安装 阅读全文
摘要：
今天在爬取一个反爬措施较严格的网站时，使用 selenium 做自动化登录时，无法定位输入框的问题。 查看网页源代码确实没有登录相关元素的标签，可以判定是采用的动态加载，但是即使使用的动态加载，等待页面渲染完毕之后应该还是能定位的。 看了下渲染完毕之后的网页源码，发现了在当前 html 页面中，又嵌 阅读全文
摘要：
### 1 重构说明 这是项目 [Python 自建 IP 代理池](https://www.cnblogs.com/zishu/p/17316593.html) 的重构版本，学习了 scrapy 框架的使用，并用该框架对之前项目进行了重构，得益于 scrapy 框架本身的优秀设计，之前手撸的小框架 阅读全文
摘要：
一般情况下，每个网页有自己的编码，在使用 requests 请求对应网页时，如果遇到中文编码的问题，大多数情况下直接显式指定 encoding 就可以了，但是今天遇到一个网站，还真是怎么指定都不行：https://www.medchemexpress.cn/ 以下所列的参考文档可能能解决编码问题，所 阅读全文
摘要：
1 define partial() 是被用作“冻结”某些函数的参数或者关键字参数，同时会生成一个带有新标签的对象(即返回一个新的函数)。 2 function 把一个函数的某些参数给固定住（也就是设置默认值），返回一个新的函数。 直观来看有点类似于装饰器函数，但是其作用主要是对参数进行固定，而不是 阅读全文
摘要：
paper：https://arxiv.org/pdf/1611.07004.pdf [CVPR 2017] code： https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix https://phillipi.github.io/pix2pi 阅读全文
摘要：
国内视频地址：https://www.bilibili.com/video/BV17441137fa/?spm_id_from=333.880.my_history.page.click&vd_source=bda72e785d42f592b8a2dc6c2aad2409 1 NLP 基础 1.1 阅读全文