随笔分类 - python
摘要：多任务场景中，为了节省大量子任务串行执行的耗时，通常采用并发方式充分利用 cpu 和 内存来节省整体任务运行时间。 对于多任务并发，常见的做法自然是抽象出功能函数，借助 multiprocess 类在主进程中并发出多个子进程，或者构建进程池，将任务构造好后丢入进程池中来实现并发。这种方式对于逻辑结构
阅读全文
摘要：记录下一般的 Python web 项目开发后如何部署到外部服务器上，供用户访问。 1 简要 本质三件事： 租个服务器（含公网 ip）+配置环境电脑 + 公网IP 自己电脑 + 拉专线 代码放在服务器 程序运行起来 2 搞一台云服务器 租一个 linux 系统的云服务器，并获得一个公网 IP，例如直
阅读全文
摘要：参考： https://blog.csdn.net/qq_38122800/article/details/132663030 https://blog.csdn.net/weixin_42289273/article/details/122912938 https://zhuanlan.zhihu
阅读全文
摘要：1 基础命令 1 - 新建虚拟环境： conda create -n you_env_name python=3.7 2 - 查看当前有哪些虚拟环境： conda env list 3 - 激活某个虚拟环境： conda.bat activate your_env_name 4 - 在虚拟环境中安装
阅读全文
摘要：今天在爬取一个反爬措施较严格的网站时，使用 selenium 做自动化登录时，无法定位输入框的问题。 查看网页源代码确实没有登录相关元素的标签，可以判定是采用的动态加载，但是即使使用的动态加载，等待页面渲染完毕之后应该还是能定位的。 看了下渲染完毕之后的网页源码，发现了在当前 html 页面中，又嵌
阅读全文
摘要：### 1 重构说明 这是项目 [Python 自建 IP 代理池](https://www.cnblogs.com/zishu/p/17316593.html) 的重构版本，学习了 scrapy 框架的使用，并用该框架对之前项目进行了重构，得益于 scrapy 框架本身的优秀设计，之前手撸的小框架
阅读全文
摘要：paper：https://arxiv.org/pdf/1611.07004.pdf [CVPR 2017] code： https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix https://phillipi.github.io/pix2pi
阅读全文
摘要：国内视频地址：https://www.bilibili.com/video/BV17441137fa/?spm_id_from=333.880.my_history.page.click&vd_source=bda72e785d42f592b8a2dc6c2aad2409 1 NLP 基础 1.1
阅读全文
摘要：> 文章有点儿长，谨慎食用~ python 爬虫在爬取网页内容时，遭遇的最常见的反爬措施就是 ip 限制/封禁，对此最常见的解决方式就是设置 IP 代理池，每次请求时随机使用一个代理 IP 去访问资源。 网上有成熟的代理服务，但是小伙汁的爬虫需求多是非定期的自定义项目，使用付费代理并不划算，遂有了爬
阅读全文
摘要：背景：串行执行慢，考虑使用多进程来加速。 1 多进程 这块可以参考：https://blog.csdn.net/Hao_ge_666/article/details/120571731 2 多线程 这块可以参考：https://blog.csdn.net/Hao_ge_666/article/det
阅读全文
摘要：当我们希望在 python 项目文件中添加作者/项目信息说明时，可以借助 pycharm 自动的配置代码模版的方式来实现。 1 进入 setting 2 配置信息模版 将下面的模版代码填入即可 # _*_ coding : utf-8 _*_ # @Time : {TIME} #
阅读全文
摘要：针对视觉任务中的数据准备进行记录： 1.从视频中获取图片数据 首先从视频中剪辑出指定长度（2-3s）的有效片段，直接使用剪辑工具即可（推荐 快剪辑） 将视频片段拆分成帧图片。 首先右键查看视频片段的 属性，然后转 详细信息 查看 帧速率，此速率即为后期生成图片的一个重要参数。 可使用工具 ffmpe
阅读全文
摘要：1. 在用python处理图像数字矩阵时，若对矩阵进行了加减乘除等运算，可能会造成矩阵元素值溢出，然后某些元素值可能都被赋为255；之后若重新显示图像，可能会没有什么变化，此时，可以将运算后的矩阵值转换为int，再返回。2. 还要注意，读取图像然后转为 numpy 数组，此时的数组是 int 矩阵，
阅读全文
摘要：这里以一个很简单的小爬虫为例，爬取 壹心理 网站的阅读页面第一页的所有文章及其对应的图片，文章页面如下: 创建项目 首先新建一个 scrapy 项目，安装好相关依赖（步骤可参考：scrapy 安装及新建爬虫项目并运行）。 新建一个爬虫： 此时项目工程目录与新建的爬虫如下： 爬取信息并编写图片自动下载
阅读全文
摘要：> 参考：https://www.cnblogs.com/hy123456/p/9847570.html 在 pycharm 中并没有创建 scrapy 工程的选项，需要手动创建。 这里就有两种创建 scrapy 项目的方式，第一种是先手工创建 scrapy 项目，然后导入到 pycharm 中；第
阅读全文
摘要：ubuntu 中打开命令行，执行如下指令 进入配置文件后在文件末尾加上： 保存退出，再使用下面命令使刚才修改的配置有效 当然有关该问题的解决方法不止这一种，但是上述方法还是很方便的一种。 此方法从视频（人工智能实践：Tensorflow笔记）之中总结。
阅读全文
摘要：flask 若想将不同的路由写在不同的文件中（如将 user 对象的相关接口写在一个文件中，将 customer 对象的相关接口写在另一个文件中），可以使用蓝图来实现。 有关蓝图的定义：A Blueprint is a way to organize a group of related views
阅读全文
摘要：错误详情（错误详情如标题，图是网上找的）： 解决方法： 在项目目录下 settings.py 的同级目录中的 __init__.py 中加入如下代码： 参考：python 报错 ModuleNotFoundError: No module named 'MySQLdb'
阅读全文
摘要：在开发 Python 应用程序的时候，每个项目所需要的python版本和各种包依赖都可能不完全一样，我们当然希望当前运行环境只包含对当前项目有用的包依赖，以保证运行环境的干净。virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。 首先，我们用pip安装virtualenv：
阅读全文
