随笔分类 -  python

python脚本划分数据集
摘要：利用python脚本对文件夹中的大量文件划分训练集train、验证集val和测试集test。source_dir为源文件夹，source_dir目录中可以包含不同种类的文件夹。 import os import shutil import random from pathlib import Pat 阅读全文
posted @ 2025-09-23 15:27 Steven0325 阅读(27) 评论(0) 推荐(0)
爬虫基础 - feapder框架
摘要：1. 基本介绍 简介 feapder是一款上手简单，功能强大的Python爬虫框架，内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。 支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。 更有功能强大的爬虫管理系统feaplat为其提 阅读全文
posted @ 2025-07-22 16:58 Steven0325 阅读(195) 评论(0) 推荐(0)
爬虫基础 - scrapy框架
摘要：1. 启动命令和配置 创建scrapy项目的命令: 1. scrapy startproject 项目名称 2. scrapy genspider 爬虫名称 域名(创建爬虫文件之前需要手动进入到这个项目的根目录之下) 启动scrapy项目的命令: scrapy crawl 爬虫名称 如果大家在执行这 阅读全文
posted @ 2025-07-17 16:10 Steven0325 阅读(34) 评论(0) 推荐(0)
爬虫基础 - 并发
摘要：1. 协程的使用 1.1 在协程环境中执行多个任务 import asyncio async def work_1(): for _ in range(5): print('work-1...') """ await: 1.可以获取IO任务执行成功之后的返回值 2.在这个任务执行之前我会堵塞这个程序 阅读全文
posted @ 2025-07-09 17:22 Steven0325 阅读(32) 评论(0) 推荐(0)
永久解决matplotlib中文乱码问题
摘要：永久解决matplotlib中文乱码问题 1. 拷贝Simhei.ttf字体文件至以下目录 /root/software/anaconda3/envs/tensorflow/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf # 根据自 阅读全文
posted @ 2023-12-04 09:55 Steven0325 阅读(278) 评论(0) 推荐(0)
Python多进程实例
摘要：## python多进程实例 #### 废话不多说，直接上代码。 ```python # -*- coding: utf-8 -*- from multiprocessing import Pool from multiprocessing import Process import multipr 阅读全文
posted @ 2023-08-29 15:36 Steven0325 阅读(88) 评论(0) 推荐(0)
利用Anaconda3安装tensorflow/keras和pytorch，并迁移虚拟环境至不能上网的电脑
摘要：利用Anaconda3安装tensorflow/keras和pytorch，并迁移虚拟环境至不能上网的电脑 下面记录下利用Anaconda安装tensorflow和keras，前前后后也踩了不少坑。并分别在windows系统和linux系统下将能上网的电脑下安装的tensorflow虚拟环境迁移至不 阅读全文
posted @ 2023-07-19 13:52 Steven0325 阅读(438) 评论(0) 推荐(0)
利用python的PyPDF2和PyMuPDF库玩转PDF的提取、合并、旋转、缩放、加密
摘要：一、安装PyPDF2和PyMuPDF库 pip install PyPDF2 pip install pymupdf # fitz是pymupdf的子模块 二、工具类代码 from PyPDF2 import PdfFileWriter, PdfFileReader, PdfFileMerger i 阅读全文
posted @ 2022-11-14 11:16 Steven0325 阅读(2601) 评论(0) 推荐(0)
Python数据分析易错知识点归纳（六）：机器学习
摘要：六、机器学习 分类和聚类的区别 分类是有监督学习，聚类是无监督学习 分类算法用于预测新样本，聚类用于理解已知数据 标准化/归一化 type_se_num = type_se[type_se!= 'object'] # 类别列不参与标准化 type_se_num.drop('target', inpl 阅读全文
posted @ 2022-09-05 11:05 Steven0325 阅读(245) 评论(0) 推荐(0)
Python数据分析易错知识点归纳（五）：横向对比
摘要：五、横向对比 排序 # 列表 a.sort() # 修改原列表，返回值为None!!!!!这里很容易出错 sorted(a) # 生成新的列表 # 嵌套列表的排序（若是对字典排序，需先用list()转成列表形式） li = [['A', 90], ['B', 20], ['C', 50]] # 利用 阅读全文
posted @ 2022-09-05 11:01 Steven0325 阅读(224) 评论(0) 推荐(0)
Python数据分析易错知识点归纳（二）：Numpy
摘要：二、numpy 不带括号的基本属性 arr.dtype arr.shape # 返回元组 arr.size arr.ndim # 维度 arr.reshape/arr.resize/np.resize arr.reshape(不同维度size...)有返回值，不会改变原数值；arr.resize(( 阅读全文
posted @ 2022-09-05 10:51 Steven0325 阅读(231) 评论(0) 推荐(0)
Python数据分析易错知识点归纳（一）：基础知识
摘要：一、python基础 字符串replace方法 txt = txt.replace(s, ' ') # 光是txt.replace(s, ' ')是不会对txt产生影响的 # 下面每次循环replace后，w的值是不改变的 w = 'China520' for x in w: if '0' <= x 阅读全文
posted @ 2022-09-05 10:50 Steven0325 阅读(234) 评论(0) 推荐(0)