这25个Pandas高频实用技巧，不得不服！ 转载
摘要：今天给大家准备了25个pandas高频实用技巧，让你数据处理速度直接起飞。文章较长，建议收藏！ 首先我们需要先提前下载好示例数据集： drinksbycountry.csv : http://bit.ly/drinksbycountry imdbratings.csv : http://bit.ly
阅读全文
posted @ 2023-06-27 08:58
随笔分类 - python
100 个 pandas 数据分析函数总结 转载
摘要：经过一段时间的整理，本期将分享我认为比较常规的100个实用函数，这些函数大致可以分为六类，分别是统计汇总函数、数据清洗函数、数据筛选、绘图与元素级运算函数、时间序列函数和其他函数。一、统计汇总函数数据分析过程中，必然要做一些数据的统计汇总工作，那么对于这一块的数据运算有哪些可用的函数可以帮助到我们呢
阅读全文
posted @ 2023-06-27 08:51
20 个短小精悍的 pandas 骚操作 转载
摘要：1. ExcelWriter 很多时候dataframe里面有中文，如果直接输出到csv里，中文将显示乱码。而Excel就不一样了，ExcelWriter是pandas的一个类，可以使dataframe数据框直接输出到excel文件，并可以指定sheets名称。 df1 = pd.DataFrame
阅读全文
posted @ 2023-06-27 08:50
Pandas50个高级操作， 转载
摘要：转自：机器学习杂货店 在数据分析和数据建模的过程中需要对数据进行清洗和整理等工作，有时需要对数据增删字段。下面为大家介绍Pandas对数据的复杂查询、数据类型转换、数据排序、数据的修改、数据迭代以及函数的使用。 01、复杂查询 实际业务需求往往需要按照一定的条件甚至复杂的组合条件来查询数据,接下来为
阅读全文
posted @ 2023-04-12 13:19
这20个Pandas函数可以完成80%的数据分析工作 转载 分块
摘要：分块去取大文件 def read_by_df2(): fpath = '/mnt/GSM5066105_count.csv' df = pd.read_csv(fpath, chunksize=3) for data_chunk in df: print(data_chunk) print(data
阅读全文
posted @ 2023-02-09 09:45
python 使用函数名的字符串调用函数(4种方法)
摘要：先看一个例子： >>> def foo(): print "foo" >>> def bar(): print "bar" >>> func_list = ["foo","bar"]>>> for func in func_list: func()TypeError: 'str' object is
阅读全文
posted @ 2023-01-10 17:59
可在浏览器端运行的Python
摘要：转载自 涛哥聊Python 半年前，知名 Python 发行版 Anaconda 开发商推出了 PyScript —— 一款支持在浏览器中创建 Python 应用程序的框架。PyScript 基于 Pyodide 构建，Pyodide 由编译成 WebAssembly 的 CPython 3.8 解
阅读全文
posted @ 2022-11-15 18:09
Python.h：No such file or directory
摘要：通过安装python3-devel解决： dnf install -y python3-devel
阅读全文
posted @ 2022-10-14 11:38
利用Python开发手机App实战
摘要：转载自：志斌的python笔记 大家好！我是志斌。 Python语言虽然很万能，但用它来开发app还是显得有点不对路，因此用Python开发的app应当是作为编码练习、或者自娱自乐所用，加上目前这方面的模块还不是特别成熟，bug比较多，总而言之，劝君莫轻入。准备工作利用Python开发app需要用到
阅读全文
posted @ 2022-09-20 09:24
tornado
摘要：参考资料：http://demo.pythoner.com/itt2zh/ch1.html#ch1-1 官网：https://www.tornadoweb.org/en/stable/ 协成库：https://github.com/tornadoweb/tornado/wiki/Links
阅读全文
posted @ 2022-08-27 10:03
3个Pandas高频使用函数
摘要：转载：https://mp.weixin.qq.com/s/6FECFHIkyItYnmQ37Vn_SQ 大家好，我是Peter~ 本文主要是给大家介绍3个Pandas日常高频使用函数：apply + agg + transform。 模拟数据 模拟了一份简单的数据 In [1]: import p
阅读全文
posted @ 2022-08-27 09:19
Python 下载大文件，哪种方式速度更快
摘要：转载：Python 下载大文件，哪种方式速度更快 (qq.com) 方法一 使用以下流式代码，无论下载文件的大小如何，Python 内存占用都不会增加： def download_file(url): local_filename = url.split('/')[-1] # 注意传入参数 stre
阅读全文
posted @ 2022-08-27 09:11
速度起飞！替代 pandas 的 8 个神库
摘要：转载：速度起飞！替代 pandas 的 8 个神库 (qq.com) 本篇介绍 8 个可以替代pandas的库，在加速技巧之上，再次打开速度瓶颈，大大提升数据处理的效率。 1. Dask Dask在大于内存的数据集上提供多核和分布式并行执行。 在Dask中，一个DataFrame是一个大型且并行的D
阅读全文
posted @ 2022-08-02 14:02
一文讲述Pandas库的数据读取、数据获取、数据拼接、数据写出！
摘要：转载：一文讲述Pandas库的数据读取、数据获取、数据拼接、数据写出！ (qq.com) 1. pandas介绍 Pandas是一个强大的数据分析库，它的Series和DataFrame数据结构，使得处理起二维表格数据变得非常简单。基于后面需要对Excel表格数据进行处理，有时候使用Pandas库处
阅读全文
posted @ 2022-08-01 14:52
nginx 文件上传报错
摘要：转载：一文解决 nginx + ingress + gunicorn 上传大文件报错的解决思路 (qq.com) 在基于 Kubernetes 部署，使用 Gunicorn 运行的 Python Web 应用中，上传大文件时出现了一系列的错误，现在将解决问题的思路记录如下。 文件上传过程 上传文件流
阅读全文
posted @ 2022-07-22 18:29
CORS（跨域资源共享）
摘要：CORS 或者「跨域资源共享」 指浏览器中运行的前端拥有与后端通信的 JavaScript 代码，而后端处于与前端不同的「源」的情况。 源¶ 源是协议（http，https）、域（myapp.com，localhost，localhost.tiangolo.com）以及端口（80、443、8080）
阅读全文
posted @ 2022-07-19 18:43
循环依赖
摘要：Python 模块是可以循环依赖的，但是必须避免循环实例化。 问题： Traceback (most recent call last): File "/export/BioToolWeb/main.py", line 10, in <module> from modules.tool import
阅读全文
posted @ 2022-07-08 18:02
fastapi 学习笔记
摘要：官网：https://fastapi.tiangolo.com/zh/ 在fastapi搭建的web应用中对外发起http请求：from httpx import AsyncClient 详见：https://fastapi.tiangolo.com/zh/advanced/async-tests/
阅读全文
posted @ 2022-07-02 18:49
转载 生产消费者模型中task_done()具体作用
摘要：直奔主题tase_done()的作用：只有消费者把队列所有的数据处理完毕，queue.join()才会停止阻塞 代码解释#关于tase_done()的作用：只有消费者把队列所有的数据处理完毕，queue.join()才会停止阻塞import timefrom queue import Queuefr
阅读全文
posted @ 2022-06-25 09:39
