随笔分类 - Python开发
通过Python完成数据的读取、处理、清洗、写入等操作
摘要:基础部分 1.列出 5 个常用 Python 标准库? os:提供了不少与操作系统相关联的函数 sys: 通常用于命令行参数 re: 正则匹配 math: 数学运算 datetime: 处理日期时间 2.Python 内建数据类型有哪些? int、bool、 str、 list、 tuple、 di
阅读全文
摘要:Python 作为一种功能强大的编程语言,拥有丰富的第三方库,这些库为开发者提供了极大的便利。以下是一些广泛使用的 Python 库,涵盖了从数据科学、机器学习到网络爬虫等多个领域: 1.数值计算与科学计算 NumPy:用于科学计算的基础包,提供了高性能的多维数组对象和用于数组操作的工具。 SciP
阅读全文
摘要:实现功能:通过openpyxl读取Excel,并将数据写入MySQL表中。 说明: Excel中首行必须为表中的字段名称。因为向MySQL插入数据使用的是Insert 语句,插入的字段就是读取第一行的数据。 Python代码: import pymysql from openpyxl import
阅读全文
摘要:Openpyxl介绍 在数据处理和分析的过程中,Excel文件由于其直观的表格形式以及易操作的特点,被广泛应用于各个行业和领域。而Python作为一种强大的编程语言,自然也提供了多种处理Excel文件的库。其中,openpyxl库就是专门用于读写.xlsx文件的Python库。本文将详细介绍如何使用
阅读全文
摘要:实现功能: Pandas读取Excel中数据写入MySQL的表中。 MySQL表结构: CREATE TABLE `test_excel_to_mysql` ( `ast_id` varchar(100) DEFAULT NULL , `equip_name` varchar(100) DEFAUL
阅读全文
摘要:背景 在数据中台中,有时为了核对数据,需要每天批量统计MySQL数据库中表的数据量,但是DMS中没有周期调度功能。 MySQL创建表 --统计的表清单 CREATE TABLE `dws_table_list` ( `table_name` varchar(255) DEFAULT NULL, `f
阅读全文
摘要:前言 在Python编程中,我们经常需要在循环遍历一个序列时同时获取元素的索引和值。为了实现这一需求,Python提供了一个内置的enumerate函数,它能够方便地为我们提供序列中每个元素的索引和值。 enumerate()函数将一个可遍历iterable数据对象(如list列表、tuple元组、
阅读全文
摘要:在Python中,异常信息默认是打印到终端的,而终端显示的文字颜色通常由终端或者是使用的shell决定。如果你想要在try-except块中捕获到异常时,让异常信息以黄色文本的方式显示,你可以使用一些终端控制码(ANSI escape codes)来改变文本颜色。 以下是一个简单的示例,展示了如何在
阅读全文
摘要:1、手动进行字符串格式化 # 坏习惯 name = "Alice" greeting = "Hello, " + name + "!" # 好习惯 name = "Alice" greeting = f"Hello, {name}!" 理由:使用+进行字符串拼接会导致代码可读性差,而且在复杂情况下容
阅读全文
摘要:1.概述 在Python中,我们可以使用split()函数来按照指定的分隔符对字符串进行分割。默认情况下,split()函数以空格作为分隔符,将字符串分割成一个列表。然而,如果字符串中有多个连续的空格,split()函数会将它们都当作分隔符,导致分割后的列表中会有空白项。本文将教会你如何按照空格分割
阅读全文
摘要:python-docx官网文档:https://github.com/python-openxml/python-docx
阅读全文
摘要:1. 线程池 为什么要使用线程池? 1)、多线程中, 线程的数量并非越多越好; 不是线程数量越多,程序的执行效率就越快。线程也是一个对象,是需要占用资源的,线程数量过多的话肯定会消耗过多的资源,同时线程间的上下文切换也是一笔不小的开销,所以有时候开辟过多的线程不但不会提高程序的执行效率,反而会适得其
阅读全文
摘要:执行MySQL的SQL语句报错后,如何自动重试? 方法一:使用重试模块:tenacity import pymysql from tenacity import retry, stop_after_attempt, wait_fixed @retry(stop=stop_after_attempt(
阅读全文
摘要:1.简介 在实际应用中,经常会碰到在web请求时,因为网络的不稳定,会有请求超时的问题,这时候,一般都是自己去实现重试请求的逻辑,直到得到响应或者超时。虽然这样的逻辑并不复杂,但是代码写起来却不那么优雅,不那么pythonic。 tenacity是一个重试库,使用python语言编写,它能够让我们在
阅读全文
摘要:(一)、作用 1. 单引号:单引号内部为一串字符(str)。 2. 双引号:双引号内部为一串字符,双引号内的字符串可以出现单引号(相当于双引号优先级更高),但不能嵌套双引号。 3. 三引号:用于换行输出,且缩进会被打印出来。(三引号还可以用来进行块注释)。 (二)、共同点 python中变量赋值字符
阅读全文
摘要:1. 前言 python中的集合和数学里的类似也是用于存放不重复的元素,它有可变集合(set)和不可变集合(feozenset)两种,集合的所有元素都放在一对大括号"{}"里(列表是[]、元组是()、字典是{}),集合最好的应用就是去重,因为集合中的每一个元素都是唯一的。 2. 集合的创建 2.1.
阅读全文
摘要:前言.字典的介绍 字典是另一种可变容器模型,且可存储任意类型对象。 字典的每个键值 key=>value 对用冒号 : 分割,每个对之间用逗号(,)分割,整个字典包括在花括号 {} 中 。 格式如下所示:d = {key1 : value1, key2 : value2, key3 : value3
阅读全文
摘要:一、字符串的format方法有几种指定参数的方式:(1)按照位置传参(默认方式),传入的参数与{}一一对应(2)关键字传参,关键字(keyword)传递是根据每个参数的名字传递参数。关键字并不用遵守位置的对应关系。(3)位置传参与关键字传参混合使用。 二、详细描述字符串的format方法如何格式化字
阅读全文
摘要:1.tuple类型数据的获取 大家都知道,元组里面的数据获取只能通过下标的方式去获取,比如 :a = ('username', 'age', 'phone'),要获取username的话 ,就需要用a[0]的方式去获取,当元组中数据比较多的时候,用下标的方式获取数据就容易写错索引值。在这些场景下,用
阅读全文
摘要:方法一:不传递参数 ## 方式一、不传递参数 id = "01" name = "语文" sql = "select * from course where course_id = '%s' and course_name = '%s' ;" %(id,name) ## 执行数据库查询或命令 cur
阅读全文