python中csv文件操作总结

目录

• 1、csv文件简介
• 2、读取CSV文件
• 3、写入CSV文件
• 4、使用pandas读入csv文件
•  5、处理csv文件中的缺失值和特殊字符

 

---

回到顶部

1、csv文件简介

CSV文件是一种常见的文本文件格式，全称为Comma-Separated Values（逗号分隔值）。
它被广泛用于存储表格数据，如电子表格和数据库中的数据。

CSV文件的结构非常简单，每行表示数据中的一行，每个字段之间使用特定的分隔符（通常是逗号）进行分隔。

每行的字段数量应相同，以便正确解析数据。通常，第一行是字段名，用于标识每个字段的含义。

以下是一个示例CSV文件(data.csv，下文会用到)的内容：

Name,Age,Email
John,25,john@example.com
Emma,32,emma@example.com

在上面的示例中，第一行指定了三个字段的名称：Name、Age和Email。接下来的两行分别是具体的数据行，每个字段由逗号进行分隔。

CSV文件的优点是它的简单性和易读性。它可以被多个应用程序和编程语言轻松解析和处理。Python提供了许多库（如csv模块）来读取和写入CSV文件，能够轻松地处理和操作其中的数据。

回到顶部

2、读取CSV文件

import csv

with open('data.csv', 'r') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)
        
"""终端输出结果：
['Name', 'Age', 'Email']
['John', '25', 'john@example.com']
['Emma', '32', 'emma@example.com']
"""

上述代码将打开名为"data.csv"的CSV文件，并使用csv.reader函数创建一个阅读器对象。然后，通过循环迭代阅读器对象，逐行读取CSV文件的内容并进行处理。

如果CSV文件的第一行是标题行，可以使用next()函数跳过标题行，然后处理数据行：

import csv

with open('data.csv', 'r') as file:
    reader = csv.reader(file)
    headers = next(reader)  # 跳过标题行
    print(f"headers:{headers}\n--------------------------------")
    for row in reader:
        print(row)
        
"""终端输出结果：
headers:['Name', 'Age', 'Email']
--------------------------------
['John', '25', 'john@example.com']
['Emma', '32', 'emma@example.com']
"""

回到顶部

3、写入CSV文件

import csv

data2 = [
    ['Name', 'Age', 'Email'],
    ['Jobs', '20', 'jobs@example.com'],
    ['cook', '35', 'cook@example.com']
]

with open('data2.csv', 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerows(data2)

上述代码将创建一个名为"data2.csv"的CSV文件，并使用csv.writer函数创建一个写入器对象。

然后，使用writerows()方法将数据写入CSV文件。

注意，在打开文件时，我们将newline=''传递给open()函数，这是为了避免在Windows系统上出现额外的空行。

回到顶部

4、使用pandas读入csv文件

import pandas as pd

读取csv文件数据

读取train.csv数据：

train_df = pd.read_csv(r'C:\Users\86177\Desktop\experiment\train.csv')

查看数据信息

 print(train_df)

 

查看前五个数据

print(train_df.head())

 

查看是否有空值

train_df.isnull( ).any( 

回到顶部

 5、处理csv文件中的缺失值和特殊字符

当读取csv文件时，我们有时会遇到一些缺失值或者特殊字符。为了防止出现数据错误，我们需要对这些问题进行处理。

1、处理缺失值：

在csv文件中，缺失值通常用NaN或者空格表示。在Python中，我们可以使用Pandas库的read_csv()函数读取csv文件，并使用dropna()函数删除含有缺失值的行：

import pandas as pd

df = pd.read_csv('example.csv')
df.dropna(inplace=True)

2、处理特殊字符：

在csv文件中，有些特殊字符可能会打乱数据结构，影响后续的数据处理和分析。在Python中，我们可以使用csv模块的quotechar和quoting参数来处理特殊字符。

import csv

with open('example.csv', 'r') as csvfile:
    reader = csv.reader(csvfile, delimiter=',', quotechar='"', quoting=csv.QUOTE_MINIMAL)
    for row in reader:
        print(row)

上述代码中，我们使用quotechar='"'指定了csv文件中的引号符为双引号，使用quoting参数指定了csv.QUOTE_MINIMAL，表示尽可能保留原有数据结构。