python的一些常用简易技术（一）

一、python的一些数据结构

0、字符串：python 字符串是不可变的，意味着一旦字符串被创建，其内容就不能被改变。但Python 中的字符串变量的存在，是因为字符串变量实际上是指向字符串对象的引用，而不是字符串本身。

# 字符串的不可变性质
s = "hello"
s[0] = "H"  # 这会引发 TypeError，因为字符串是不可变的

# 变量的引用
s = "hello"
print(s)  # 输出: hello
# 重新分配变量
s = "world"
print(s)  # 输出: world

# 将字符串中的所有字母转换为大写
s = "hello"
print(s.upper())  # 输出: "HELLO"

# 将字符串中的所有字母转换为小写
s = "HELLO"
print(s.lower())  # 输出: "hello"

# 返回子字符串在字符串中第一次出现的位置（序号）。如果未找到子字符串，则返回 -1
s = "hello world"
print(s.find("world"))  # 输出: 6
print(s.find("Python"))  # 输出: -1

# 返回子字符串在字符串中最后一次出现的位置（序号）。如果未找到子字符串，则返回 -1
s = "hello world world"
print(s.rfind("world"))  # 输出: 12

# 将字符串中的某个子字符串替换为另一个子字符串
s = "hello world"
print(s.replace("world", "Python"))  # 输出: "hello Python"

# 将字符串拆分为列表。默认情况下，按空格拆分
s = "hello world"
print(s.split())  # 输出: ['hello', 'world']

# 按行分割字符串，返回一个包含各行的列表
s = "hello\nworld"
print(s.splitlines())  # 输出: ['hello', 'world']

# 将列表中的字符串连接成一个字符串，连接符是源字符串
words = ["hello", "world"]
print(" ".join(words))  # 输出: "hello world"

# 移除字符串开头和结尾的空白字符
s = "  hello world  "
print(s.strip())  # 输出: "hello world"

# 检查字符串是否只包含字母
s = "hello"
print(s.isalpha())  # 输出: True
s = "hello123"
print(s.isalpha())  # 输出: False

# 检查字符串是否只包含数字
s = "123"
print(s.isdigit())  # 输出: True
s = "123abc"
print(s.isdigit())  # 输出: False

# 检查字符串是否只包含字母和数字
s = "hello123"
print(s.isalnum())  # 输出: True
s = "hello 123"
print(s.isalnum())  # 输出: False

1、列表：一种有序的、可变的集合，允许重复元素，接近数组概念。列表的索引，从序号：0开始。

# 创建一个空列表
my_list = []

# 创建一个包含初始元素的列表
my_list = [1, 2, 3, 4]

# 将元素添加到列表的末尾
my_list.append(4)

# 在索引1的位置插入'a'
my_list.insert(1, 'a')

# 将另一个列表的所有元素添加到当前列表的末尾
my_list.extend([4, 5])

# 移除列表中第一个匹配的元素
my_list.remove(2)

# 移除并返回指定位置的元素（默认是最后一个元素）
element = my_list.pop()
print(element)

# 移除列表中的所有元素
my_list.clear()

# 通过索引修改元素
my_list[1] = 'b'

# 几种常用切片
my_list = [1, 2, 3, 4, 5]
print(my_list[1:3])  # 输出: [2, 3]（不包括索引3的元素）
print(my_list[:3])  # 输出: [1, 2, 3]（从开始到索引3，不包括索引3）
print(my_list[2:])  # 输出: [3, 4, 5]（从索引2到末尾）
print(my_list[::2])  # 输出: [1, 3, 5]（步长为2）

# 返回第一个匹配元素的索引
index = my_list.index(2)

# 返回指定元素在列表中出现的次数
count = my_list.count(2)

# 对列表进行原地排序。该列表即已经按排序修改过了
my_list.sort()

# 反转列表中的元素
my_list.reverse()

# 浅拷贝
my_list = [1, 2, 3]
new_list = my_list.copy()
print(new_list)  # 输出: [1, 2, 3]

# join方法：将列表中的字符串连接成一个字符串。该方法通常用于处理字符串列表
words = ["hello", "world"] sentence = " ".join(words) 
print(sentence) # 输出: "hello world"

# len：返回列表元素数量
print(len(my_list))

# min()和max()函数分别返回列表中的最小值和最大值，sum()函数返回列表中的所有元素和（数值型）
my_list = [1, 2, 3, 4, 5]
print(min(my_list)) # 输出：1
print(max(my_list)) # 输出：5
print(sum(my_list)) # 输出：15

2、字典：是一种无序的、可变的键值对集合，使用键（key）来存取对应的值（value），字典中的键是唯一的，字典保持插入顺序，但本质上是无序的（python3.7+）。

# 创建空字典
my_dict = {}

# 创建字典
my_dict = {"name": "xxx", "age": 25}

# 查找：根据key访问值，get()
print(my_dict["name"])
print(mydict.get("name", "default name"))

# 新增、修改：如果没有这个键值对则是新增，如果有，则修改为当前设定值
my_dict["age"] = 26

# 通过update增加键值对，以及修改
my_dict.update({"age": 25, "city": "New York"})

# 删除指定键值对
del my_dict["age"]

# 基础方法
print(my_dict.keys())  # 返回所有键dict_keys(['name', 'age'])
print(my_dict.values())  # 返回所有值dict_keys(['xxx', 25])
print(my_dict.items())  # 返回所有键值对dict_keys([('name', 'xxx'), ('age', 25)])

# setdefault() 方法、fromkeys() 方法

 3、集合：一种无序的、可变的不重复元素集合，可以添加或删除元素，且元素没有特定的顺序，元素是唯一的，不重复。

# 创建空集合，或从其他可迭代对象（如列表、元组、字符串）创建集合，或者创建一个空集合
my_set = set()
my_list = [1, 2, 3, 4, 4, 5]
my_set = set(my_list)
my_string = "hello"
my_set = set(my_string)

# 创建带有初始元素的集合，和字典一样都是用大括号
my_set = {1, 2, 3, 4}

# 集合中添加单个元素
my_set.add(5)

# 向集合中添加多个元素，可以是列表、元组、字符串或其他集合。会将其他集合分解成单个不重复元素，添加进去
my_set.update([4, 5])
print(my_set)  # 输出: {1, 2, 3, 4, 5}
my_set.update({6, 7})
print(my_set)  # 输出: {1, 2, 3, 4, 5, 6, 7}
my_set.update("abc")
print(my_set)  # 输出: {1, 2, 3, 4, 5, 6, 7, 'a', 'c', 'b'}

# remove：移除指定元素。如果元素不存在，会引发KeyError
# discard：移除指定元素。如果元素不存在，不会引发异常
# pop：移除并返回集合中的一个随机元素。如果集合为空，会引发 KeyError
# clear：移除所有元素
my_set.remove(2)
my_set.discard(2)
ele = my_set.pop()
my_set.clear()

# 查找：检查元素是否在集合中
print(2 in my_set) # 输出: True

# 判断一个集合是否是另外集合的子集
set1 = {1, 2}
set2 = {1, 2, 3}
print(set1.issubset(set2))  # 输出: True


# 集合计算：union，返回两个集合的并集
set1 = {1, 2, 3}
set2 = {3, 4, 5}
print(set1.union(set2))  # 输出: {1, 2, 3, 4, 5}

4、元组：种有序的、不可变的集合，允许重复元素，创建后不能修改，元素按照插入的顺序存储。

# 创建空元组
# 创建带有初始元素的元组
empty_tuple = ()
print(empty_tuple)  # 输出: ()

my_tuple = (1, 2, 3)
print(my_tuple)  # 输出: (1, 2, 3)

# 不使用小括号
my_tuple = 1, 2, 3
print(my_tuple)  # 输出: (1, 2, 3)

# 单元素元组
single_element_tuple = (1,)
print(single_element_tuple)  # 输出: (1,)

# 使用 tuple() 构造函数，接受列表、字符串等数据结构
# 从列表创建元组
my_list = [1, 2, 3]
my_tuple = tuple(my_list)
print(my_tuple)  # 输出: (1, 2, 3)

# 从字符串创建元组
my_string = "hello"
my_tuple = tuple(my_string)
print(my_tuple)  # 输出: ('h', 'e', 'l', 'l', 'o')

# 访问：通过索引访问，正序，倒序
print(my_tuple[0])  
print(my_tuple[-1])

# 访问：通过切片访问
my_tuple = (1, 2, 3, 4, 5)
print(my_tuple[1:3])  # 输出: (2, 3)
print(my_tuple[:2])  # 输出: (1, 2)
print(my_tuple[2:])  # 输出: (3, 4, 5)
print(my_tuple[::2])  # 输出: (1, 3, 5)

# 解包
my_tuple = (1, 2, 3)
a, b, c = my_tuple
print(a, b, c)  # 输出: 1 2 3

# 使用*号解包
my_tuple = (1, 2, 3, 4)
a, *b, c = my_tuple
print(a, b, c)  # 输出: 1 [2, 3] 4

# 元组操作：合并
tuple1 = (1, 2)
tuple2 = (3, 4)
merged_tuple = tuple1 + tuple2

# 查找，使用in
print(2 in my_tuple) # True/False

# 返回指定元素的第一个匹配项的索引，如果元素不存在，会引发 ValueError
my_tuple = (1, 2, 3, 2)
print(my_tuple.index(2))  # 输出: 1

# 计数，返回指定元素在元组中出现的次数
my_tuple = (1, 2, 3, 2)
print(my_tuple.count(2))  # 输出: 2

# len() ：返回元组中元素的数量
print(len(my_tuple))

# max() 和 min()：返回元组中的最大值和最小值
my_tuple = (1, 2, 3)
print(max(my_tuple))  # 输出: 3
print(min(my_tuple))  # 输出: 1

# sum()：返回元组中所有元素的和（元素必须是数值类型）
my_tuple = (1, 2, 3)
print(sum(my_tuple))  # 输出: 6

 

二、python多进程：库multiprocessing，在一个Python程序中同时运行多个进程，每个进程都有自己的内存空间。通过multiprocessing模块创建多个进程，每个进程有独立的GIL，可以在多个CPU核心上并行执行，从而克服GIL的限制。

对于python，主进程是程序开始运行时的第一个进程，负责启动和管理所有的子进程。可以使用 if __name__ == '__main__' 识别主进程，或者通过 multiprocessing.current_process().name 获取当前进程的信息（识别主进程、子进程）

demo1：创建2个进程，两个进程几乎同时启动，并各自打印自己的编号，等待2秒后，主进程打印结束消息。这里子进程执行完（阻塞），才会继续走主进程。

import multiprocessing
import time

# 定义一个简单的函数，用于进程执行
def worker(num):
    """线程工作函数"""
    print(f'Worker: {num}')
    time.sleep(2)  # 模拟耗时操作

if __name__ == '__main__':
    # 创建两个进程
    processes = []
    for i in range(2):
        p = multiprocessing.Process(target=worker, args=(i,))
        processes.append(p)
        p.start()

    # 等待所有进程完成
    for p in processes:
        p.join()

    print("All processes are done.")

demo2：如果想创建出来的子进程不阻塞我们的主进程，将join语句去掉即可，然后主进程就会执行后面的语句了。异步执行：主进程在启动子进程后，立即继续执行而不等待子进程完成。子进程完成后，会在后台输出其结束消息。

demo3：如果子进程会返回一个value，主进程设计去等待子进程执行完返回value，打印出来。使用 multiprocessing 模块中的 Process 类和 Queue来实现。使用 multiprocessing.Queue 在子进程和主进程之间传递数据。子进程将结果放入队列，主进程从队列中获取结果。

a. 使用 queue.get() 从队列中获取子进程的结果。这将阻塞主进程，直到子进程向队列中放入数据。

b. 使用 p.join() 确保子进程完成执行。

c. 使用 multiprocessing.Queue 在子进程和主进程之间传递数据。子进程将结果放入队列，主进程从队列中获取结果。

import multiprocessing
import time

def worker(queue):
    """子进程工作函数"""
    print(f"Worker process started with PID: {multiprocessing.current_process().pid}")
    time.sleep(10)  # 模拟一个耗时10秒的任务
    result = "Result from worker"
    queue.put(result)
    print("Worker process finished.")

if __name__ == '__main__':
    print(f"Main process PID: {multiprocessing.current_process().pid}")

    # 创建一个Queue，用于子进程向主进程传递数据
    queue = multiprocessing.Queue()

    # 创建子进程
    p = multiprocessing.Process(target=worker, args=(queue,))

    # 启动子进程
    p.start()

    # 主进程继续执行其他任务
    print("Main process is doing some work while waiting for the result from worker process.")

    # 等待子进程完成并获取结果
    result = queue.get()  # 这将阻塞主进程，直到子进程向队列中放入数据

    # 确保子进程完成
    p.join()

    print(f"Main process received result: {result}")
    print("Main process has finished.")

tips1：对于python多进程能够在单核机器上运行，但是它们不会真正并行执行，因为单核机器一次只能执行一个进程。操作系统会通过进程切换（时间片轮转）来实现“并发”执行。每个进程在短时间内运行一段时间，然后操作系统会暂停该进程并切换到下一个进程，如此循环，从而给人一种多个进程同时运行的错觉。

tips2：全局解释器锁（GIL）：Python中的GIL限制了在同一时间只有一个线程可以执行Python字节码，多线程在CPU密集型任务中无法充分利用多核CPU的优势。

三、python多线程

四、python异步

五、python常用的并发

六、python模拟发http请求

七、python直连mysql

八、python连redis

九、python操作etcd

十、pytest的一些应用