随笔分类 - python
摘要：文章仅供参考学习 1.LSTM预测 首先去爬取数据 这个是爬取大乐透的，从07年爬到最新一期 import requests from bs4 import BeautifulSoup import csv # 目标URL url = 'http://datachart.500.com/dlt/hi
阅读全文
摘要：使用mosquitto 通过将日志发布到topic 配置文件 mosquitto.conf log_type all log_dest topic $SYS/broker/log/ python 接收消息回调函数 pattern = "New client connected from (.*?)
阅读全文
摘要：# pip install kafka-python from kafka import KafkaConsumer from kafka.structs import TopicPartition def get_queue_length(topic_list, kafka_host, kafka
阅读全文
摘要：深度学习中利用黑白蒙版进行抠图 import cv2 import numpy as np def get_alpha(image, mask): # 归一化 mask = mask/255 back_mask = mask # 将透明度A值转成一样维度 back_transparent = bac
阅读全文
摘要：import datetime import hashlib import time import json import random import string import requests from base64 import b64encode from urllib.parse impo
阅读全文
摘要：创建虚拟环境所用包 virtualenv 查看是否有虚拟环境virtualenv --version 安装虚拟环境命令pip install virtualenv 创建虚拟环境 （.venv是环境名字，可以随意取）virtualenv .venv 激活虚拟环境cd .venv/Scripts 目录下
阅读全文
摘要：def split_image_bs4(file, max_len=720): """ 切割图片 :param file: 二进制文件 :param max_len: 最大长度 :return: bs64 """ # f = base64.b64decode(b64) # with io.Bytes
阅读全文
摘要：import os import random import shutil def move_file(target_path, save_path, number): file_list = os.listdir(target_path) random.shuffle(file_list) fil
阅读全文
摘要：import os import shutil def split_name(file): file_name, _ = file.split('.') return file_name def move_file(target_path, move_path, save_path): """ :p
阅读全文
摘要：li = [1, 2, 3, 4, 5, 6] def fun(item, num): if item == num: return 1 else: return 0 def fun1(item, num): if item>num: return 1 else: return 0 li1 = li
阅读全文
摘要：import smtplib from email.header import Header from email.mime.text import MIMEText from email.mime.multipart import MIMEMultipart MAIL = { "from": '2
阅读全文
摘要：import inspect import ctypes import threading import time def stop_threading_fun(tid, exctype=SystemExit): tid = ctypes.c_long(tid) if not inspect.isc
阅读全文
摘要：import os from xpinyin import Pinyin def files_rename(file_path, file_list, prefix='20230312_'): for i in range(len(file_list)): old_name = os.path.jo
阅读全文
摘要：import os import time from fake_useragent import UserAgent import requests import re import uuid headers = {"User-agent": UserAgent().random, # 随机生成一个
阅读全文
摘要：import os import time def TimeStampToTime(timestamp): timeStruct = time.localtime(timestamp) return time.strftime('%Y-%m-%d %H:%M:%S', timeStruct) # #
阅读全文
摘要：import time import datetime def get_time_str(): # 定义文件名，年月日时分秒随机数 # fn = time.strftime('%Y%m%d%H%M%S') # fn = fn + '_%d' % random.randint(0, 1000) ct
阅读全文
摘要：将py文件编译为so文件 利用上面代码生成so文件生成的文件不方便取放，名字也不一样 通过执行发现转换执行了下面三句 /usr/local/python3/bin/cython test.py gcc -pthread -Wno-unused-result -Wsign-compare -DNDEB
阅读全文
摘要：import socket from threading import Thread import time def html(conn): time_tag = str(time.time()) print(time_tag) with open('test1.html', 'r', encodi
阅读全文
摘要：池 在程序开始的时候，还没提交任务先创建几个线程或者进程 放在一个池子里，就是池为什么要用池 如果先开好线程/进程，那么有任务之后就可以直接使用这个池中的数据了 并且开好的线程或者进程会一直存在池中，可以被多个任务反复利用 这样极大的减少了开启/关闭/调度线程/进程的时间 池中的线程/进程个数控制了
阅读全文
摘要：协程 gevent 第三方模块 能处理一些基础网络操作 asynio 内置模块 底层协程模块 aiohttp模块 并发的爬虫 flask轻量级web框架/sanic异步的轻量级的web框架 async await 是操作系统不可见的 本质是一条线程 多个任务在一条线程上来回切换，来规避IO操作，就达
阅读全文
