摘要： import time from multiprocessing import Process, JoinableQueue, cpu_count import csv ####处理一条数据的方法 def deal_line(line, writer, csv_file): writer.writerow((line[3], line[1])) csv_file.flush()#重点,在多进程中写 阅读全文

摘要： from twisted.enterprise import adbapi from twisted.internet import reactor def creat_conn(): # 数据库基本配置 db_settings = dict(db='testdb', host='localhost', port = 3306,user = 'root',passwd = 'pwd', chars 阅读全文

摘要： # Splash服务器地址 SPLASH_URL = 'http://localhost:8050' # 开启Splash的两个下载中间件并调整HttpCompressionMiddleware的次序 DOWNLOADER_MIDDLEWARES = { 'scrapy_splash.SplashC 阅读全文

摘要： def jsonfy(s:str)->object: obj = eval(s, type('js', (dict,), dict(__getitem__=lambda s, n: n))()) return obj 阅读全文

摘要： 1.导出文件路径 FEED_URI = 'export_data/%(name)s.data' 2.导出数据格式 FEED_FORMAT = 'csv' 3.导出文件编码 FEED_EXPORT_ENCODING = 'gbk' 4.导出数据包含的字段（默认情况下导出所有字段），并指定次序 FEED 阅读全文

摘要： #redis入库 阅读全文

摘要： 阅读全文

摘要： 每分钟执行 */1 * * * * 每小时执行 0 * * * * 每天执行 0 0 * * * 每周执行 0 0 * * 0 每月执行 0 0 1 * * 每年执行 0 0 1 1 * 阅读全文

摘要： from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Python Spark SQL basic example") \ .config("spark.some.config.option", "some-value") \ .getOrCreate()... 阅读全文

摘要： python 求拒绝域和卡方值 关于p值意义: P＞0.05 碰巧出现的可能性大于5% ，不能否定无效假设，两组差别无显著意义P＜0.05 碰巧出现的可能性小于5% ，可以否定无效假设，两组差别有显著意义P＜0.01 碰巧出现的可能性小于1% ，可以否定无效假设，两者差别有非常显著意义 来源：《深入 阅读全文