乐之之

知而行乐,乐而行之,天道酬勤,学无止境。
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

11 2022 档案

scrapy框架语句及流程
摘要:1、打开cmd找到指定目录。 (1)E: (2)cd python_crawler (3)cd 第十六节课-scrapy入门 2、创建项目 scrapy startproject [name] # name 为项目名称 3、创建spider。 (1)进入创建的项目 cd [name] (2)数据爬虫 阅读全文

posted @ 2022-11-29 10:50 乐之之 阅读(20) 评论(0) 推荐(0) 编辑

scrapy
摘要:一、认识scrapy scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需实现少量的代码,就能实现数据的快速抓取 scrapy使用了Twisted异步网络架构。 主要模块: pip install scrapy pip install twisted 在下载时由于内存相比于其 阅读全文

posted @ 2022-11-24 22:34 乐之之 阅读(233) 评论(0) 推荐(0) 编辑

如何运用进程池和线程池内容保存至数据库?
摘要:进程池不能保存至数据库,分别将代码位置进行调整即可。 1、进程池代码位置。 在运用进程池保存数据至数据库时,进程池不能共享链接,所以在保存数据至数据库时,要把链接代码写到类的外面。 (1)链接数据库代码: (2)提交保存代码: sql = "insert into Vegetable_price ( 阅读全文

posted @ 2022-11-23 23:54 乐之之 阅读(148) 评论(0) 推荐(0) 编辑

如何解决字体加密?
摘要:问题:怎么将源代码中的加密字体正常显示? 当爬取数据时,经常会发现一些既不是想要的对应文字,也不是乱码。那么该网站是进行了字体加密的反爬虫。如何解决这一问题呢? 那么就会用到了我们的TTFont模块: from fontTools.ttLib import TTFont 那么我们来看一下解决的流程, 阅读全文

posted @ 2022-11-22 22:31 乐之之 阅读(1174) 评论(0) 推荐(0) 编辑

selenium
摘要:一、认识selenium Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。 支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google,Chrome,Opera,Edge等。 阅读全文

posted @ 2022-11-22 12:13 乐之之 阅读(80) 评论(0) 推荐(0) 编辑

如何将爬取的数据保存至MySQL数据库里
摘要:python链接mysql数据库保存数据的步骤。 (1)创建表单。 create table vegetable_price ( id int auto_increment primary key, prodCat varchar(100) null, prodName varchar(100) n 阅读全文

posted @ 2022-11-21 23:29 乐之之 阅读(368) 评论(0) 推荐(0) 编辑

多进程
摘要:进程和程序 进程:正在执行的程序 程序:还没有执行的代码,处于静态 一、进程的状态 使用进程实现多任务 multiprocessing模块就是跨平台的多进程模块提供了有个Process类来代表一个进程对象,这个对象可以理解为一个独立的进程,可以执行另外的事情。 二、进程和线程之间的对比 进程:能够完 阅读全文

posted @ 2022-11-20 17:30 乐之之 阅读(18) 评论(0) 推荐(0) 编辑

35、计算日期数据周同比
摘要:题目: 计算日期数据周同比? 2022-04-16 62 2022-04-17 82 2022-04-18 97 2022-04-19 75 2022-04-20 93 2022-04-21 90 2022-04-22 90 2022-04-23 61 2022-04-24 81 2022-04-2 阅读全文

posted @ 2022-11-20 17:11 乐之之 阅读(159) 评论(0) 推荐(0) 编辑

34、将unix时间戳转换成格式化日期
摘要:题目: 将unix时间戳转换成格式化日期? 思路: 1、模块datetime.datetime.fromtimestamp() 2、模块.strftime() 结果: import datetime unix_time = 1668834935.652549 datetime_obj = datet 阅读全文

posted @ 2022-11-19 13:24 乐之之 阅读(69) 评论(0) 推荐(0) 编辑

线程与队列
摘要:一、线程安全队列 python内置的线程安全队列模块叫queue python的Queue模块中提供了同步的、线程安全的队列类 FIFO(先进先出)队列的Queue(常用) LIFO(后进先出)lifoQueue 可以使用队列来实现线程间的同步。 二、队列的常用方法 函数 描述 qsize() 返回 阅读全文

posted @ 2022-11-18 13:09 乐之之 阅读(37) 评论(0) 推荐(0) 编辑

33、计算日期范围内的所有日期
摘要:题目: 将开始日期与结束日期内的所有时间计算出来。 思路: 1、将开始时间与结束时间分别进行格式化输出对象。 2、循环添加开始日期,在循环中改变开始时间的日期。 3、将添加的日期放到列表内。 结果: import datetime def get_date_range(begin_date,end_ 阅读全文

posted @ 2022-11-18 11:26 乐之之 阅读(38) 评论(0) 推荐(0) 编辑

32、计算任意日期相减后的天数
摘要:题目: 请计算任意日期相减后的天数 思路: 1、定义一个函数 2、将函数中两个参数分别进行设定相应参数含义。 3、传入参数值,返回结果。 结果: import datetime def get_diff_days(pdate,days): pdate_obj = datetime.datetime. 阅读全文

posted @ 2022-11-17 13:11 乐之之 阅读(508) 评论(0) 推荐(0) 编辑

多线程
摘要:程序同时执行多个任务 使用线程可以把占据长时间的程序中的任务放到后台去处理。 程序的运行速度可能加快 一、线程实现方法 线程是CPU分配资源的基本单位。当一程序开始运行,这个程序就变成了一个进程,而一个进程相当于一个或者多个线程。当没有多线程编程时,一个进程相当于一个主线程;当有多线程编程时,一个进 阅读全文

posted @ 2022-11-16 22:51 乐之之 阅读(21) 评论(0) 推荐(0) 编辑

31、计算两个日期相隔的时间
摘要:题目: 如何计算两个日期相隔的天数? 思路: 1、将字符串时间转换为datetime时间的对象。 2、获取现在的时间。 3、相减即可。 结果: import datetime brithday = "2000-01-01" # 将字符串转化为datetime对象 birthday_date = da 阅读全文

posted @ 2022-11-16 11:40 乐之之 阅读(218) 评论(0) 推荐(0) 编辑

30、获取当前日期和时间
摘要:题目: 获取当前的日期和时间 思路: 1、调用 datetime模块 2、输出即可 结果: import datetime # 获取当前的时间 now_time = datetime.datetime.now() print(now_time,type(now_time)) # 格式化输出当前时间 阅读全文

posted @ 2022-11-15 13:10 乐之之 阅读(171) 评论(0) 推荐(0) 编辑

29、统计每个兴趣的学生人数
摘要:题目: 在学生所填的兴趣表中,统计每个兴趣的学生人数。 小张 篮球,羽毛球 小王 篮球,乒乓球 小李 篮球,台球 小赵 篮球,足球,台球 小马 乒乓球,台球 小钱 羽毛球,足球 小孙 乒乓球,台球 小强 羽毛球 思路: 1、创建一个空字典。 2、分割内容,遍历兴趣内容。 3、将每个兴趣内容和次数进行 阅读全文

posted @ 2022-11-14 11:15 乐之之 阅读(58) 评论(0) 推荐(0) 编辑

MySQL
摘要:MySQL 是一个关系型数据库管理系统,由瑞典 MySQL AB 公司开发,目前属于 Oracle 公司。MySQL 是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。 一、安装和登录MySQL (一)安装MySQL 1、下 阅读全文

posted @ 2022-11-13 18:20 乐之之 阅读(13) 评论(0) 推荐(0) 编辑

28、批量实现txt文件内容合并
摘要:题目: 在many_org文件夹中有三个.txt文件,如何将三个文件的内容整理到一个文件里? 思路: 1、遍历路径下的所有文件。 2、判断出.txt文件,将其所有内容保存至新列表内。 3、新建文件,保存。 结果: import os insert_dir = "../28批量实现txt文件内容合并/ 阅读全文

posted @ 2022-11-13 13:53 乐之之 阅读(345) 评论(0) 推荐(0) 编辑

27、将两个不同的文件进行组合并输出一个新的文件
摘要:题目: 现有两个文件: 1、学生成绩信息。 语文,101,小张,94 语文,102,小王,64 语文,103,小李,92 语文,104,小赵,55 语文,105,小强,91 数学,101,小张,53 数学,102,小王,82 数学,103,小李,86 数学,104,小赵,93 数学,105,小强,7 阅读全文

posted @ 2022-11-12 13:05 乐之之 阅读(157) 评论(0) 推荐(0) 编辑

26、计算班级成绩的最高分、最低分和平均分
摘要:题目: 给定一个班级的成绩文件,输出该班级成绩的最高分、最低分和平均分。 思路: 1、读取成绩文件内容,进行整理。 2、遍历文件元素,并赋予相同类型的元素统一的变量名。 3、创建新的字典,添加键值。 4、遍历关键元素,输出最大最小和平均值。 结果: scoure_grade = {} with op 阅读全文

posted @ 2022-11-11 12:28 乐之之 阅读(389) 评论(0) 推荐(0) 编辑

25、递归搜索目录找出最大的文件
摘要:题目: 在变量名serach_dir中,随意添加一个文件路径,找出所有文件下最大的文件。 思路: 1、输入文件路径。 2、递归遍历该文件路径下所有子目录。 3、遍历子目录下所有文件的绝对路径,并逐一添加且计算大小。 4、从大到小排序,输出前十个文件。 结果: import os search_dir 阅读全文

posted @ 2022-11-10 22:20 乐之之 阅读(75) 评论(0) 推荐(0) 编辑

24、按文件后缀名整理文件夹
摘要:题目: 现./arrage_dir文件下有以下几种类型的文件。 如何把相同类型的文件整理在相同的文件夹下呢? 知识点: 1、怎么获取文件的后缀名? import os os.path.splitext('/path/to/aaa.mp3') 输出:('/path/to/aaa','.mp3') 2、 阅读全文

posted @ 2022-11-09 13:20 乐之之 阅读(131) 评论(0) 推荐(0) 编辑

23、统计当前目录下所有文件的大小
摘要:题目: 统计当前目录下所有文件的大小。 如当前目录是‘每日一题’。 思路: 1、先导入os模块。 2、循环所有文件。 3、计算所有文件大小。 结果: import os print(os.path.getsize("E:\python_crawler\每日一题\demo16.py")) sum_si 阅读全文

posted @ 2022-11-08 23:01 乐之之 阅读(73) 评论(0) 推荐(0) 编辑

22、统计英文短文中前十个次数最多的单词
摘要:题目: 在words_count.txt英文短文文件中, 找出前十个次数最多的单词。 思路: 1、创建一个新的空字典 2、遍历修饰所有单词,并逐个添加次数。 3、进行排序。 结果: word_count= {} with open("./words_count.txt",'r',encoding=' 阅读全文

posted @ 2022-11-07 12:24 乐之之 阅读(59) 评论(0) 推荐(0) 编辑

21、读取成绩文件计算最高、低、平均分。
摘要:题目: 输入文件: 三列:学号、姓名成绩。 列之间用逗号分割,比如“101,小张,88”。 行之间用\n换行分割。 输出:最高分、最低分、平均分。 解题思路: 1、读取文件,遍历每一行。 2、处理数据,将关键数据添加至新的列表。 3、输出计算后的数据。 结果: def Path_score(): s 阅读全文

posted @ 2022-11-06 17:14 乐之之 阅读(133) 评论(0) 推荐(0) 编辑

20、读取成绩文件排序数据
摘要:题目: 输入文件: 三列:学号、姓名、成绩列之间用逗号分割,比如”101,小张,88“行之间用\n换行分割 待处理文件名: 内容如下: 思路: 1、先把读取文件函数写出来。 2、在把读取到的文件进行遍历排序。 3、保存文件。 结果: def read_file(): result = [] with 阅读全文

posted @ 2022-11-05 19:23 乐之之 阅读(61) 评论(0) 推荐(0) 编辑

19、对数字进行加密
摘要:题目: 输入num为四位数,对其加密规则如下: 1.每一位数分别加5,然后将其替换为该数除以10取余的结果 2.将该数的第一位和第四位互换,第二位与第三位互换 3.最后合起来作为加密后的整数输出 思路: 1、创建新的空字符串 2、遍历输入内容 3、转换数据类型和数据调换 结果: num = inpu 阅读全文

posted @ 2022-11-04 22:16 乐之之 阅读(393) 评论(0) 推荐(0) 编辑

正则表达式
摘要:认识正则:正则表达式,又称规则表达式,(Regular Expression,在代码中常简写为regex、regexp或RE),是一种文本模式,包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为"元字符"),是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个语法规则 阅读全文

posted @ 2022-11-03 22:18 乐之之 阅读(28) 评论(0) 推荐(0) 编辑

18、怎样实现学生成绩排序
摘要:题目: 学生成绩数据格式: 复杂列表,元素是字典或者元组。 [ {'id':101,'name':"小周",'grade':88}, {'id':102,'name':"小吴",'grade':73}, {'id':103,'name':"小郑",'grade':96}, {'id':104,'na 阅读全文

posted @ 2022-11-03 17:12 乐之之 阅读(221) 评论(0) 推荐(0) 编辑

bs4解析
摘要:下载 --pip install bs4 示例代码-爱丽丝漫游仙境 html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's stor 阅读全文

posted @ 2022-11-03 16:51 乐之之 阅读(80) 评论(0) 推荐(0) 编辑

17、怎样对简单列表元素排序
摘要:题目: 简单列表:元素类型不是复合类型(列表、元组、字典) 形式1:[20,50,10,40,30] 形式2:['bb','ee','aa','dd','cc'] 知识点: 怎样原地排序?怎样不改变原列表排序? 怎样指定是升序还是降序? 思路: 1、使用sort()方法 结果: 升序 list1 = 阅读全文

posted @ 2022-11-02 21:30 乐之之 阅读(42) 评论(0) 推荐(0) 编辑

16、对列表去重
摘要:题目: 输入,包含重复元素的原始列表:[30,50,40,20,50,40] 返回:[30, 50, 40, 20] 解题思路: 1、定义一个新的空列表 2、遍历原始列表 3、加入判断条件 答案: 方法一: list1=[30,50,40,20,50,40] list2=[] for i in li 阅读全文

posted @ 2022-11-01 21:48 乐之之 阅读(27) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示