随笔分类 - python爬虫
摘要:Windows 安装pyinstaller pip install pyinstaller 测试是否安装成功 pyinstaller -v 打包 pyinstaller --onefile your_program.py #或者 pyinstaller your_program.py 然后会把当前目
阅读全文
摘要:项目网站:https://github.com/JaidedAI/EasyOCR 前提:电脑上有python环境(建议3.8)和pip工具 安装 安装torch torchvision 根据项目的安装注意事项(Window),我们需要先安装一些其他模块 Note 1: For Windows, pl
阅读全文
摘要:m3u8文件内内容 #EXTM3U #EXT-X-VERSION:3 #EXT-X-TARGETDURATION:12 #EXT-X-MEDIA-SEQUENCE:1 #EXT-X-PLAYLIST-TYPE:VOD #EXT-X-KEY:METHOD=AES-128,URI="E:/CTF/tes
阅读全文
摘要:参考链接:https://www.cnblogs.com/valorchang/p/11357358.html 一、安装 pyinstaller 对于那些网络比较稳定,能够流畅使用 pip 源地址的用户,直接下面的命令就可以搞定: pip install pyinstaller 安装完后,检查是否安
阅读全文
摘要:settings.py中一些东西的含义可以看一下这里 python的scrapy框架的使用 和xpath的使用 && scrapy中request和response的函数参数 && parse()函数运行机制 目录结构 创建一个scrapy项目(最后那个js是你创建项目的名字) scrapy sta
阅读全文
摘要:这篇博客主要是讲一下scrapy框架的使用,对于糗事百科爬取数据并未去专门处理 最后爬取的数据保存为json格式 一、先说一下pyharm怎么去看一些函数在源码中的代码实现 按着ctrl然后点击函数就行了 先给出项目的目录: 二、先说一下setting.py文件中一些变量的含义 BOT_NAME =
阅读全文
摘要:1、可以在:http://digi.bib.uni-mannheim.de/tesseract/tesseract-ocr-setup-4.00.00dev.exe 下载一个exe文件,然后直接按照提示安装就行了,安装过程中,会让你安装额外的语言包,可根据选择下载。 2、安装后配置一下环境变量 点击
阅读全文
摘要:一、开启多线程方法一 import threading,time def write1(): for i in range(1,5): print('1') time.sleep(1) def write12(): for i in range(1, 5): print('2') time.slee
阅读全文
摘要:1、删除MySQL数据表中的记录 DELETE FROM table_name WHERE condition; python操作mysql1数据库 import pymysql # 连接mysql数据库 conn = pymysql.connect(host='localhost',user='r
阅读全文
摘要:''' 如果文件读取数据出错,可以考虑加一个encoding属性,取值可以是:utf-8,gbk,gb18030 或者加一个属性error,取值为ignore,例如 open(path, encoding='gb18030', errors='ignore') ''' ''' 1.csv数据为: 1
阅读全文
摘要:可以看菜鸟教程:https://www.runoob.com/w3cnote/python-func-decorators.html 还有一个实例:https://zhuanlan.zhihu.com/p/78181226
阅读全文
摘要:Tkinter图形界面设计见:https://www.cnblogs.com/pywjh/p/9527828.html#radiobutton 终止python运行函数: 采用sys.exit(0)正常终止程序 python读写文件(python3.0读写二进制文件后面一定要加b,否则会报错“wri
阅读全文
摘要:程序是先通过一个解析视频的网站,然后我们提取其接口,然后实现观看vip视频的目的 所以说免费观看视频python程序很容易,但是下载视频就有些许麻烦了,下载视频请见我另一篇博客:python+fiddler下载vip视频 && ts视频可合并 1、解析网站在代码中如下 url = 'http://w
阅读全文
摘要:1、酷狗音乐型md5加密给我上身体(这应该就是加密了吧,,要不然挺尴尬T_T),我这个不是爬取酷狗TOP500,而是搜索之后在下载歌曲 如下图上,当你播放歌曲跳到另一个页面(酷狗有一个专门播放歌曲的页面),F12打开network,然后刷新页面,就会发现歌曲下载地址在下图所示类型数据包中 2、然后我
阅读全文
摘要:我去!!!我之后一定按照搜索方式下载歌曲~~~~~~~~~ 1、首先打开我们本次主讲链接:http://www.kuwo.cn/ 2、刚开始我就随便点了一个地方,然后开始在后台找歌曲的链接地址。但是这也使我分析页面分析的很复杂。因为像在酷我音乐,这样的模块都有一个pid,分析参数的时候找了半天还要找
阅读全文
摘要:QQ音乐相比于网易云音乐加密部分基本上没有,但是就是QQ音乐的页面与页面之间的联系太强了,,导致下载一个音乐需要分析前面多个页面,找数据。。太繁琐了 1、爬取链接:https://y.qq.com/ 首先随便找一个页面先点进去 2、点击播放歌曲会打开一个页面,按F12打开控制台,然后刷新页面并点击播
阅读全文
摘要:实验网站:https://wenku.baidu.com/view/c7752014f18583d04964594d.html 在下面这种类型文件中的请求头的url打开后会得到一个页面 你会得到如下图一样的页面 你将页面上zoom对应的值在一个新的网页打开之后会发现,这个就是ppt中的图片 你可以多
阅读全文
摘要:先说一下可能用到的一些python知识 一、python中使用的是unicode编码, 而日常文本使用各类编码如:gbk utf-8 等等所以使用python进行文字读写操作时候经常会出现各种错误, 一般都是操作时没有进行转码操作.而转码则需要decode(解码)和encode(编码)方法. 如:
阅读全文
摘要:import re c = ''' Accept: application/json, text/javascript, */*; q=0.01 Accept-Encoding: gzip, deflate Accept-Language: zh-CN,zh;q=0.9 Connection: ke
阅读全文