摘要:
有时候请求网站的时候需要携带请求头,从浏览器扒下来的请求头手动操作很不方便,代码类似如下: Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8 阅读全文
摘要:
一般在多线程应用的时候,总有一些函数(或者代码)不愿意也(不应该)被多个线程同事执行,通常包括修改数据库、更新文件或者其他会产生竞态条件的类似情况。这时候就需要进行同步了。Python中用到的同步就是锁和信号量。 首先是示例锁,创建随机的线程并休眠随机秒。 1 """ 2 创建随机线程并休眠随机秒 阅读全文
摘要:
最近疫情,被关烦了,禁足得快发霉了。然后也在学习视频剪辑,视频剪辑需要大量的背景音乐素材,总不能自己唱吧,于是想着网络上撸一些。某度了一下,什么某*fine和某*音悦试听了下,音频里都有万恶的广告,果断放弃,有时间再去撸他们的。今天某*子办公的音乐素材。找到音效配乐栏目,打开开发者工具开始查找。 随 阅读全文
摘要:
还是2008年的时候接触zen-cart系统,到现在很多个年头了,期间一直没怎么用。今天搭建了一个zen-cart系统,想配置个ssl,前后台的ssl好搭建,主要是细微的地方没注意,今天的错误在于,前后台主页都是ssl,但是一点其他的内页,就非ssl了。查找了很多资料,最后配置成功,记录下,以防忘记 阅读全文
摘要:
前面朋友喊采一个国外的产品站。而且要根据他的格式给他返回数据。做过zen-cart的朋友应该知道,zen-cart是可以批量上传数据的,有一个叫批量表的东西,他就是要我给他把数据按照要求填到数据表里,数据表的样板如下: 其中有些参数是必须的: 第一列的v_products_model是产品的mode 阅读全文
摘要:
网易云音乐火不火我不知道,但是网易云音乐的评论是真的火,不懂怎么会有这么多评论的人啊,想不通。之前看了很多文章是做网易云评论数据抓取并可视化的,今天我也来试着做个。随便找首歌。 爬虫部分 网易云音乐播放页面,https://music.163.com/#/song?id=1804320463,首先尝 阅读全文
摘要:
无聊做爬虫。。。 1 import time 2 import requests 3 import re 4 import json 5 import os 6 7 def downLoad(): 8 filePath = './爱取的目录/' 9 if not os.path.exists(fil 阅读全文
摘要:
最近疫情在家无聊得一批。爬点虎牙小姐姐的视频养养眼(前面其实有爬过,只是那时候比较懒,用的顺序爬取。)用的还有就是,自己也在做视频剪辑,将视频爬下做素材练练手。爬虫思路一般是确定数据源,然后对数据源进行分析,撸码保存。申明:本文仅做学习交流使用,如有侵权,请联系我删除。 第一种方式,还是用函数写: 阅读全文
摘要:
疫情在家是真的无聊,最近发现有人分享了个某我vip音乐的接口。前面做爬虫的时候一直只能爬到免费音乐,今天来爬爬付费音乐。当然,免费的也可以这样爬。申明:本文仅做学习交流使用,如有侵权,请联系我删除。 爬虫思路: 搜索歌曲或者歌手; 分析搜索结果页,有json找json,没json找网页渲染的列表;然 阅读全文
摘要:
青春有几年,疫情占三年。最近疫情它又又又又又双叒叕在某些地区有苗头了。为了配合当地疫情防控指挥部门,不给国家和社会添乱,只能在家撸撸代码,爬点表情用于群聊斗图。代码来了: 1 """ 2 疫情,它又来了,我们只能在家爬表情包 3 """ 4 5 import requests 6 import pa 阅读全文