摘要：
###1 读取json文件报错 https://blog.csdn.net/qq_32526087/article/details/106317051 json.decoder.JSONDecodeError: Invalid control character at: line 1 column 阅读全文
摘要：
###1.将字符串的时间转换为时间戳 import time a = "2021-08-31 11:00:00" # 将其转换为时间数组 timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S") # 转换为时间戳 timeStamp = int(time.m 阅读全文
摘要：
什么是增量爬虫 爬虫过程中，常常要对目标网站的新数据进行抓取，遇到已经爬过的网页需要进行过滤。本文介绍用redis数据库的高效去重。 把所有爬过的url都放在redis中，以后每次爬取链接之前，先把url添加进去，如果能添加进去，说明是没爬过的，如果添加不进去，说明该链接有爬取过。 ###方法1 普 阅读全文
摘要：
###识别图片链接尺寸大小 # 封面链接 url = "https://ci.xiaohongshu.com/5b8597c2-23ea-36ef-7340-c3ee59da9b3b?imageView2/2/w/1080/format/jpg" response = u.urlopen(url) 阅读全文
摘要：
###1.几小时前换算时间戳 now_time = int(time.time()) print(now_time) timeArray = datetime.datetime.utcfromtimestamp(time_now1) print(timeArray) # 加8小时时区，再减几小时前时 阅读全文
摘要：
import re htmlString = '<a href="https://m.weibo.cn/p/index?containerid=100808edb33656f8aaf7c68add26ad8d0fdba4&extparam=%E6%97%A9%E9%A4%90&luicode=100 阅读全文
摘要：
###base64解码 import base64 import warnings warnings.filterwarnings("ignore") content = 'eyJ1IjoiNTc5NGQ0ZjAtZjY2YS0xMWViLWI4ZjMtNzNiMDQ0YzM2M2YyIiwidiI 阅读全文
摘要：
###字典排序之后md5 import time import hashlib import requests def hash_md5(): params ={ "past_num":"20", # "banner_log":"", "tab_id":"116", "smzdm_id":"0", 阅读全文
摘要：
####1.迭代列表，连续使用‘+’操作依次拼接每一个字符串 str1 = ['abc', '123', 'def', '456', 'hig', '789'] ####2.字符串直接相加 str1= '' for i in str1: st1 += i print(st1) 返回结果: abc a 阅读全文
摘要：
MongoDB 的插入和更新, $setOnInsert、upsert和$set、upsert ###一. 多条数据插入,性能相关. 多条数据插入的时候,如果数据量大,一定要记得给字段添加索引. 可以使用 insert_many, update_many ###二. 更新多条数据的时候.( $set 阅读全文