04 2021 档案
摘要：python中实现多线程⾮常简单. 借助Thread类来完成. # 线程, 进程 # 进程是资源单位, 每一个进程至少要有一个线程 # 线程是执行单位 # 启动每一个程序默认都会有一个主线程 # def func(): # for i in range(1000): # print("func",
阅读全文
摘要：综合练习，抓取⽹易云⾳乐评论信息，包括之前所有的学到的爬虫知识，代码： # 1. 找到未加密的参数 # window.arsea(参数, xxxx,xxx,xxx) # 2. 想办法把参数进行加密(必须参考网易的逻辑), params => encText, encSecKey => encSecK
阅读全文
摘要：抓取梨视频（防盗链） import requests url = "https://www.pearvideo.com/video_1713901" contId = url.split("_")[1] print(contId) videoStatus_url = f"https://www.pe
阅读全文
摘要：xpath练习:抓取猪⼋戒数据 # 拿到页面源代码 # 提取和解析数据 import requests from lxml import etree url = "https://beijing.zbj.com/search/f/?type=new&kw=saas" resp = requests.
阅读全文
摘要：多少改了一些人家源码里的布局，大致就改成左边显示城市列表，右边显示两个柱状图，一个代表城市拥堵状况，一个代表区域拥堵状况。这是第一个界面。第二个界面相对而言就好写了一些，大致布局和第一个一样，就是右边显示的是中国地图，表示的是人口迁徙的状况。 至此前端界面大致布局完成。
阅读全文
摘要：xpath解析：XPath是一⻔在 XML 文档中查找信息的语言. XPath可用来在 XML文档中对元素和属性进行遍历. 而我们熟知的HTML恰巧属于XML的一个子集. 所以完全可以用xpath去查找html中的内容. 案例(注意：有的时候别人代码是直接引入etree，但我的会报错，解决方法就是引
阅读全文
摘要：下载：pip install aiohttp 案例练习：爬取优美图库图片 # requests.get() 同步的代码 -> 异步操作aiohttp # pip install aiohttp import asyncio import aiohttp urls = [ "http://kr.sha
阅读全文
摘要：今天就要开始写前端展示的页面，这个我一直不太会写那些css样式还有HTML的布局，有些头皮发麻，，所幸之前在b站上找到了一个前端展示界面的教程，和我想要的效果挺像的， 页面源码位置：C:\Users\Lenovo\Desktop\eckarts_open_class 自己写的进度代码路径：C:\Us
阅读全文
摘要：经过长时间思考和搜索，终于发现插不进去的原因是我的sql语句里面的数据名与mysql关键字重复....有点难受，就这卡了至少大几个小时。 改了数据名之后也是成功插了进去，但有的表需要每次都更新，所以就在操作那些表的函数里的开头写了点代码让它每次执行先删除
阅读全文
摘要：第一天 今天是准备爬取高德大数据代码，主要爬取道路和区域拥堵数据，要按f12在network里面找存放当前时刻数据的文件，所有城市信息在https://trp.autonavi.com/ajax/getCityInfo.do?里面保存，道路信息在 https://trp.autonavi.com/a
阅读全文
摘要：re练习⼿刃⾖瓣TOP250电影信息 import requests headers = { "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) C
阅读全文
摘要：re解析中比较重要的功能 1. findall 查找所有. 返回list lst = re.findall("m", "mai le fo len, mai ni mei!") print(lst) # ['m', 'm', 'm'] lst = re.findall(r"\d+", "5点之前.
阅读全文
摘要：Python爬虫request模块 首先安装：pip install requests 爬取搜狗尝试： # 案例1. 抓取搜狗搜索内容 kw = input("请输⼊你要搜索的内容:") response = requests.get(f"https://www.sogou.com/web?quer
阅读全文
摘要：善意的爬⾍, 不破坏被爬取的⽹站的资源(正常访问, ⼀般频率不⾼, 不窃取⽤户隐私) 恶意的爬⾍, 影响⽹站的正常运营(抢票, 秒杀, 疯狂solo⽹站资源 造成⽹站宕机) 反爬机制 ⻔户⽹站，可以通过制定相应的策略或者技术⼿段，防⽌ 爬⾍程序进⾏⽹站数据的爬取。 反反爬策略 爬⾍程序可以通过制定相
阅读全文
摘要：css分页 <!DOCTYPE html><html><head><style>.pagination { display: inline-block;}.pagination a { color: black; float: left; padding: 8px 16px; text-decora
阅读全文
摘要：<time> 标签定义公历的时间（24 小时制）或日期，时间和时区偏移是可选的。 该元素能够以机器可读的方式对日期和时间进行编码，这样，举例说，用户代理能够把生日提醒或排定的事件添加到用户日程表中，搜索引擎也能够生成更智能的搜索结果。
阅读全文
摘要：<canvas> 标签定义图形，比如图表和其他图像。 例子：<canvas id="myCanvas"></canvas> <script type="text/javascript"> var canvas=document.getElementById('myCanvas'); var ctx=
阅读全文
摘要：基本快捷键 描述WindowsMac OS 编辑菜单 Alt + E Ctrl + F2 + F 文件菜单 Alt + F Ctrl + F2 + E 查看菜单 Alt + V Ctrl + F2 + V 选取所有文本 Ctrl + A Cmd + A 复制文本 Ctrl + C Cmd + C 查
阅读全文
