11 2021 档案
摘要：接口直接返回的是json数据格式，那就不用去findall各种class了直接处理json数据保存即可 Request URL: https://api.bilibili.com/x/space/arc/search?mid=390461123&ps=30&tid=0&pn=17&keyword=&
阅读全文
摘要：import urllib.request import re import os import urllib def get_html(url): page = urllib.request.urlopen(url) html_a = page.read() return html_a.decod
阅读全文
摘要：网页network发现接口返回的是json数据，怎样通过python，通过分页方式爬取下载到excel里或者数据库里面 接口参数意义：https://stock.xueqiu.com/v5/stock/chart/kline.json?symbol=SZ159915&begin=1589340438
阅读全文
摘要：from bs4 import BeautifulSoup #引用BeautifulSoup库 import requests #引用requests import os #os import pandas as pd import csv import codecs import re impor
阅读全文
摘要：其实在当今社会，网络上充斥着大量有用的数据，我们只需要耐心的观察，再加上一些技术手段，就可以获取到大量的有价值数据。这里的“技术手段”就是网络爬虫。今天就给大家分享一篇爬虫基础知识和入门教程： 什么是爬虫？爬虫就是自动获取网页内容的程序，例如搜索引擎，Google，Baidu 等，每天都运行着庞大的
阅读全文
摘要：2. Fiddler 设置解密HTTPS的网络数据 Fiddler可以通过伪造CA证书来欺骗浏览器和服务器。Fiddler是个很会装逼的好东西，大概原理就是在浏览器面前Fiddler伪装成一个HTTPS服务器，而在真正的HTTPS服务器面前Fiddler又装成浏览器，从而实现解密HTTPS数据包的目
阅读全文
摘要：序章 Fiddler是一个蛮好用的抓包工具，可以将网络传输发送与接受的数据包进行截获、重发、编辑、转存等操作。也可以用来检测网络安全。反正好处多多，举之不尽呀！当年学习的时候也蛮费劲，一些蛮实用隐藏的小功能用了之后就忘记了，每次去网站上找也很麻烦，所以搜集各大网络的资料，总结了一些常用的功能。 Fi
阅读全文
