随笔分类 - python高级应用
Python的高级运用
摘要：继续，不多说
分析
打开网站：
然后抓取接口：
查看请求参数，发现没有什么特别的，就是多了个cookie
这个cookie咋来的？搜yuanrenxue_cookie搜不到：
那还是上抓包工具吧，抓包发现了这段js:
这，不用多说了吧，前面复杂的都研究过了，复制出来控制台执行：
ok，拿到这个去请求就完了
阅读全文
摘要：分析
打开界面：
翻页，找接口：
看参数：
也是m，不多说，看到最后有【=】，先猜一波是不是base64，拿着去解码：
阅读全文
摘要：前言
继续，还是猿人学的，既然之前已经开了篇，那么这个系列就会一直更下去
分析
开始分析，打开页面：
还是这样的，要翻完5页，然后才能得到结果，老路子，打开浏览器的调试工具翻页看看，刚点击翻页，我去，这cookie有效期有点短啊
那重新抓包吧，
又出现这个：
鼠标放到那一行右键，然后如下：
继续抓包看看，点xhr：
阅读全文
摘要：由于最近一直没有一个练手的平台，苦苦寻找好久，找到了猿人学平台，其实我很早就知道这个平台，他们搞爬虫大赛的时候我就看到了，只是没有仔细去研究，都只是大概的看了下，最近有空就特意的分析了下，还真的有点东西，至少我觉得比较有意思
分析
先看题：
然后查看翻页，这个接口不难找：
但是看提交的参数：
阅读全文
摘要：本次也是记录一个偶然发现的小问题，有关js逆向和app逆向的系列文章，放一放，有空再系统的整理成文发布了。
这个问题就很骚了，废话不多说，直接情景再现
目标网站：
aHR0cHM6Ly93d3cubW5kLmdvdi50dy9QdWJsaXNoTVBCb29rLmFzcHg/JnRpdGxlPSVFOCVCQiU4RCVFNCVCQSU4QiVFNSU4OCU4QSVFNyU4OSVBOSZTZWxlY3RTdHlsZT0lRTglQkIlOEQlRTQlQkElOEIlRTYlOUMl
阅读全文
摘要：前言
本篇文章很短，就是记录一个偶然遇到的问题
问题复现
是这样的，在用xpath解析某网站的时候，由于网站数据格式是普通的html，而非json字符串，所以只能解析DOM对象，有的能用正则表达式的我都尽量用正则表达式了，没法用正则的我都用beautifulsoup库或者pyquery了，但是没法，通用型还是没法跟xpath比，而且我已经写好一版，在有限的时间改的话就很烦了
不多说，先看问题
阅读全文
摘要：前言
本次针对某个翻译平台的js逆向，同时并不存在恶意，只是本着学习研究为主，同时，在分析期间并未高频次测试导致该平台服务器不可用
附言：
看出是哪个平台的朋友请不要评论或者说明是哪个网站，谢谢，为了安全起见哈!
分析
分析，找到接口
接口就是它了
请求参数有这些：
返回结果：
我接着又翻译了下【main】，请求参数是：
好，
阅读全文
摘要：前言
本次针对某个翻译平台的js逆向，同时并不存在恶意，只是本着学习研究为主，同时，在分析期间并未高频次测试导致该平台服务器不可用
观察
首先直接体验下：
抓包查看请求的接口：
然后请求参数有这些：
我多翻译几次之后，发现，就有4个值是一直会变得，其他不会变，就 lts，bv，salt，sign，就这四个，然后i就是我们输入的待翻译的字段
阅读全文
摘要：大概意思就是说，启动脚本的时候，这个Q脚本会检测同级目录下有没有websockify文件相关，如果没有的话，就要去github拉取代码，这个是我们脚本第一次启动的时候会作的操作，之后就不会了，而我刚才魔改的哪个token_plugins.py文件就是拉取的websockify仓库里的，也就是说，你如果中途迁移了项目，或者丢失这个文件，或者你不小心把这个we
阅读全文
摘要：# coding=utf-8
import time
from selenium import webdriver
chrome_capabilities = {
"browserName": "chrome",
"version": "",
"platform": "ANY",
"javascriptEnabled": True,
'applicationName': 'test1' # 这里指定节点名启动，如果不指定hub则随机选择空闲的node启动
}
browser = webdriver.Remote("http://<你的服务端ip>:<你刚才映射的端口>/wd/hub", desired_capabilities=chrome_capabilities)
print(123123123, browser)
browser.get("http://www.baidu.com")
print(browser.title)
time.sleep(5)
browser.get_screenshot_as_file("8.png")
browser
阅读全文
摘要：我觉得检测【反爬系统】的宗旨应该如下：
有账号的：
现在的大数据时代，各个平台争抢的就是用户数据，用户数据怎么来，就是账号注册来的，在注册的时候设置的一些问题，不管你是否如实填写，
都会对你这个账号做用户画像，提取该账号的喜欢和不喜欢，加上再获取通讯录权限，获取手机推送权限，然后每天一点点的搜集数据，到了一定
程度后，开始对这个账号进行重组信息，匹配出相似数据推送给你。
那么，也就是，作为一个正常人对于平台的价值就是获取数据。
那作为爬虫，可以伪造一个人设，然后这个账号就尽量
阅读全文
摘要：偶然发现的一个网站，需要网址的私信，不是说玩什么套路，而是毕竟不能明目张胆的把别人网址发出来
分析
打开浏览器访问，目前是正常访问:
然后它的cookie是这些：
阅读全文
摘要：要网站的，私信我（不玩套路那种） 分析 首先打开这个网站，看到由cloudflare，心里戈登一下，不慌，接着看 找到接口，查看返回数据 拿到数据接口单独请求会出现如下： 发现果然有cloundflare检测 用火狐浏览器打开 然后用重放请求功能看看，正常请求 而且能正常拿数据 那我用postman测试
阅读全文
摘要：在爬取某网站时，我们习惯于直接在浏览器里复制headers和请求参数，粘贴到自己的代码里进行调试
但是，在爬取linkg网站时，发现了一个问题：
解码失败
运行：
阅读全文
摘要：要网址私信（博客园私信即可，不用加微信、关注公众号、转发朋友圈、朋友圈集赞满等等的无聊操作，没有那些套路哈）。
分析
这次也是一个国外的代理网站，打开查看：
是的，它也是对端口做了加密，这里的rf034其实就是实际的端口，但是并没有直接显示出来，而是通过一段js实现的
那么这段js在哪呢？直接全文检索：
阅读全文
摘要：前言
其实有关AES，之前发过一版的博客文章，python爬虫- js逆向解密之破解AES(CryptoJS)加密的反爬机制
而这次虽然也是AES，但是这次的变化有点大了。
这次的目标对象同样也是我的老朋友给我的，还是老规矩，地址我不会给出来的
打开网址，界面如下：
不要问我为什么码了这么多，主要涉及到了手机号哈，马赛克必须马死
阅读全文
摘要：今天偶然看到个国外的代理网站（具体哪个保密），它的端口是做了映射的，虽然不难，但是看起来很有意思
浏览器打开是这样：
网站源码是这样：
阅读全文
摘要：言
我朋友给了我一个网站，说他们内部测试用的，要我看下有没有办法爬数据，也就是他们的搜索接口能搞不，这已经是我做反爬开始的第n个爬虫等级测试了
分析
习以为常的打开网站，然后就看到下面的界面：
阅读全文
