摘要:
对于Linux开机自动挂载NFS共享目录的配置,百度的前几条结果里通常会这么提到: 在服务端/客户端的/etc/fstab里添加 192.168.22.204:/opt/filestore /opt/weixins1/tomcat1/webapps/filestore nfs defaults,_r 阅读全文
摘要:
问题描述 在Ubuntu14里编写了一个很简单的文件批量重命名脚本 #!/bin/bash read -p "请输入50递增的起始数字:" startA echo "\n" read -p "请输入1递增的起始数字:" startB echo "\n" read -p "请输入1递增的结束数字:" 阅读全文
摘要:
思路来源于此篇文章,归纳的非常全面,但在具体绕过方案上有些部分讲的并不够明晰,本文着重讲具体如何配置。 因为puppeteer的page.evaluateOnNewDocument在selenium中并无对应功能,所以selenium无法使用相同方案。 const browser = await p 阅读全文
摘要:
蓝奏云的下载链接解析思路并不复杂,但网上几款真实链接解析工具,要么解析出的地址只是跳转链接,要么需要输入验证码,而蓝奏云网页版在使用是几乎是不会遇上验证码的,这实际上是因为蓝奏云在下载过程中有几个小坑。 直接上可用代码,后面再进行解释: def downlanzou(lanzouurl, path, 阅读全文
摘要:
selenium是一款老牌的自动化测试工具,也被不少人用做爬虫工具。 通常我们使用时都是在Windows或者带图形界面的Linux系统下,且需配合ChromeDriver(或其他浏览器Driver),但生产环境很多时候是纯命令行的Linux环境;其实在这种条件下,selenium也是可以部署使用的, 阅读全文
摘要:
前言 此次逆向的是某“你们都懂”领域的图片站,目前此站限制注册,非会员无法访问;前两天偶然搞到了份邀请码,进入后发现质量还可以,于是尝试爬取,在爬虫编写过程中发现此站点采用了不少手段来阻止自动化脚本(或者重放攻击),可以作为一个比较有代表性的爬虫逆向案例,故记录于此。 分析过程 登录进来后,发现页面 阅读全文
摘要:
对于家中宽带有公网IP的用户,有时我们需要将路由器内部网络的某些web服务通过端口转发暴露到外网(例如NAS远程访问),但HTTP是明文传输,有被监听的风险;如果在NAS上使用自签名证书,再端口转发,会被Chrome浏览器认为是风险连接拒绝访问(笔者使用80.0.3987版本,命令行参数启动、系统添 阅读全文
摘要:
PornHub的免费视频登录后是可以直接下载的,且链接就直接放在源代码里,我们只需要在请求中带上Cookies即可下载。但收费视频只支持在线观看,如果免费用户要下载到本地,就需要找到在线播放对应的文件链接。 打开Chrome调试模式并播放视频,Network选项卡里显示视频是从https://cv. 阅读全文
摘要:
最近在逛某论坛时碰到了DuFile网盘的资源,对于这列靠下载限速+繁琐跳转促使用户付费的收费盘,当然要破解一下玩玩。经过几个小时的分析,笔者发现这家网盘的策略是比较有趣的,故此记录一下。 注意:此类收费盘,破解会员高速通道在理论上基本是不可能的,我们能做的只是规避掉等待时间。 打开链接,http:/ 阅读全文
摘要:
最近在使用Python 的wget包下载文件时遭遇了OSError: filename too long的异常,经检查下载的文件名确实很长,于是去查询Linux x86_64架构下最长文件名支持是多少。 在这篇文章中提到Linux单目录名支持最大255个字符,全路径支持4096,但出问题的文件名称才 阅读全文