阿布_alone - 博客园

2022年3月9日

摘要：在写爬虫的过程中，我们经常需要解析网站的列表页。例如下面这个例子： <html> <head> <meta charset="utf-8"> <title>测试相对路径</title> </head> <body> <div> <h1>书籍列表</h1> <ul> <li><a href="http 阅读全文

posted @ 2022-03-09 00:29 阿布_alone 阅读(272) 评论(0) 推荐(0) 编辑

Python 爬虫时，如何替换 URL 中的 query 字段？

摘要：在我们写爬虫的时候，可能会需要在爬虫里面基于当前url生成一个新的url。例如下面这段伪代码： import re current_url = 'https://www.kingname.info/archives/page/2/' current_page = re.search('/(\d+)' 阅读全文

posted @ 2022-03-09 00:22 阿布_alone 阅读(569) 评论(0) 推荐(0) 编辑

通用爬虫技术：如何正确从 URL 中移除无效参数

摘要：我们知道，URL 由下面几个部分组成：其中Query部分，中文叫做查询参数。它在 URL 中，是由等号连接的键值对。这些键值对有一些是有效的，例如： https://open.163.com/newview/movie/courseintro?newurl=MDAPTVFE8 这个网址中的newu 阅读全文

posted @ 2022-03-09 00:15 阿布_alone 阅读(172) 评论(0) 推荐(0) 编辑

2022年3月8日

关于re.sub从匹配的文本中处理后之际替换匹配匹配到的数据

摘要：以往我们进行一个正则替换都是直接把和模板匹配到的文本直接替换成一个写死的文本，如： import re a = 'asdad123456asdasd' b = re.sub("\d", "*", a) print(b) 但是呢，现在我们有个需求，从匹配的文本中进行一个提取和处理，在替换回来，这个怎么阅读全文

posted @ 2022-03-08 23:39 阿布_alone 阅读(112) 评论(0) 推荐(0) 编辑

api接口简单实现（node环境）

摘要：相信大家都遇到过这样的问题，在node运行成功的一份js在python中调用报错很多人的第一想法都是找错，但是笔者也不知道这是啥问题，推荐大家搭建接口调用js，除了方便快捷，在生产环境中还能提高效率 01 首先是逆向代码，这里简单使用一个rsa加密作为案例(encrypt.js) const {g 阅读全文

posted @ 2022-03-08 23:11 阿布_alone 阅读(187) 评论(0) 推荐(0) 编辑

2022年3月6日

爬虫入门之查找JS入口篇 --- 油猴插件的使用

摘要：咱们书接上回，昨天文章发出后，@花儿谢了大佬说有油猴脚本 Hook的方法，我之前也试过用脚本 Hook 过，但是没Hook住，因为姿势不对，用了他教的方法后，很轻松就找生成的地方了。用油猴，保头发，妥妥的。脚本如下： // ==UserScript== // @name Hook global 阅读全文

posted @ 2022-03-06 16:41 阿布_alone 阅读(787) 评论(0) 推荐(0) 编辑

油猴脚本-编写笔记

摘要：在看蔡老板的文章时发现油猴hook脚本可以像数组一样遍历函数名，虽然有点碰运气但还是可以尝试。笔记一：蔡老板的入口文章系列其中一个需要自己完成的hook脚本。 // ==UserScript== // @name HOOK 遍历 // @namespace http://tampermonke 阅读全文

posted @ 2022-03-06 12:28 阿布_alone 阅读(467) 评论(0) 推荐(0) 编辑

跨库数据备份还原、迁移工具

摘要：前言数据开发过程中，为了确保生产数据库安全，一般将实时数据同步、备份到本地测试数据库完成开发工作，最后部署应用。本文实际业务场景：需要从客户处的生成数据库（如mysql数据库）备份数据表到本地的一个sqlserver库中，将生产数据库表复制还原过来。为了快速完成数据备份操作，于是我写了个同步迁移阅读全文

posted @ 2022-03-06 11:27 阿布_alone 阅读(156) 评论(0) 推荐(0) 编辑

2022年3月5日

Chrome 开发者工具的各种骚技巧

摘要：对于每个前端从业者来说，除了 F5 键之外，用的最多的另外一个键就是 F12 了。最近大神（@小鱼二）推荐我一个网站，才知道 Chrome 还有各种骚姿势。这个网站是：umaar.com/dev-tips/，本文分享一些实用且聪明的调试技巧。转载来源来源：掘金社区 “ 阅读本文大概需要 5 分钟阅读全文

posted @ 2022-03-05 18:19 阿布_alone 阅读(67) 评论(0) 推荐(0) 编辑

爬虫必备-如何使用Chrome DevTools花式打断点

摘要：参考这份指南，结合自己手上的vue项目进行实践，可以说对原指南进行了plus，因为实践过程中会有很多指南之外的新发现。主要内容包括如下：预览几种不同的breakpoint类型代码行级(Line-of-code)断点代码里的某一行上打断点有条件的行级断点管理行级断点 DOM变化级断点几种阅读全文

posted @ 2022-03-05 15:54 阿布_alone 阅读(767) 评论(0) 推荐(0) 编辑

阿布alone

公告