摘要: 我们在写python爬虫的过程中,对于大量数据的抓取总是希望能获得更高的速度和效率,但由于网络请求的延迟、IO的限制,单线程的运行总是不能让人满意。因此有了多线程、异步协程等技术。 下面介绍一下python中的多线程及线程池技术,并通过一个具体的爬虫案例实现具体运用。 多线程 先来分析单线程。写两个 阅读全文
posted @ 2022-01-10 13:36 xzajyjs 阅读(751) 评论(0) 推荐(0) 编辑
摘要: 源码见我github仓库:https://github.com/xzajyjs/Python_FilmInfo_reptile 爬取豆瓣上2009-2021年共13年的年度电影排行榜数据,可全自动爬取,爬取内容如下: 电影名称 电影分类 电影上映日期 电影票房 已知问题:部分年份的个别电影的票房信息 阅读全文
posted @ 2021-12-20 01:02 xzajyjs 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 个人博客主页: xzajyjs.cn frp是什么 简单地说,frp就是一个反向代理软件,它体积轻量但功能很强大,可以使处于内网或防火墙后的设备对外界提供服务,它支持HTTP、TCP、UDP等众多协议。 实验环境 一台拥有公网IP的VPS(Linux) 需要进行内网穿透的实验机Windows(暂不支 阅读全文
posted @ 2021-12-14 01:08 xzajyjs 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 为获得最佳的阅读体验,请访问我的个人主页: https://xzajyjs.cn/ 在红蓝对抗中,我们常需要对目标进行长时间的控制,cobaltstrike原生对于上线windows比较轻松友好,但如果是Linux平台就需要用到第三方插件了。 准备工作 这里使用CrossC2的插件,类似于在linu 阅读全文
posted @ 2021-11-11 14:48 xzajyjs 阅读(739) 评论(0) 推荐(0) 编辑
摘要: 为了更好的阅读体验,建议访问我的个人博客:点我 前言 项目地址 : https://github.com/jhao104/proxy_pool 这个项目是github上一个大佬基于python爬虫制作的定时获取免费可用代理并入池的代理池项目 我们来具体实现一下。 具体操作 1.安装配置redis 将 阅读全文
posted @ 2021-10-19 23:24 xzajyjs 阅读(1681) 评论(0) 推荐(0) 编辑
摘要: 前言 Proxychains是一个Linux和类Unix平台非常流行的命令行代理工具,它支持强制应用的TCP 连接通过代理,支持 T... 阅读全文
posted @ 2021-10-17 19:40 xzajyjs 阅读(1003) 评论(1) 推荐(2) 编辑
摘要: 个人博客:点我 链表的基础概念这里就不讲了,随便一个搜索引擎就能找到无数答案,我这里想讲点别人不会讲的东西,以及尝试如何让一窍不通于链表的同学快速理解和入门。 此处我们使用C进行演示 文章目录 结点的创建链表初始化链表的输出基础操作1. 增2. 删3. 改4. 查 完整代码约瑟夫问题 结点的创建 我 阅读全文
posted @ 2021-10-14 18:15 xzajyjs 阅读(775) 评论(0) 推荐(0) 编辑
摘要: 个人博客地址:点我 DC系列共9个靶场,本次来试玩一下一个 DC-5,只有一个flag,下载地址。 下载下来后是 .ova 格式,建议使用vitualbox进行搭建,vmware可能存在兼容性问题。靶场推荐使用NAT(共享)模式,桥接模式可能会造成目标过多不易识别。 IP DC-5: 192.168 阅读全文
posted @ 2021-10-12 12:19 xzajyjs 阅读(376) 评论(0) 推荐(0) 编辑
摘要: 个人博客 docker中文手册 Docker 是什么? docker是一个开源的软件部署解决方案;docker也是轻量级的应用容器框... 阅读全文
posted @ 2021-10-03 22:02 xzajyjs 阅读(45) 评论(0) 推荐(0) 编辑
摘要: 个人博客阅读体验更佳 本次来试玩一下vulnhub上的Billu_b0x2,下载地址。 下载下来后是 .ova 格式,建议使用vitualbox进行搭建,vmware可能存在兼容性问题。靶场推荐使用NAT(共享)模式,桥接模式可能会造成目标过多不易识别。 IP win7: 192.168.31.44 阅读全文
posted @ 2021-10-03 22:00 xzajyjs 阅读(211) 评论(0) 推荐(0) 编辑