摘要：
基于【腾讯云函数】/【GitHub Actions】/【Docker】的每日签到脚本（支持多账号使用） 阅读全文
摘要：
前言 如何优雅的获取同一个网站上下一次爬取的链接并放到生成一个 Scrapy Response 呢？ 样例 from urllib import parse import scrapy class SitoiSpider(scrapy.Spider): name = "sitoi" start_ur 阅读全文
摘要：
本文原始地址：https://sitoi.cn/posts/28583.html 前期准备 一个 Mac 电脑 一个 U 盘（8GB 以上） 下载好 Linux 系统镜像（iso 文件） 具体步骤 挂载 U 盘 解挂 U 盘 写系统镜像到 U 盘 完成 一、挂载 U 盘 首先插入 U 盘，打开终端输 阅读全文
摘要：
GitHub + jsDelivr + PicGo + Imagine 打造稳定快速、高效免费图床 前言 为什么要使用图床呢？ 因为在不同平台发布同一篇文章的时候，最一个痛苦的点就是，图片存储问题，各个平台的文件存储方式各不相同，无法直接 的方式一键搞定，为了解决这个问题，使用 的方式进行文章的写作 阅读全文
摘要：
HDP 3.1.0 集成 Sqoop2 踩坑问题记录 本文原始地址：https://sitoi.cn/posts/65261.html 问题一 原因： 未设置该环境 ${hdp.version} 解决： 修改 Ambari 组件 MapRduce2 配置 将 替换成实际 的版本: |配置项|参数名| 阅读全文
摘要：
HDP 3.1.0 集成 Sqoop2 本文原始地址：https://sitoi.cn/posts/65261.html 环境 由三台主机组成的 HDP 3.1.0 集群 配置好时间同步 步骤 下载 的安装包 解压安装包到 目录下 修改 环境变量 修改 配置 导入第三方 包 配置第三方 包引用路径 阅读全文
摘要：
Livy 安装教程 本文原始地址：https://sitoi.cn/posts/16143.html 安装环境 Fedora 29 Spark PySpark 安装步骤 1. 下载 安装包 2. 解压 安装包到 目录 3. 修改配置 4. 启动 下载 Livy 安装包 下载地址： 解压 Livy 安 阅读全文
摘要：
手把手教你如何利用 HeroKu 免费获取一个 Scrapyd 集群 本文原始地址：https://sitoi.cn/posts/48724.html 准备环境 一个 GitHub 的账号 一个 HeroKu 帐号 操作步骤 利用 GitHub 帐号创建一个代码仓库 登录 HeroKu 创建 App 阅读全文
摘要：
xpath re bs4 等爬虫解析器的性能比较 本文原始地址：https://sitoi.cn/posts/23470.html 思路 测试网站地址： "http://baijiahao.baidu.com/s?id=1644707202199076031" 根据同一个网站，获取同样的数据，重复 阅读全文
摘要：
国内加速访问 GitHub 本文原始地址：https://sitoi.cn/posts/23395.html 中国访问 GitHub 的速度不忍直视，那就叫一个慢！ 解决方法 不需要科（）学（）上网，也不需要开代理加速器。 一、查询网址对应的 IP 地址 查询地址： "https://www.ipa 阅读全文