摘要：
前言 之前挂硬盘的时候没注意，12v和5v是反着的，导致硬盘烧掉了 （其实有闻到味，但是没想到会是硬盘烧了 直接烧穿了一个洞，浪费了100元= = 今天要做的一件事就是减少硬盘占用，我硬盘真的要满了 找了一下，元凶就是docker，先用docker info看一下当前目录是什么，确认一下 在/var 阅读全文
摘要：
网上huginn的SMTP配置有很多，但是有些教程很老了，而且也有些邮箱不适配国内的邮件服务商。所以在这里po一下我的docker配置 方便以后我进行迁移 阅读全文
摘要：
准备 先找EFI文件 【黑果小兵】Hackintosh黑苹果长期维护机型整理清单 | 黑果小兵的部落阁 (daliansky.net) 因为我是2022款的，没有2021兼容的那款那么好，所以我使用的是Git上另一位作者的EFI文件 Whandcz/CoreBook_X_2022 (github.c 阅读全文
摘要：
618冲了这台笔记本，主要目的就是刷黑苹果，叠加88vip的券，最终2200拿下（比咸鱼上那些二手机还要便宜 箱子其实蛮简陋的，毕竟国产小厂无所谓了 A面的这个标志听说是可以撕掉的，后续用吹风机试试看 可以typeC供电，但是主板会发出奇怪的吱吱声，所以还是用DC供电好了 风扇，声音不会很大，但是巨 阅读全文
摘要：
经过一段时间在公司的工作，我深刻意识到信息获取的重要性 huginn/huginn: Create agents that monitor and act on your behalf. Your agents are standing by! (github.com) 已经搭载在宿舍的服务器上了 阅读全文
摘要：
数据采集 天气 首先进入huginn新建一个WeatherAgent，huginn使用的是Dark Sky的数据 但是Dark Sky已经不让注册了，我在翻别人的攻略的时候倒是有找到一个api_key 4731c5bca1bc15e6f0738a8d0bc13665 输入以下数据 可以得到 { "a 阅读全文
摘要：
步骤 备份 进入docker内部 mysqldump --single-transaction --opt -u root -ppassword huginn_production > huginn_backupfile.sql 会在当前目录生成huginn_backupfile.sql文件 迁移 阅读全文
摘要：
前言 下载了别人的scenarios，Huginn.io (huginnio.herokuapp.com)，想看看数据是怎么进行传输的，最后怎样生成RSS 结果发现该链接已经变成了动态网页，不能使用静态获取 那么就顺便学习一下怎么爬取动态网页吧 Phantom Js agent 注册 进入网站进行注 阅读全文
摘要：
因为最近有获取RSS的需求，所以打算开始研究Huginn 复杂的事情简单化，简单的事情标准化，标准的事情流程化，流程的事情自动化 而huginn扮演的事情就是后三步 最初的素材A（或者是等待烧制RSS的网站，或者是摘要RSS），进入Huginn/工厂，通过一个又一个的Agent/车间流水线，在工厂内 阅读全文
摘要：
最近因为B站和油管的垃圾算法推荐，我取消推荐后，仍然给我推送，让我感觉很难受，所以盯上了RSS 之前我觉得RSS没有必要，只是瞎折腾罢了，深入了解了一下后，发现其还是有不少优点的 优点 优点1 最大的优点就是，我们可以不使用APP直接获取消息 比如我偶尔会看什么值得买的数码推荐榜，但是每次要获取这个 阅读全文
摘要：
之前写爬虫使用的都是强制等待，这么做的话会有问题，有的时候网络环境不好的话，那么可能始终加载不出来，所以本次采用了显示等待 隐式等待是在加载整个网页加载完成，所以还是使用显示等待，等待某个元素出现，这样会比较好一些 读取网络路径的文件出了一点儿问题，以前都是读取本地文件的 那么就读取下来 from 阅读全文
摘要：
jupyter notebook 因为之前写爬虫项目时候总是要从头开始开始跑 所以这次就安装一个jupyter，因为可以保存变量，方便我逐步调参 在终端输入 pip install jupyter 在目录下打开并且终端输入 jupyter notebook 这样就可以在网页中使用jupyter no 阅读全文
摘要：
学习内容 今天主要要做的就是将爬取到的数据放入excel文件之中 在使用selenium的时候，需要解析网页数据的话，使用driver.page_source获取到网页源代码，再使用lxml解析最方便 还踩了一个坑：将循环得到的字典添加到列表中，输出的结果出现重复最后一个字典，要把字典声明放在循环内 阅读全文
摘要：
前言 今天发现昨天的想法有误了，动态获取到的html文件，后面如果使用requests去获取的话就是静态html文件，那么就有可能得不到真实的html文件，大部分网站是不会变的，但是像大连交易所的网站就会动态加载，需要使用selenium来获取html文件 经过反复排查比对，发现是html的注释部分 阅读全文
摘要：
学习内容 Selenium是一个浏览器自动化操作框架。可以模拟用户操作。这样我们就可以用selenium做很多事情了，测试自动化，爬虫等等 但是我要写的脚本要在很多台电脑上运行，所以我要使用一个通用的脚本来支持在win7/win10上都可以运行，我要找到同时支持两个系统的浏览器内核 因为我打算写个自 阅读全文