随笔分类 - 爬虫技术
摘要：前言 2023年以来一直很忙，临近春节，各种琐事更多，但鸽了太久没写文章总是不舒坦，忙中偷闲来记录下最近用C#写爬虫的一些笔记。 爬虫一般都是用Python来写，生态丰富，动态语言开发速度快，调试也很方便 但是 我要说但是，动态语言也有其局限性，笔者作为老爬虫带师，几乎各种语言都搞过，现在这个任务并
阅读全文
摘要：前言 爬虫和反爬虫是一对矛和盾，反爬虫很常见的一个方法就是封IP，一个IP短时间内频繁访问，可以做限流或者是加入黑名单，我之前的后台开发相关博客也有涉及这一块。 不过今天说的是爬虫，所以应对的方法就是用代理池，每次请求都用不同的IP就行，再加上UA模拟，完全是正常用户的行为，可以避开限流和黑名单反爬
阅读全文
摘要：每一位成功的程序员，背后也许都站着无数的秃头的男人——为其提供各种开发工具&代码库，当然也包括…… 各种玄学bug…… 玄学的开端 最近在用Python做一个爬虫项目的时候遇到一个很奇怪的问题，而且还不是每次都会触发，实在是令人费解…… 报错信息如下： UnicodeEncodeError: 'la
阅读全文
摘要：上一篇： 使用Selenium截取网页上的图片 前言 最近在搞公司内部系统，累的一批，需要从另一个内部系统导出数据存到数据库做分析，有大量的数据采集工作，又没办法去直接拿到那个系统的接口，太难了，只能爬虫，但是cookie还经常失效，为了不每次登录失效就来找我重新注入Cookie，我写了一个手机版的
阅读全文
摘要：前言 同样是为了刷课，没想到工作后依然和大学一样逃脱不了需要刷网课的命运…… 正文 直接说干货了，截取图片，需要截取的图片是什么图片大家都懂（说的就是你，验证码），其他图片的话不需要截取，直接拿到地址下载就行，验证码不行，同样的地址再访问一次内容就变了。 我不知道为啥selenium不能直接把特定i
阅读全文
摘要：前言 偶然间发现王者荣耀的官网上发布了这么多好看的壁纸。 地址:http://pvp.qq.com/web201605/wallpaper.shtml 看了一下，每一张都挺喜欢的，而且还有十多页，一张一张去慢慢下载肯定不是作为一个Geeker的正确姿势。 由于最近python用得比较多，所以看到什么
阅读全文