摘要：
ps：浪了好几周，我的锅。。。 前几天想爬取一个用户网站自动创建每个用户的资料方便注册一些账号，想写一个通用点的爬虫程序爬取只要配置一些爬取规则、爬取深度就ok，避免代码改动，由于时间关系只完成的个半成品，后面在考虑是用xml文件作为配置文件，还是简单的使用.ini文件，后者虽然简单但局限性太大，所 阅读全文
摘要：
最近在浪潮服务器上安了xenserver系统，创建虚拟机，没注意磁盘超负载就重启了服务导致各种坑，一言难尽，忧伤逆流成河啊，所以准备将各种操作整理总结记录下，持续更新ing~~ 查看是否分区 cat /proc/partitions 查看磁盘分区 如果新硬盘没有分区，应该执行如下操作 fdisk - 阅读全文
摘要：
在爬取网站时常遇到异步加载的情况，必须点击或者下拉滚动条才会加载出更多的图片或视频，在源码中却一片空白，我一开始遇到时候也有点懵，了解了就好，还是请求。学过一些前端知识的朋友都清楚其实就是ajax异步加载js，这是为了提高用户的体验，许多网站都使用这种方法。 究其根本，其实就是将这部分请求放在了后台 阅读全文
摘要：
八月入职新公司，发现公司的爬虫系统主要用Java实现的偶尔用一些python，为此又看了下Java爬虫，顺便用之前同事推荐我的美女图片网站练手（之前推荐时候python爬虫勉强算经验丰富，感觉难度太低没去爬，这次刚好拿来练手），附上网址http://www.mm131.com/，(对了，这个网站爬取 阅读全文
摘要：
下半场ING，好吧，本来准备明天写的（拖延真快乐.gif），请然而,,,早上八点多跑公司加班（看书+学习）去，发现大门上挂着一把大锁，我只想说门禁是拿来看的嘛，加啥破锁o（╥﹏╥）o，严重打击了好员工的加班热情[○·`Д'·○]，所以滚回来写博客了，忧伤，写了点代码还踩了半天坑（偷懒惹的祸），忧伤1 阅读全文
摘要：
干活干活，区区懒癌已经阻挡不了澎湃的洪荒之力了...... 运行环境：Windows基于python3.6 抓取视频时遇到M3U8的确挺烦人的，去年年底实习，由于项目需求所以和一个同事主攻蟒蛇爬虫，抓取含有清晰人脸的图片和视频，在爬取一些视频网站和直播网站时就被“它”糊了一脸，作为一只，呃，不对，是 阅读全文