03 2018 档案
摘要：在爬虫的过程过，我们有时候往往是开多线程或者多进程或者是协程，有时间下载速度能达到2兆左右的数据，如果和这些数据插入到数据库中，使我们必须解决的问题： 目前去搞个数据库集群或者其他的对硬件的方案，可能是大公司无所谓，小公司未必能通过老板那一关。我想说的是通过代码去解决数据插入的问题，主要简单的介绍两
阅读全文
摘要：Python requests 下载 m3u8 格式 视频 最近爬取一个视频网站，遇到 m3u8 格式的视频需要下载。 抓包分析，视频文件是多个 ts 文件，什么是 ts文件，请去百度吧： 附图：抓包分析过程 直接把 ts文件请求下来，然后合并 ts文件，如果想把 ts文件转换 MP4 格式，请自行
阅读全文
摘要：两个数据库表中合并数据 如果有 t1 和 t2 两个数据库表格，它们两个对应的字段是相同的。如何将 t2 的数据插入到t1中去呢？ INSERT INTO domestic_auction_artron_2018_detail_info_1_4_all SELECT *FROM domestic_a
阅读全文
摘要：转载：https://kb.cnblogs.com/page/92320/ HTTP（HyperTextTransferProtocol）即超文本传输协议，目前网页传输的的通用协议。HTTP协议采用了请求/响应模型，浏览器或其他客户端发出请求，服务器给与响应。就整个网络资源传输而言，包括messag
阅读全文
摘要：来源于：http://www.sohu.com/a/168371748_714863 很多搞爬虫的总爱吹嘘分布式爬虫，仿佛只有分布式才有逼格，不是分布式简单不配叫爬虫，这是一种很肤浅的思想。 分布式只是提高爬虫功能和效率的一个环节而已，它从来不是爬虫的本质东西。爬虫的本质是网络请求和数据处理，如何稳
阅读全文
摘要：现在有3000条数据，需要插入到数据库中去，使用的是对链接进行MD5加密，
阅读全文
摘要：在做爬虫的时候，我们总是不想去看到网页的注释，或者是网页的一些其他元素，有没有好的办法去掉他们呢？ 例如：下面的问题 针对这三种情况，可以试用正则 sub去提取信息 运行结果是：
阅读全文
摘要：在下载图片的过程中，经常会发现图片损坏，下面提供了两种解决方法： 方法一： 方法二： 这两张方法都下载了一千多张图片作为测试，没有发现下载的图片加载到一半，或者其他错误。 记录下来，仅供以后参考使用。
阅读全文
摘要：爬取某个国外的网址，遇到的编码问题 ，在前段页面 返回的数据是 亞洲私人珍藏 ;賣，令仝好分享他Ġ
阅读全文
摘要：在写爬虫的时候，难免会遇到报错，比如 4XX ，5XX，有些可能是网络的原因，或者一些其他的原因，这个时候我们希望程序去做第二次下载， 有一种很low的解决方案，比如是用 try except 有没有看起来更舒服的写法呢？ 我们可以用递归实现这个过程 代码如下 输出结果：
阅读全文
