摘要：
一、前言 现在越来越多的公司开始采用非关系数据库了，并且很多公司的面试都要求面试者有MongoDB的使用经验，至于非关系数据库与关系型数据库之间的区别大家可以自行百度。但是作为程序员的我们，既然大部分公司都需要有NOSQL的使用经验，自然我们就应该学习起来了。所以也就有了这个系列了。NOSQL包括很 阅读全文
摘要：
[DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 如何做全站采集? 很多同学加群都在问, 如何使用DotnetSpider做全站采集呢? 其实很简单, 只要你们想通爬虫的整个逻辑就能明白了。简而言之，步骤如下 阅读全文
摘要：
[DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 场景模拟 接上一篇, 假设由于漏存JD SKU对应的店铺信息。这时我们需要重新完全采集所有的SKU数据吗？补爬的话历史数据就用不了了。因此，去京东页面上找看是 阅读全文
摘要：
[DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 上一篇介绍的基本的使用方式，自由度很高，但是编写的代码相对就多了。而我所在的行业其实大部分都是定题爬虫, 只需要采集指定的页面并结构化数据。为了提高开发效率, 阅读全文
摘要：
[DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 使用环境 Visual Studio 2015 or later .NET 4.5 or later 如果想使用 .NET CORE 请按照官方说明安装 .N 阅读全文
摘要：
[DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 为什么要造轮子 同学们可以去各大招聘网站查看一下爬虫工程师的要求，大多是招JAVA、PYTHON，甚至于还有NODEJS，C++；再或者去开源中国查询C#的爬 阅读全文
摘要：
本篇故事的起因是携程旅游网的一位技术经理，豪言壮举的扬言要通过他的超高智商，完美碾压爬虫开发人员，作为一个业余的爬虫开发爱好者，这样的言论我当然不能置之不理。因此就诞生了以及这一篇高级爬虫的开发教程。 有人评论我上一篇的简单爬虫：代码太过简单以至于弱爆了，真是被这群有文化的孩子给雷到了！不得不猜测你 阅读全文
摘要：
前两天朋友发给我了一篇文章，是携程网反爬虫组的技术经理写的，大概讲的是如何用他的超高智商通过（挑衅、怜悯、嘲讽、猥琐）的方式来完美碾压爬虫开发者。今天我就先带大家开发一个最简单低端的爬虫，突破携程网超高智商的反爬虫技术。 一、什么是爬虫？ 很多人说我们这些搞软件的人，总喜欢把虚拟世界里的事物跟现实中 阅读全文
摘要：
上次做了一个帮公司妹子做了爬虫，不是很精致，这次公司项目里要用到，于是有做了一番修改，功能添加了网址图片采集，下载，线程处理界面网址图片下载等。 说说思路：首相获取初始网址的所有内容 在初始网址采集图片 去初始网址采集链接 把采集到的链接放入队列 继续采集图片，然后继续采集链接，无限循环 还是上图片 阅读全文
摘要：
百度地图，实现车辆轨迹绘制 实现思路： 1.根据经纬度实现车辆轨迹绘制 2.使用百度地图API的两个覆盖物实现，Polyline（折线）绘制轨迹，Marker（图标）绘制小车图标 3.将每两个坐标间连线起来，形成连贯的轨迹线路 4.生成下一个图标后删除上一个绘制的图标，形成小车移动动画感 5.本例使 阅读全文