Spread your wings and prepare to fly.

摘要： .NET CORE的官方（http://dotnet.github.io/getting-started/）只提供了Windows, Ubuntu14.04, 及Docker(也是基于Ubuntu14.04做的Image). 但鉴于微软已经把RedHat做为参考平台而且用Ubuntu14.04做Se 阅读全文

摘要： Global Tools是.NET Core 2.1 中一个初次出现的特性。Global Tools提供了一种方法，让开发人员编写的.NET Core应用可以打包成NuGet包交付。如果.NET Core运行在目标平台上，那么一个恰当打包的Global Tool就可以在那上面运行。JavaScript开发人员可能会发现一件有趣的事，就是这个工具直接借鉴了NPM Global Tools。 阅读全文

摘要： 一、前言 去年9月份的时候我看到过外国朋友关于.NET Framework下HttpClient缺陷的分析后对HttpClient有了一定的了解。前几日也有园友写了一篇关于HttpClient的分析文章, 于是我想深入探索一下在.NET下使用HTTP请求的正确姿势。姿势不是越多越好, 而在于精不精。 阅读全文

摘要： [DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 如何做全站采集? 很多同学加群都在问, 如何使用DotnetSpider做全站采集呢? 其实很简单, 只要你们想通爬虫的整个逻辑就能明白了。简而言之，步骤如下 阅读全文

摘要： [DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 场景模拟 接上一篇， JD SKU对应的店铺信息是异步加载的，因此无法使用上一篇的爬虫直接解决。这时我们需要重新完全采集所有的SKU数据吗？补爬的话历史数据就 阅读全文

摘要： [DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 上一篇介绍的基本的使用方式，自由度很高，但是编写的代码相对就多了。而我所在的行业其实大部分都是定题爬虫, 只需要采集指定的页面并结构化数据。为了提高开发效率, 阅读全文

摘要： [DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 使用环境 Visual Studio 2017 .NET 4.5 or later or .NET Core Visual Studio 2017 .NET 阅读全文

摘要： [DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 为什么要造轮子 同学们可以去各大招聘网站查看一下爬虫工程师的要求，大多是招JAVA、PYTHON，甚至于还有NODEJS，C++；再或者去开源中国查询C#的爬 阅读全文

摘要： 这里我们不讲安装，缺少libicu52自行安装. 安装完成后使用dotnet restore或者build都会失败，一是报编译的dll不适合当前系统，二是编译到ubuntu16.04文件夹下会产生一些问题。更麻烦的是会导致visual studio code无法安装.net core debug. 阅读全文

摘要： 问题：公司有一台闭置的windows服务器，于是想利用起来，但是在启动容器后始终无法通信成功。 研究： 1. 发现安装包中包含virtualbox, 于是怀疑windows下的docker是在virtualbox中run了一个DOCKER虚拟机（额外思考一下，你自己构建的容器运行在virtualbo 阅读全文