WebMagic使用随笔

使用WebMagic两天没有完成页面获取（使用post man已经模拟出来了）。

 

此处写下遇到的坑，以防后来人遇到。

WebMagic对post请求不友好，仅有一个request接口可以实现post方法。

当使用request时，如果请求参数为空，并不会传Content-Length:0到请求网站，网站有校验的话，无法通过。

网站如果具有防爬功能的话，WebMagic极难定制。

没有为登录等预留接口。

同事说之前用过，推荐。我就轻信了，当我遇到坑时，他们说只是玩过，应当是下过代码而已。现在已经忘了。这种推荐还是不能轻信。

 

准备寻找其他工具。放弃了WebMagic