博客园随笔内容进行爬取至本地并转md格式
将博客园随笔保存至本地并转md格式
1.首先博客园的robots协议
User-Agent: *
Allow: /
2.项目目的
方便博主将以上传的md随笔重新根据输入url进行下载,方便博主修改随笔
3.项目介绍功能介绍
-
功能一：批量爬取博客园首页的所有随笔字典并保存JSON文件，且随笔全部转成MD格式文件
-
功能二：输入指定随笔网址把随笔内容转成MD并且保存
由于不同博客具有不同的见状性`要根据博客能让进行适当的修改就可以使用此程序
不要加多进程与多线程进去增加博客园的负担
爬取内容请不要用做商业用途
4.项目链接
https://github.com/a568972484/html_to_md
项目中的注释我都去掉了,有注释的在压缩文档中需要的话联系我,内容与Crawl_blog_post_3中完全相同只是有注释而已
现在收到有些博客的见状性修改,已经升级到3.0版本,哈哈
内容会不断更新完善
