博客中新浪图床 迁移至 阿里云的OSS
前言
因为之前有个新浪的图床，还挺好用，而且免费，自己博客的图片上传到其上面也挺方便的，但是，前几周吧，突然图片就不能访问了，之前本来是想通过添加 meta 头来解决的，但是发现没有效果。于是就自己搞了个 阿里云的OSS， 主要用作为 图床。前段时间因为数据分析写报告时，特地学了Shell，刚好Shell 就适合来处理这种数据量不是很大的数据，于是就花了点时间来迁移图床了。
前提准备
- 阿里云OSS 开通
- Shell 基础知识 curl awk cut
- 最好有博客园API Post Blog 这个接口，如果你数据多的话最好有， 要不然需要一个一个上传。
用 Shell 脚本爬取当前博客所有的 新浪图床的图片，并下载到本地
#!/bin/sh
rm -rf blog_url_list
get_img_url()
{
for url in `cat blog_url_list`;
do
if [ `curl -s $url | awk '/sinaimg.cn/ {print $0}' | wc -l` -gt 0 ]
then
folder_name=`curl -s $url | awk '/postTitle2|postTitle/ {print $0}' | cut -d "<" -f 2 | cut -d ">" -f 2 | sed 's/ //g'`
if [ ! $folder_name ];
then
folder_name=`curl -s $url | awk '/postTitle2|postTitle/ {print $0}' | sed 's/ //g' |cut -d "<" -f 3 | cut -d ">" -f 2`
fi
mkdir "$folder_name"
img_list=`curl -s $url | awk '/sinaimg/ {print $2}' | awk -F\" '/src/ {print $2}'`
for img in `echo $img_list`;
do
img_name=`echo $img | cut -d "/" -f 5`
curl -s $img -o $folder_name/$img_name
done
fi
done
}
default_page="https://www.cnblogs.com/xiyin/default.html?page="
get_all_blog_url()
{
for i in `seq 9`;
do
curl -s https://www.cnblogs.com/xiyin/default.html?page=$i | awk '/DayList_TitleUrl_0/ {print $4}'| cut -d "\"" -f 2 >> blog_url_list
done
}
get_all_blog_url
get_img_url
rm -rf blog_url_list
#while [ $beginNum -le $endNum ];
#do
# getImgUrl $beginNum `expr $beginNum + $lap` &
# beginNum=`expr $beginNum + $lap + 1`
# if [ $beginNum > $endNum ]
# then
# getImgUrl `expr $beginNum - $lap - 1` $endNum &
# fi
#done
后续步骤
上面只是第一步，把你目前的所有新浪的图床下载来，接下来你需要上传到 阿里云 OSS ，阿里云 OSS 上有挺多语言的SDK，选择自己语言的SDK进行处理，因为我的数据不是很多，于是就直接手动上传了。
当你上传到 阿里云 OSS 后，接下来就是 更换 URL 了，如果用 阿里云 OSS，你可以这样，每上传一张，然后你建立一张json文件，或者文本文件。用来映射源地址和现地址。
之后可以再写一个脚本，把你目前博客中的所有图片URL 更换，最后 调用博客园的API push 到博客园上。
因为没有 API 接口权限，硬是纯手动，我都要哭了。
有一个很蠢的事，我本来想用 并行的，就是从我最开始的博客Id 开始遍历，到我目前最新的博客，我发现。有400多万个博客数据需要处理，可笑的是我还真的写了这个代码，每个命令用 & 后台执行， 当我在命令行 敲出 sh command 时，只见电脑风扇疯狂涌动，只能关机让它冷静冷静，当时 cmd 是卡死了，发现博客园网站打不开。尴尬
