代购类网站商品高清晰大图片(1000x1000)的采集解决方案 - hackercai - 博客园
代购类网站商品高清晰大图片(1000x1000)的采集解决方案
需求:
代购类的网站，因为我们一直没有自拍的图片，用的是外网上抓来的，有些像素不好限制了我们放大图片，需要考虑一个万全之策，让图片最大限度的放大，还要清晰。问题原因:
1.问题的根本原因:
一般采用的程序在技术上对商品上传功能技术支持不足2.图片上传采用的手段有待技术去提高和实现
1)一般情况我们的图片很多都是通过拷屏的方式去截取图片,然后压缩到385*385大小（举例）
这样的大小限制了图片放大功能的实现而且增加了很大的工作量
2)由于国外电商图片放大功能基本上是通过Flash技术来实现的
加之商品信息上传人员对网站技术不了解,找不到真正原始的商品图片
3.图片服务器
通过对市场部以及图片上传人员的调查,他们反映图片服务器容量受限
大量图片会造成图片服务器压力问题分析:
鉴于代购类业务的特殊性,我们的商品信息和图片都来源国外电商,通过我对大量国外电商
网站商品信息和图片的分析,发现他们网站基本已经提供了高质量的图片,尤其是放大后的高清晰图片例:
国外网站
http://www.xxxxxxxxxxxxxxxxxxxxx.com/
商品地址:
http://www.xxxxxxxxxxxxxxxxxxxxx.com/store/catalog/prod.jhtml?itemId=prod142710040&parentId=cat20720731&masterId=cat14120827&index=0&cmCat=cat000000cat000470cat14120827cat20720731小图地址:
http://images.xxxxxxxxxxxxxxxxxxxxx.com/products/mg/NM-3JSV_mg.jpg
高清晰大图地址:
http://imagesxxxxxxxxxxxxxxxxxxxxx.com/products/mz/NM-3JSV_mz.jpg解决方案
1.简单临时解决方案
1)网站点击大图的时候直接打开的是国外电商的高清大图2)技术人员培训图片上传人员怎么找到商品图片的原始大图的地址,然后添加到商品信息中
注:该方案实现方式最简单,但是会存在图片打开速度比较慢的情况
"找图片URL"对上传图片人员可能会有些难度2.根本解决方案
1)首先要把图片服务器搞好,使其能够容纳大图片的存储
a)图片存储
大图片一般在500K-2M之间
一条商品信息对于得图片资源(不包括商品介绍中的图片) 大约在3M左右
10万条商品信息需要300G左右的存储空间和300G左右的备份存储空间
b)图片整理
需要有对垃圾图片和失效信息对于得图片的清理功能
2)针对目前的商品上传功能进行升级
a)简单实现:
开发相应的商品信息采集功能,商品上传人员只需要输入国外电商的商品信息URL
点击采集,商品信息和商品图片自动采集到我们的网站上
然后商品上传人员在线对商品信息进行编辑优化,在线对商品图片进行裁减,放缩等操作
b)自动采集
开发专门的采集功能,定时采集或时时检测目标网站的商品信息,自动采集到我们网站然后
商品上传人员再进行编辑
3)技术实现
a)Regex技术
实现采集功能
b)Http获取远程HTML代码
c)HTML代码解析,去掉垃圾代码
d)在线图片处理技术
tapmodo-Jcrop插件
Flash在线图片处理
等等
f)自动生成各种前台要求的略缩图
如:
图片 大小 图片规模
高清原始大图 1200*1500 500K-2M
商品信息主图 330*330 100K-200K
首页展示中图 176*176 40-80K
分类页展示图 150*150 20-40K
颜色略缩图 48*48 5-15K
一条商品需要总存储空间3M左右
g)大图片的上传技术
可以采用Flash等技术
注:这些技术可以通过Baidu找到很多的案例和实现方法4)实现难点
a)图片在线处理b)对每一个国外电商进行一对一的采集插件开发
5)需要处理的问题
功能开发上线后,需要关注国外电商的商品信息展示架构是否发生变化
随时调整其采集算法的实现
