mongodb学习(一)
参考mongodb官网之前完成了mongodb在虚拟机window xp以及debian上的安装,但最新的3.0版本需要64位,所以从xp转向了debian,但是debian上需要每次设置log,数据库等位置命令。(此点没有弄清,但是window上没有问题,但是基本上没有影响)
之所以转向mongodb,只因为存储是一种jsonlike的数据,而每次抓取的数据都是类似以下的数据(1688.com上一条评论数据):
{ "member":"l**3", "memberTargetUrl":"http://vip.1688.com/club/buyer_growth_intr.htm", "membericon":"http://i04.c.aliimg.com/cms/upload/member/club/buy_2_star.gif", "countQuantity":null,"pnaicon":"http://i04.c.aliimg.com/cms/upload/detail/comment/personal-cert.png", "quantity":30, "tbicon":"http://i01.c.aliimg.com/cms/upload/detail/comment/taobao-icon.png", "tips":{"tbtip":"淘宝店家","pnatip":"个人实名认证","membertip":"在线采购金额等级,展示采购商在线采购实力"}, "rateItem":[{ "explainContent":"", "explainTime":"", "remarkContent":"不错 一分价钱一分货 大概就那样 能印广告就更好了", "remarkTime":"2015-03-25 15:03:53","starLevel":4 }] }
如果存储到mysql等需要进行数据的转换/正则匹配,需要花费大量时间进行数据的分析,从而降低存储和读取的效率;使用mongodb这类Nosql就可以直接存储。
介绍:(以下图片源自官网)
数据存储在每个db里面,每个db里面好多Collection,里面存储类json的docunment。
操作:
1.查询(Query)
2.修改(modification)
这里就像我每次抓取到的json直接ali_data.comment.insert(a)#a就是一个json