推荐系统第1周--- 推荐系统概述

推荐系统的核心思想是集体智慧

集体智慧在Web 2.0时代被发挥到了极致
集体智慧的典型场景一：维基百科
集体智慧的典型场景二：Google Page Rank
集体智慧的典型场景三：亚马逊的推荐系统

 

电子商务是推荐系统的先行者

电子商务网站是个性化推荐系统重要地应用的领域一，亚马逊就是个性化推荐系统的积极应用者和推广者，

亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。
不光是电商类，推荐系统无处不在。QQ，人人网的好友推荐；新浪微博的你可能感兴趣的人；

优酷，土豆的电影推荐；豆瓣的图书推荐；大从点评的餐饮推荐；世纪佳缘的相亲推荐；天际网的职业推荐等。
推荐引擎的鼻祖思想源泉：http://portal.acm.org/citation.cfm?id=1070751
亚马逊最早提出基亍物品的协同过滤推荐算法：http://portal.acm.org/citation.cfm?id=372071

推荐系统所涉及的知识

电子商务业务知识
网站架构和运营
机器学习算法，数学建模
大数据计算平台

 

推荐系统核心困难

符合业务场景的高精度推荐算法
大数据处理
实时性

 

推荐系统参考书

 

算法参考书

 

Mahout参考书

推荐系统可能涉及的常见算法

1聚类
2关联模式挖掘
3大规模矩阵计算
4文本挖掘
5复杂网络和图论算法

 

推荐系统实现可能涉及的IT技术

关系型数据库和SQL
Hadoop和Map-Reduce编程
Spark，Storm等基亍内存的快速计算平台
Mahout，MLLIB等机器学习算法库
Neo4J等图数据库或其它NoSQL类数据库
其它实现工具

 

图观点下的数据：社交网络

图数据库的基本思想

图（Graph）由节点（node，顶点）和关系（relationship，边）组成
图在节点上记录数据（节点的属性，property）
节点由关系组织成图，关系也具有属性
寻路（Traversal，另一意思是遍历）在图上定位由节点组成的路径
索引（index）将属性映射到节点或关系
图数据库管理系统管理图及其上的索引
Neo4J是当前主流的图数据库产品

 

图数据库的基本思想

 

 

Neo4J

 

由Neo Technology开发的开源图数据库，该公司从2000年起就开始研发图数据库，

目前neo4j已经成为领先的图数据库产品，思科，惠普，德意志电信等跨国企业均成为客户
特点：
直观的图模型存储
完全支持ACID事务
基亍磁盘的持久存储
支持海量数据，比如数十亿节点/关系/属性级别的数据
高可用的分布式集群
高度优化，迅速的图查询（Cypher图查询语言）
可以嵌入（只需几个小jar文件），支持REST AP