第五篇 大数据基本介绍

目录

• 大数据特性
• 大数据带来的问题和解决方案
• 大数据都能做什么
• 大数据相关组件

大数据特性

• 数据量大
  一切皆数据，所能看到的一切基本都可以转化为数据。海量数据呈指数级别上升。
• 数据多样
  视频、图片、语音、文本、格式化数据、xml、各式各样数据….
• 数据告诉传播
  2g、3g、4g、5g每秒几GB的传输速度，使得数据交互越来越快
• 数据中的价值
  大量的价值潜在在数据当中，比如常见的广告推荐、用户画像、行为检测等

大数据带来的问题和解决方案

• 海量的数据如何存储
  分布式存储多台机器，如：HDFS、ODPS、AWS

• 海量的数据如何计算
  分布式计算MapReduce

• 在极其脏乱的数据中挖掘有价值的数据
  机器学习、深度学习算法

大数据都能做什么

大数据相关组件

协同过滤

• 协同过滤概念
  协同过滤由：相似性和过滤掉点击过或评价过的物品组成
• 显示评分矩阵
  1.用户直接对物品的喜爱程度，如：豆瓣评分，
  2.用户间接的对物品的喜好程度，如：需要你通过提前设定的分数来判断
  收藏：20，转发：10，评论：5， 点赞：3， 点击： 1， 曝光未点击： -1，dislike：-20
• 隐士矩阵
  通过某种方式不能体现用户喜欢的程度，如：通过点击不能具体体现喜欢程度，只有0或1
• 协同分为：用户协同过滤和物品协同过滤
  • 用户协同过滤
    
  • 物品协同过滤