摘要:
环境搭建版本: Ubuntu 14.04.1 LTS 64位桌面版 hadoop-2.2.0.tar.gz jdk-7u67-linux-x64.tar.gz scala-2.10.4.tgz spark-1.1.0-bin-hadoop2.4.tgz Scala配置: Scala-2.10.4解压 阅读全文
摘要:
一.MapReduce MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。分别有: "Map(映射)"和"Reduce(归约)" Map的作用是过滤一些原始数据,Reduce则是处理这些数据,得到我们想要的结果, 二.mapreduce实现图的BFS图示 要遍历的图: 输入 阅读全文
摘要:
贝叶斯公式: $P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$ 由以下的联合概率公式推导: P(Y,X) = P(Y|X)P(X)=P(X|Y)P(Y) P(Y)是先验概率,P(Y|X)是后验概率,P(Y,X)是联合概率。 机器学习中的贝叶斯: X理解成“具有某特征”,把Y理解成“类 阅读全文
摘要:
所以机子需同一个用户名安装Ubuntu系统,要联网安装,可安装必要的插件等。 一.Jdk安装与配置: Jdk解压后:sudo gedit /etc/profile 在末尾加入一下内容 1.安装rpm:sudo apt-get install rpm Hadoop安装与配置: sudo gedit / 阅读全文