摘要: 以淘宝网为例,进行描绘质量属性的六个常见属性场景 1.可用性 可用性与系统故障及其后果相关。当系统不再提供其规范中所说的服务时,就出现了系统故障。系统用户可以观察到此类故障。可用性是指系统正常运行时间的比例,是通过两次故障之间的时间长度或在系统崩溃情况下能够恢复正常运行的速度来衡量的。 刺激源: 用 阅读全文
posted @ 2021-03-07 11:51 城南漠北 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 学习进度笔记31 PageRank 演示 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.graphx._ import 阅读全文
posted @ 2021-02-10 10:43 城南漠北 阅读(66) 评论(0) 推荐(0) 编辑
摘要: 学习进度笔记30 Spark GraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。 众所周知·,社交网络中人与人之间有很多关系链,例如Twitter、Facebook、微博和微信等,这些都是大数据产生的地方都需要图计 阅读全文
posted @ 2021-02-09 09:42 城南漠北 阅读(54) 评论(0) 推荐(0) 编辑
摘要: 学习进度笔记29 协同过滤 import java.io.File import scala.io.Source import org.apache.log4j.{Level, Logger} import org.apache.spark.SparkConf import org.apache.s 阅读全文
posted @ 2021-02-08 07:41 城南漠北 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 学习进度笔记28 回归算法 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.mllib.regression.Linea 阅读全文
posted @ 2021-02-07 07:40 城南漠北 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 学习进度笔记27 Spark学习——Mlib机器学习 import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.mllib.clu 阅读全文
posted @ 2021-02-06 07:39 城南漠北 阅读(53) 评论(0) 推荐(0) 编辑
摘要: 学习进度笔记26 分类算法 分类算法属于监督式学习,使用类标签已知的样本建立一个分类函数或分类模型,应用分类模型,能把数据库中的类标签未知的数据进行归类。分类在数据挖掘中是一项重要的任务,目前在商业上应用最多,常见的典型应用场景有流失预测、精确营销、客户获取、个性偏好等。MLlib 目前支持分类算法 阅读全文
posted @ 2021-02-05 07:38 城南漠北 阅读(72) 评论(0) 推荐(0) 编辑
摘要: 学习进度笔记25 网络数据演示 import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.streaming.{Milliseconds, Seconds, StreamingContext} import o 阅读全文
posted @ 2021-02-04 07:37 城南漠北 阅读(53) 评论(0) 推荐(0) 编辑
摘要: 博雅数据机器学习10 贝叶斯定理 ## 计算队1获胜的概率prob_win_1 prob_win_1 = 1 - prob_win_0 ## 计算队1取胜时队0是东道主的概率 prob_win_1_home_0 = 1 - prob_win_1_home_1 ## 计算队0取胜时队0是东道主的概率 阅读全文
posted @ 2021-02-04 06:36 城南漠北 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 学习进度笔记24 读取文件演示 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.Stre 阅读全文
posted @ 2021-02-03 07:36 城南漠北 阅读(64) 评论(0) 推荐(0) 编辑