ziyuliu - 博客园

2021年3月3日

摘要：软件架构师是指在软件项目开发过程中，根据客户的需求以及行业市场等需求将所开发的软件，根据客户的需求以及行业市场的需求将软件所要实现的需求功能转换为规范的软件开发计划及文本，将将软件开发过程中所涉及的流传的流程与架构进行设计和管理，制定项目的总体架构并指导整个开发团队实施的专业人员。是主导系统全局分析阅读全文

posted @ 2021-03-03 22:14 ziyuliu 阅读(86) 评论(0) 推荐(0) 编辑

Spark内核原理

摘要：依赖关系宽窄依赖宽依赖:有shuffle 父RDD的一个分区会被子RDD的多个分区所依赖窄依赖:没有shuffle 父RDD的一个分区只会被子RDD的1个分区所依赖为什么需要宽窄依赖总结: 窄依赖: 并行化+容错宽依赖: 进行阶段划分(shuffle后的阶段需要等待shuffle前的阶段阅读全文

posted @ 2021-03-03 17:29 ziyuliu 阅读(94) 评论(0) 推荐(0) 编辑

学习进度报告02

摘要：今天学习了Spark内核原理，理清楚了其中的工作机制。阅读了王概凯的架构漫谈，颇有收获。阅读全文

posted @ 2021-03-03 09:19 ziyuliu 阅读(35) 评论(0) 推荐(0) 编辑

2021年3月2日

学习进度报告01

摘要：今天在课上学习了架构架构实际上就是指人们根据自己对世界的认识，为解决某个问题，主动地、有目的地去识别问题，并进行分解、合并，解决这个问题的实践活动。架构解决人的问题。另外课下学习了Spark中的RDD算子的学习阅读全文

posted @ 2021-03-02 17:42 ziyuliu 阅读(54) 评论(0) 推荐(0) 编辑

2021年3月1日

RDD学习

摘要：背景： RDD:弹性分布式数据集,是Spark中最基本的数据抽象,用来表示分布式集合,支持分布式操作! 五大属性分区列表: A list of partitions 计算函数: A function for computing each split 依赖关系: A list of dependen 阅读全文

posted @ 2021-03-01 16:11 ziyuliu 阅读(132) 评论(0) 推荐(0) 编辑

2021年2月23日

Spark3.0搭建

摘要：安装： sudo tar -zxf /home/hadoop/下载/spark-3.0.1-bin-hadoop3.2.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-3.0.1-bin-hadoop3.2/ ./spark sudo chown - 阅读全文

posted @ 2021-02-23 22:14 ziyuliu 阅读(689) 评论(0) 推荐(0) 编辑

2021年2月19日

无监督学习包含算法

摘要：聚类 K-means(K均值聚类) 降维 PCA K-means原理我们先来看一下一个K-means的聚类效果图 K-means聚类步骤 1、随机设置K个特征空间内的点作为初始的聚类中心 2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别 3、接着对着标记的聚类中阅读全文

posted @ 2021-02-19 16:28 ziyuliu 阅读(285) 评论(0) 推荐(0) 编辑

2021年2月18日

模型保存和加载

摘要：当训练或者计算好一个模型之后，那么如果别人需要我们提供结果预测，就需要保存模型（主要是保存算法的参数） sklearn模型的保存和加载API from sklearn.externals import joblib 保存：joblib.dump(rf, 'test.pkl') 加载：estimato 阅读全文

posted @ 2021-02-18 22:29 ziyuliu 阅读(50) 评论(0) 推荐(0) 编辑

分类算法-逻辑回归与二分类

摘要：逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。逻辑回归的应用场景广告点击率是否为垃圾邮件是否患病金融诈骗虚假账号看到上面的例子，我们可以阅读全文

posted @ 2021-02-18 18:06 ziyuliu 阅读(650) 评论(0) 推荐(0) 编辑

线性回归的改进-岭回归

摘要：带有L2正则化的线性回归-岭回归岭回归，其实也是一种线性回归。只不过在算法建立回归方程时候，加上正则化的限制，从而达到解决过拟合的效果 API sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", norma 阅读全文

posted @ 2021-02-18 00:20 ziyuliu 阅读(366) 评论(0) 推荐(0) 编辑

Flamel

公告