Li Baoquan

摘要： 1.前言 学习使用 Git 也有一段时间，但一直都是把 Git 当作一个代码仓库，使用的命令无非就是 clone, add, commit ，往往课程作业也没有过多人合作开发，没有体验过 Git 的分支操作。 但在实习时，我了解到在实际的团队开发中，一个新的功能往往都是在分支中进行开发，最终将开发好 阅读全文

摘要： 1.MyBatis 的生命周期 MyBatis的核心组件分为4个部分。 SqlSessionFactoryBuilder (构造器): 它会根据配置或者代码来生成SqISessionFactory，采用的是分步构建的 Builder 模式。 SqlSessionFactory (工厂接口): 依靠它 阅读全文

摘要： 1.前言 MyBatis 是什么？ MyBatis 是一款优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射。 MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。 MyBatis 可以使用简单的 XML 或注解来配置和映射原生信息，将接口和 Java 的 POJ 阅读全文

摘要： 1.前言 上接 "YFCC 100M数据集分析笔记" 和 "使用百度地图api可视化聚类结果" , 在对 YFCC 100M 聚类出的景点信息的基础上，使用 Spark MLlib 提供的 ALS 算法构建推荐模型。 本节代码可见： "https://github.com/libaoquan95/T 阅读全文

摘要： 本文基于《Spark 高级数据分析》第4章 用决策树算法预测森林植被集。 完整代码见 "https://github.com/libaoquan95/aasPractice/tree/master/c4/rdf" 1.获取数据集 本 章 用 到 的 数 据 集 是 著 名 的 Covtype 数 据 阅读全文

摘要： 本文基于《Spark 高级数据分析》第3章 用音乐推荐和Audioscrobbler数据 完整代码见 "https://github.com/libaoquan95/aasPractice/tree/master/c3/recommend" 1.获取数据集 本 章 示 例 使 用 Audioscro 阅读全文

摘要： 本文基于《Spark 高级数据分析》第2章 用Scala和Spark进行数据分析。 完整代码见 "https://github.com/libaoquan95/aasPractice/tree/master/c2/Into" 1.获取数据集 数据集来自加州大学欧文分校机器学习资料库（UC Irvin 阅读全文

摘要： 本文基于《Spark 最佳实践》第6章 Spark 流式计算。 我们知道网站用户访问流量是不间断的，基于网站的访问日志，即 Web log 分析是典型的流式实时计算应用场景。比如百度统计，它可以做流量分析、来源分析、网站分析、转化分析。另外还有特定场景分析，比如安全分析，用来识别 CC 攻击、 SQ 阅读全文

摘要： 1.准备 本文主要讲述如何在Ubuntu 16.04 中搭建 Spark 2.11 单机开发环境，主要分为 3 部分：JDK 安装，Scala 安装和 Spark 安装。 1. JDK 1.8： "jdk 8u171 linux x64.tar.gz" 2. Scala 11.12： "Scala 阅读全文

摘要： 1. 新建Maven项目 初始Maven项目完成后，初始的配置（pom.xml）如下： 2. 配置Maven 向项目里新建Spark Core库 3.新建Java类 新建Java类，写入Spark(Java API)代码： 运行项目，结果如下： 阅读全文