终极菜鸡

摘要： Java集合框架学习笔记 1. Java集合框架中各接口或子类的继承以及实现关系图： 2. 数组和集合类的区别整理： 数组： 1. 长度是固定的 2. 既可以存放基本数据类型又可以存放引用数据类型 3. 存放进数组的必须是相同类型的数据 VS 集合类： 1. 长度是可变的 2. 只能存放对象的引用 阅读全文

摘要： 网易云音乐用户画像大数据项目实战 之前本人整理的大多为学习笔记进行知识点的整理，而这篇将会把以前的大部分知识点串联起来，搞一个完整的项目，主要涉及的流程为模拟用户日志数据的生成，ETL以及编写sql分析函数进行最终的APP层数据的生成，由于该项目之前有做过，因此本次会在以前基础上做一些改进，将大数据 阅读全文

摘要： 感知机原理及代码实现 上篇讲完梯度下降，这篇博客我们就来好好整理一下一个非常重要的二分类算法——感知机，这是一种二分类模型，当输入一系列的数据后，输出的是一个二分类变量，如0或1 1. 算法原理 1.1 知识引入 说起分类算法，博主想到的另一个算法是逻辑回归，而感知机从原理上来说和回归类算法最大的区 阅读全文

摘要： 梯度下降法原理以及代码实现 本篇博客承接本人上一篇关于逐步回归算法的引申，本篇将开始整理梯度下降算法的相关知识。梯度下降，gradient descent(之后将简称GD)，是一种通过迭代找最优的方式一步步找到损失函数最小值的算法，基本算法思路可总结为如下几点： (1) 随机设置一个初始值 (2) 阅读全文

摘要： 最小二乘法的回归方程求解 最近短暂告别大数据，开始进入到了算法学习的领域，这时才真的意识到学海无涯啊，数学领域充满了无限的魅力和乐趣，可以说更甚于计算机带给本人的乐趣，由于最近正好看到线性代数，因此，今天我们就来好好整理一下机器学习领域中的一个非常重要的算法——最小二乘法，那么，废话不多说，我们直接 阅读全文

摘要： HBase与其他大数据组件的整合 HBase作为一个以列作为存储形式的大数据组件，具有查询快，存储的数据量大等特点，那么，该组件是如何与Hadoop生态圈中的其他组件进行整合并进行数据的各种导入导出的呢，这篇博客会就这个问题做一个详细的整理，那么废话不多说，我们直接开始吧！ 1. Hbase与Hiv 阅读全文

摘要： MariaDB修改配置文件允许远程访问 最近在使用MariaDB数据库配置用户的远程访问的时候，遇到了一个坑，费了些功夫解决了一下，特此写一下博客，以防下次再遇到的时候忘了解决方案，废话不多说，我们直接开始！ 1. 问题描述 当我们使用mysql数据库作为一个外部数据的统一接口时，需要在mysql中 阅读全文

摘要： pycharm安装第三方包问题解决 pycharm是一个基于python的非常好用的集成开发环境，而python有许多非常不错的开源第三方库，这就需要将一些这样的第三方库导入到我们的项目中去了。然而，有时会出现各种问题导致无法下载或导入这些包，那么，今天本人就在这儿对出现的一些问题及解决方案做一个整 阅读全文

摘要： Spark工作机制以及API详解 本篇文章将会承接上篇关于如何部署Spark分布式集群的博客，会先对RDD编程中常见的API进行一个整理，接着再结合源代码以及注释详细地解读spark的作业提交流程，调度机制以及shuffle的过程，废话不多说，我们直接开始吧！ 1. Spark基本API解读 首先我 阅读全文

摘要： Spark完全分布式完整部署教程 继Mapreduce之后，作为新一代并且是主流的计算引擎，学好Spark是非常重要的，这一篇博客会专门介绍如何部署一个分布式的Spark计算框架，在之后的博客中，更会讲到Spark的基本模块的介绍以及底层原理，好了，废话不多说，直接开始吧！ 1. 安装准备 部署Sp 阅读全文