sjkzy

摘要： 目录 mysql数据库安装 Hive2.0 安装 mysql数据库安装 详细见https://www.cnblogs.com/sjkzy/p/14987364.html Hive安装 hive的安装模式分为两种： 1、derby作为元数据库：derby主要是作为单机模式或者说测试使用，一般不会使用d 阅读全文

摘要： row_number over()的使用： 假如我们有这样一组数据，我们需要求出不同性别的年龄top2的人的信息。这个时候怎么做？ 可能我们会首先想到分组，但是分组只能值top1，怎么样能求出top2，top3呢？这时候我们想如果分组后能够按照年龄排序然后标出来序号就好了！ id age name 阅读全文

摘要： 冷启动推荐介绍 冷启动又分用户冷启动、物品冷启动、文章冷启动等，本文主要是以在没有用户行为数据的情况下进行物品的推荐；即实现基于区域物品推荐 案例数据 用户ID 物品ID 经度 纬度 1,WP1,116.676381,23.36102 如何进行新注册用户物品推荐，主要以kmeans聚类算法进行实现， 阅读全文

摘要： 目录 回顾上节内容 Mapreduce介绍 Mapreduce工作流程图 Mapreduce案例,共9个 回顾上节内容 Hadoop组成部分 由hdfs和Mapreduce组成，hdfs是分布式文件存储，由nameNode和dataNode组成，nameNode是存储和管理元数据信息；datanod 阅读全文

摘要： http://blog.javachen.com/2014/06/24/tuning-in-mapreduce/ 本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdf 阅读全文

摘要： 算法简介 二分查找也称折半查找（Binary Search），多数的人喜欢叫他二分查找。它是一种效率较高的查找方法。但是，折半查找要求线性表必须采用顺序存储结构，而且表中元素按关键字有序排列，注意必须要是有序排列。 具体计算 二分查找的基本思想是将n个元素分成大致相等的两部分，取a[n/2]与x做比 阅读全文

摘要： 目录 大数据Hadoop组成部分 HDFS中NameNode介绍 HDFS中DataNode介绍 HDFS中NameNode和DataNode工作原理 大数据Hadoop1.0与Hadoop2.0区别 1.Hadoop1.0版本两个核心：HDFS+MapReduce 2.Hadoop2.0版本，引入 阅读全文

摘要： 目录 大数据特性 大数据带来的问题和解决方案 大数据都能做什么 大数据相关组件 大数据特性 数据量大 一切皆数据，所能看到的一切基本都可以转化为数据。海量数据呈指数级别上升。 数据多样 视频、图片、语音、文本、格式化数据、xml、各式各样数据…. 数据告诉传播 2g、3g、4g、5g每秒几GB的传输 阅读全文

摘要： 检查节点中是否自带mysql： rpm -qa | grep mysql rpm -qa | grep mariadb 如果有安装，需要卸载系统自带： rpm -e mysql【一般删除，如果提示以来的其他文件，则不能删除】 rpm -e --nodeps mysql【强制删除，包含各种依赖包】 y 阅读全文

摘要： 常用命令 重启机器 立即马上重启机器,操作命令 reboot -h now 通过yum文件安装vim 按照vim,操作命令 yum -y install vim rm 删除文件 删除文件 参数： -i 删除前逐一询问确认。 -f 即使原档案属性设为唯读，亦直接删除，无需逐一确认。 -r 将目录及以下 阅读全文