摘要:
Spark应用_PageView_UserView_HotChannel 一、PV <!--more--> 对某一个页面的访问量,在页面中进行刷新一次就是一次pv PV {p1, (u1,u2,u3,u1,u2,u4…)} 对同一个页面的浏览量进行统计,用户可以重复 1 2 3 4 5 6 7 8
阅读全文
posted @ 2017-03-04 20:31
日月的弯刀
阅读(529)
推荐(0)
编辑
摘要:
Cloudera Manager安装_搭建CDH集群 cpu <!--more--> 内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server || Agent 10G 6G 5G CDH2_node10 Agent 2G 1-1.5G 1G CDH3_node11 Age
阅读全文
posted @ 2017-03-03 09:08
日月的弯刀
阅读(43039)
推荐(2)
编辑
摘要:
hbase性能调优案例 1、人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 1、人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 设计思路 person表
阅读全文
posted @ 2017-03-02 23:45
日月的弯刀
阅读(1555)
推荐(0)
编辑
摘要:
ItemCF_基于物品的协同过滤 1. 概念 <!--more--> 2. 原理 如何给用户推荐? 给用户推荐他没有买过的物品--103 3. java代码实现思路 数据集: 第一步:构建物品的同现矩阵 第二步:构建用户的得分矩阵 第三步:同现矩阵*评分矩阵 第四步:拿到最终结果,排序,得到给用户的
阅读全文
posted @ 2017-03-02 23:34
日月的弯刀
阅读(3127)
推荐(1)
编辑
摘要:
TF-IDF 1. 概念 2. 原理 3. java代码实现思路 数据集: 三个MapReduce 第一个MapReduce:(利用ik分词器,将一篇博文,也就是一条记录中的content进行词的拆分) 第一个MapReduce最终运行的结果: 1. 得到数据集中微博的总数; 2. 得到每个词在当前
阅读全文
posted @ 2017-03-02 23:33
日月的弯刀
阅读(1359)
推荐(0)
编辑
摘要:
PageRank 1. 概念 1. 概念 2. 原理 3. java代码实现思路 1、定义收敛标准 每次算出新的pr-oldpr=差值 ,所有页面的差值累加 ,除以pagecount,得到avg差值 ,如果。小于0.01 2、计算总页面数,并且算出每个页面的初始pr值=1/pagecount 3、
阅读全文
posted @ 2017-03-02 23:32
日月的弯刀
阅读(381)
推荐(0)
编辑
摘要:
Spark_总结一 1.Spark介绍 1.1什么是Spark? Apache Spark是一个开源的集群计算框架,使数据计算更快(高效运行,快速开发) <!--more--> 1.2Spark比Hadoop快的两个原因 第一,内存计算 第二,DAG(有向无环图) 2.Spark运行模式(四种 )
阅读全文
posted @ 2017-03-02 23:28
日月的弯刀
阅读(2921)
推荐(0)
编辑
摘要:
HQL学习 1.hive的数据类型 2.hive_DDL 2.1创建、删除、修改、使用数据库 2.hive_DDL 2.1创建、删除、修改、使用数据库 Default数据库,默认的,优先级相对于其他数据库是最高的 2.2重点:创建表_内部表_外部表 hive通过sql来分析hdfs上结构化的数据,将
阅读全文
posted @ 2017-03-02 23:12
日月的弯刀
阅读(637)
推荐(0)
编辑
摘要:
Spark高可用集群搭建 node1 node2 node3 1.node1修改spark-env.sh,注释掉hadoop(就不用开启Hadoop集群了),添加如下语句 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKE
阅读全文
posted @ 2017-03-02 23:08
日月的弯刀
阅读(1646)
推荐(0)
编辑
摘要:
Spark集群搭建_YARN 前提:参考Spark集群搭建_Standalone 1.修改spark中conf中的spark-env.sh <!--more--> 2.Spark on YARN--不需要启动Spark集群,因为已经在spark的配置文件中配置了hadoop的目录 2.Spark o
阅读全文
posted @ 2017-03-02 23:06
日月的弯刀
阅读(883)
推荐(0)
编辑