牵牛花

摘要： https://stackoverflow.com/questions/34359211/debugging-managed-memory-leak-detected-in-spark-1-6-0 https://stackoverflow.com/questions/33518992/spark- 阅读全文

只有注册用户登录后才能阅读该文。 阅读全文

摘要： package my.bigdata.test; /** * 单例模式Demo * * 单例模式是指的什么意思？ * * 我们自己定义的类，其实默认情况下，都是可以让外界的代码随意创建任意多个实例的 * 但是有些时候，我们不希望外界来随意创建实例，而只是希望一个类，在整个程序运行期间，只有一个实例 * 任何外界代码，都不能随意创建实例 * * 那么，要实现单例模式，有几... 阅读全文

摘要： Hbase写： 客户端向hbase服务器端发送写的请求时，hbase会同时进行两个动作，把记录写在WAL(write ahead log)日志文件中,每台服务器所有表都共享这个WAL文件。然后会写到memStore内存中，memStore是内存中的写入缓存区，如果memStore写满就刷新写到硬盘， 阅读全文

摘要： package my.bigdata; /** * Created by lq on 2017/8/22. */ import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.util.Ma... 阅读全文

摘要： def test66: Unit = { val initialScores = Array(("Fred", 88.0), ("Fred", 95.0), ("Fred", 91.0), ("Wilma", 93.0), ("Wilma", 95.0), ("Wilma", 98.0)) val conf = new SparkConf().setAppName("wc").... 阅读全文

摘要： 现在要对最近7天的日志进行统计,统计结果格式如下,key(date(日期),hour(时间),site(网站))value:(pv (访问次数),uv(独立访问人数,相同的访客id去重))统计结果需要存至Hbase,使用spark写出伪代码 阅读全文

摘要： http://blog.csdn.net/UnionIBM/article/details/77850979 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-spark</artifactId> <version> 阅读全文

摘要： 其实HBase/LevelDB等系统，背后都应用了Log-structured merge tree。HBase的写操作有两个步骤：1) 写入HLog(防止宕机丢失数据), 2) 写入对应的Memstore(内存)。当Memstore写满时，其中的数据被flush到HDFS，形成一个新的数据文件(H 阅读全文

摘要： 场景: 说明.1.上面的数据是经过规整的数据,step是连续的,这个可以通过row_number实现.连续是必要的一个条件因为在计算第二个查询条件时依赖这个顺序,如果step不是数字字段可以截取然后转为数字 1、查询每一步骤相对于路径起点人数的比例 2、查询每一步骤相对于上一步骤的漏出率 说明1.s 阅读全文