08 2017 档案
摘要：Checkpoint机制 通过前期对Spark Streaming的理解，我们知道，Spark Streaming应用程序如果不手动停止，则将一直运行下去，在实际中应用程序一般是24小时*7天不间断运行的，因此Streaming必须对诸如系统错误、JVM出错等与程序逻辑无关的错误（failures
阅读全文
摘要：基本类型和操作 类型说明，与java一致值类型 范围 Byte 8位有符号补码整数（-27～27-1） Short 16位有符号补码整数（-215～215-1） Int 32位有符号补码整数（-231～231-1） Long 64位有符号补码整数（-263～263-1） Char 16位无符号Uni
阅读全文
摘要：原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView# lateral view用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据
阅读全文
摘要：PV、UV、IP的区别 作者：段漫 日期：2010/6/2 23:06:47 网站推广需要一个网站访问统计工具，常用的统计工具有百度统计、51la、量子恒道统计等。网站访问量常用的指标为PV、UV、IP。那么什么是PV、UV和IP，PV、UV、IP的区别是什么？ --首先来看看ip、uv和pv的定义
阅读全文
摘要：重复这个实验的注意事项 1.首先要知道自己topic ,分区数,checkpoint的文件夹 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic t
阅读全文
摘要：public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "mini1:9092"); props.put("group.id", "test123456"); prop...
阅读全文
摘要：由于用的是父-子项目 在自项目中各种改都不行,还是报错,而且子项目中明明已经导入了还在报错,后面发现是父项目中的scope是test 注释掉就好了
阅读全文
摘要：Parquet是列式存储格式的一种文件类型，列式存储有以下的核心优势: 可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量压缩编码可以降低磁盘存储空间，由于同一列的数据类型是一样的，可以使用更搞笑的压缩编码(例如Run Length Encoding和Delta Encoding)进一步几月
阅读全文
摘要：整理kafka相关的常用命令创建主题（4个分区，2个副本）bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test查询集群描述bin/kafka
阅读全文
摘要：序列化与反序列化,使用场景,在spark中executor执行task时的 task类 task被写到文件经过网络传输到达另一个节点然后执行,(移动计算)
阅读全文
摘要：kafka节点之间如何复制备份的？ kafka消息是否会丢失？为什么？ kafka最合理的配置是什么？ kafka的leader选举机制是什么？ kafka对硬件的配置有什么要求？ kafka的消息保证有几种方式？ 作者：半兽人链接：http://orchome.com/kafka/index来源：
阅读全文
摘要：/** * Created by lq on 2017/8/29. */ object JedisConnectionPool { val config = new JedisPoolConfig() //最大连接数 config.setMaxTotal(10) //最大空闲连接数 config.setMaxIdle(5) //当调用borrow object ...
阅读全文
摘要：http://spark.apache.org/docs/1.6.1/streaming-programming-guide.html#output-operations-on-dstreams
阅读全文
摘要：Kafka auto.offset.reset值详解 发表于2017/7/6 11:25:22 1010人阅读 分类： Kafka 昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earlie
阅读全文
摘要：4.6 Message Delivery Semantics Now that we understand a little about how producers and consumers work, let's discuss the semantic guarantees Kafka pro
阅读全文
摘要：SimpleDateFormat的线程安全问题与解决方案 总结,当sdf为static的时候,多个对象共享一个sdf的变量,sdf 的parse方法执行的时候里面记录值得 在线程内部是顺序执行的,所有一个线程里面使用一个sdf不存在线程会被另一个线程影响的问题
阅读全文
摘要：https://leocook.gitbooks.io/java-nio-programming-guide/content/
阅读全文
摘要：在一些场景中需要根据根据一个传入的额值来做不同的处理,而且if有很多层,此时如果一直写if代码就会雍容.一种比较好的方法就是写一个map列出与if对应的情况,然后map的value就能放一些方法或者其他变量. 没有出现if但是得到了if的效果,如果有else的话,那就是map.get(key)的情况
阅读全文
摘要：很多用户对留存的计算有疑问，下面较详细的解释了日/周/月留存数据的算法，有任何问题，欢迎跟帖讨论什么是留存用户？某段时间内的新增用户，经过一段时间后，仍继续使用应用的被认作是留存用户，这部分用户占当时新增用户的比例即时留存率。统计留存用户的时间粒度有哪些？自然日：包括1天后、2天后、3天后、4天后、
阅读全文
摘要：Accumulator简介 Accumulator是spark提供的累加器，顾名思义，该变量只能够增加。 只有driver能获取到Accumulator的值（使用value方法），Task只能对其做增加操作（使用 +=）。你也可以在为Accumulator命名（不支持Python），这样就会在spa
阅读全文
摘要：http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.Accumulator
阅读全文
摘要：场景描述,在hive中需要一张中间表,比如一个已知设备库,但是随着用户的增加,设备库是要数据量谁要增加的,(insert新的数据,保留已有的数据).然后在业务中使用 解决方案,第一次create select ,之后每次都 insert into select ,这是select 的就很关键,这个s
阅读全文
摘要：java获取当月的第一天和最后一天,获取本周的第一天和最后一天 使用场景,计算日活跃,周活跃,月活跃是的日期计算
阅读全文
摘要：以上对long类型数据的累加,double类型的数据累加是将double类型*10000,这样将double转成一个long类型的数字进行累加,使用这种方法时要注意控制double类型数据的精度
阅读全文
摘要：当别人问这个问题的时候，别人肯定是想你是否看过源码。是否针对不同场景改过kafka的分区模式 这是别人最想知道的是，你的message如何负载均衡的发送给topic的partition 我们用kafka的时候，可以动态指定partition，也可以不指定partition 当我们动态指定了partition的时候，kafka会将消息发送到指定的partition 如果没有指定partition ...
阅读全文
摘要：#!/bin/bash#每天定时位外部表加载分区#服务器当天的时间#加载环境变量source /etc/profile;#如果没有指定日期用当前日期如果指定的日期使用指定的日期echo 'starting...'if [ -z $1 ] then curdate=`date +%Y%m%d`else
阅读全文
摘要：在shell中如何判断HDFS中的文件目录是否存在
阅读全文
摘要：使用maven 命令 maven install 在项目所在文件夹 执行.
阅读全文
摘要：sparksql 2.和hive2.1.1 由于sparksql中的hive-cli 等包的版本是1.2的需要自己下载,下载替换之后不报错,替换之前做好备份
阅读全文
摘要：SparkSQL ThriftServer服务的使用和程序中JDBC的连接 此时要注意版本问题,我第一次用的是hive2.1.1的,因为要用sparksql的hive服务,但是sparksql默认的是1.2的,在替换了下面四个包之后 hive-beeline-1.2.1.spark2.jar hiv
阅读全文
摘要：要注意shutdown与exit之间的不同：shutdown表示关闭hbase服务，必须重新启动hbase才可以恢复，exit只是退出hbase shell,退出之后完全可以重新进入。 hbase使用坐标来定位表中的数据，行健是第一个坐标，下一个坐标是列族。 hbase是一个在线系统，和hadoop
阅读全文
摘要：1 计数器 计数器可以方便、快速地进行计数操作，而且避免了加锁等保证了原子性的操作。 1.1 Java API 操作 HBase 计数器 public Result increment(final Increment increment) public long incrementColumnVal
阅读全文
摘要：3. object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord) val stream = KafkaUtils.createDirectStream[String, String]( ssc,
阅读全文
摘要：package clickstream import java.util.{Properties, Random, UUID} import kafka.producer.{KeyedMessage, Producer, ProducerConfig} import org.codehaus.jettison.json.JSONObject /** * Created by 郭飞 on 2...
阅读全文
摘要：flume 当sourcetype=http的时候可以用 curl -X POST -d '[{"headers" :{"APPSTORE" : "qq"},"body" :"CZ"}]' http://mini1:50000 当sourcetype=avro的时候,第一种来源是上一个flume,第
阅读全文
摘要：注意val后面不能用空格,就因为有空格坑了我两个小时
阅读全文
摘要：使用场景,在做全国各省ip访问统计时要将sparkStreaming的数据存在mysql中,按照一般设计,id,province,counts,time,这样就需要每次清空表,但是如果多分区的话就存在删除表的时候回出现后一个分区可能把前一个分区的数据删除掉,当然最好的办法是每次都只更新而不删除,但是
阅读全文
摘要：Exception in thread "main" redis.clients.jedis.exceptions.JedisDataException: DENIED Redis is running in protected mode because protected mode is enab
阅读全文
摘要：可能出现的问题： 注意事项： http://www.nilday.com/2016/12/
阅读全文
摘要：1.在产生随机数时,在数据规模很大的时候很难出现自己要的模型,比如某个条件的数据量,此时要写一个方法,来造一批这样的数据 2.将控制数量,文件路径写成配置文件的形式,以免重复打包 3.输入输出文件夹,可以配置以免重复打包
阅读全文
摘要：jsonp http://blog.csdn.net/column/details/jsoup.html
阅读全文
摘要：一、回收站简介： 在HDFS里，删除文件时，不会真正的删除，其实是放入回收站/trash，回收站里的文件可以快速恢复。 可以设置一个时间阀值，当回收站里文件的存放时间超过这个阀值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。 二、实例： Hadoop的回收站trash功能默认是关闭的
阅读全文
摘要：Sparkstreaming reduceByKeyAndWindow(_+_, _-_, Duration, Duration) 的源码/原理解析
阅读全文
摘要：spark streaming updateStateByKey 用法
阅读全文
摘要：spark streaming kafka1.4.1中的低阶api createDirectStream使用总结
阅读全文
摘要：val updateFunc2 = (iter:Iterator[(String,Seq[Int],Option[Int])])=>{ iter.map{case (x,y,z) => //由于Some的get方法得到的还是一个Some.所以这里要在用一个get方法 //,如果最开始的时候用的时flatmap那么这里就不用调用get方法,这里可以推测出Flat...
阅读全文
摘要：package my.bigdata.movieTask.action; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSONObject; import java.util.ArrayList; import java.util.Ha...
阅读全文
摘要：spark-streaming与flume整合 push http://spark.apache.org/docs/1.6.3/streaming-flume-integration.html
阅读全文
摘要：转：spark通过合理设置spark.default.parallelism参数提高执行效率 spark中有partition的概念（和slice是同一个概念，在spark1.2中官网已经做出了说明），一般每个partition对应一个task。在我的测试过程中，如果没有设置spark.defaul
阅读全文
摘要：编译hadoop2.6.4 1、JDK8版本过高，换成JDK7； 2、换成命令行mvn package -Pdist,native -DskipTests-Dtar-Dmaven.javadoc.skip=true 注意：检查命令中-符号，而不是中文—，-Dmaven.javadoc.skip=tr
阅读全文
摘要：1.求每家公司有哪些产品 2.验证par方法 case 的另一种使用场景
阅读全文
摘要：def test4(): Unit = { val conf = new SparkConf().setAppName("WC").setMaster("local[2]") val sc = new SparkContext(conf) val arr = List(("Apache" -> "Spark"), ("Apache" -> "Kafka"), ("Orac...
阅读全文
摘要：写在前面:hive的版本是1.2.1spark的版本是1.6.x http://spark.apache.org/docs/1.6.1/sql-programming-guide.html#hive-tables 查看hive和spark版本对应情况 SparkSQL操作Hive中的表数据spark
阅读全文
摘要：Phoenix综述（史上最全Phoenix中文文档）
阅读全文
摘要：CentOS 7 上systemctl 的用法 [日期：2014-11-10] 来源：Linux社区 作者：Linux [字体：大 中 小] 我们对service和chkconfig两个命令都不陌生，systemctl 是管制服务的主要工具， 它整合了chkconfig 与 service功能于一体。 systemctl is-enabled iptables.service ...
阅读全文
摘要：转载请注明出处：http://blog.csdn.net/lastsweetop/article/details/9187721 作为输入 当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。 作为输出 当mapreduce的输出文件需要压缩时，
阅读全文
摘要：由spark的源码源码的注释可以知道,spark可以读取本地数据文件,但是需要在所有的节点都有这个数据文件(亲测,在有三个节点的集群中,只在master中有这个数据文件时执行textFile方法一直报找不到文件, 在另外两个work中复制这个文件之后,就可以读取文件了)
阅读全文
摘要：spark 1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别： 使用spark-shell进入spark shell 交互界面： 输入命令： sc.textFile("\huawei\mr\20161120\880873\*.gz").foreach(println) 回车后是可以
阅读全文
摘要：http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html Blah, blah, blah - I just want to get started!Ok, great! Just follow our install instruct
阅读全文
摘要：脚本使用小结： 1.开启集群，start-hbase.sh 2.关闭集群，stop-hbase.sh 3.开启/关闭所有的regionserver、zookeeper，hbase-daemons.sh start/stop regionserver/zookeeper 4.开启/关闭单个region
阅读全文
摘要：https://stackoverflow.com/questions/38495331/apache-phoenix-unable-to-connect-to-hbase 这个坑不该啊 首选配置hbase 集群是按照官网配置的 配置phoenix 是按照官网上配置的,结果就是报错了,看了stock
阅读全文
摘要：首先实现rdd缓存 准备了500M的数据 10份,每份 100万条,存在hdfs 中通过sc.textFile方法读取 val rdd1 = sc.textFile("hdfs://mini1:9000/spark/input/visitlog").cache 在启动spark集群模式时分配内存2g
阅读全文
摘要：result: List(2, 4, a, b) List(2, 4, List(a, b)) flatMap就是在Map的基础上加了压平flatten的功能 foldLeft 从左边起折叠,累加 https://alvinalexander.com/scala/scala-reduceleft-e
阅读全文
摘要：package my.bigdata.scala08import scala.collection.mutableimport scala.collection.mutable.ArrayBufferimport scala.io.Source/** scala word count * Created by lq on 2017/8/7. */object Task2 { /** ...
阅读全文
摘要：val data2Mysql2 = (iterator: Iterator[(String, Int)]) => { var conn: Connection = null; var ps: PreparedStatement = null val sql = "Insert into location_info(location,counts,accesse_date)...
阅读全文
摘要：class NetworkUtilTest extends FunSuite with Matchers { test("testIp2Int") { val ip = NetworkUtil.ip2Int("192.168.120.60") ip should be(1014540480) }} org.scalatest ...
阅读全文
摘要：def nonNegativeMod(x: Int, mod: Int): Int = { val rawMod = x % mod rawMod + (if (rawMod 0 case _ => Utils.nonNegativeMod(key.hashCode, numPartitions) }
阅读全文
摘要：max 函数 在hive中max函数是一个聚合函数,所以,而且返回值是double ,而且后面必须跟group by ,这个和mysql差异很大 Built-in Aggregate Functions (UDAF) DOUBLEmax(col)Returns the maximum value o
阅读全文
摘要：当前MySQL服务器的版本号 使用那个命令来参看MySQL的帮助信息 帮助主题供我们查看. 命令为: ? contents 例如查看max方法的使用方法则输入? max即可 这个在navcat中是不支持的
阅读全文
摘要：如果小于Int.max时他不会报错 721011081081118251528962147483647
阅读全文
摘要：http://flume.apache.org/FlumeUserGuide.html#custom-channel-selector 官方文档上channel selectors 有两种类型: Replicating Channel Selector (default) Multiplexing
阅读全文
摘要：这里演示在单机fulume环境下,kafka作为source ,chanel , sink时三种情况 下面的测试都是基于下面的基本的配置文件进行修改的 kafka作为source时的配置和produce程序 kafka作为channel时 ,topic必须是一个新的topic如果topic中存在数据
阅读全文
摘要：http://www.acmerblog.com/median-of-two-sorted-arrays-5967.html
阅读全文
摘要：链接：https://pan.baidu.com/s/1i5KKewd 密码：gjaj
阅读全文
摘要：http://lxw1234.com/archives/2015/07/350.htm java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
阅读全文
