摘要:
1.元祖(t) 不可变,包含不同类型元素 1)支持最大长度:22 2)访问:t._1,t._2 访问1,2个元素 3)迭代元祖:tuple.productIrerator() 4)tuple.toString() 将所有元素组合成字符串 5)Tuple.swap交换元组元素 2.列表(list) 所 阅读全文
摘要:
import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.spark.streaming.Seconds import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.kaf... 阅读全文
摘要:
1.查看变量类型:a.getClass.getSimpleName //a未知变量 2.基本语法: 1)区分大小写 2)类名:类名第一个字母大写 3)方法名称:第一个字母小写 4)程序文件名:与对象名称完全匹配 5)def main(args:Array[String]):从main()方法开始处理 阅读全文
摘要:
以上是sbt代码封装以及scala代码,sbt打包后即可运行。 环境spark2.2.0 scala 2.11.8 kafka 0.10 中间遇到问题如下: Exception in thread “streaming-start” java.lang.NoSuchMethodError: org. 阅读全文
摘要:
1.lucene 6+支持 磁盘占用减少50%,索引时间减少50%,查询性能提升25% 2.聚合查询支持缓存,数据无变化情况下。 3.scroll查询,优化分页查询性能,可用于提高接口性能,可划分多个slice请求 4.profile Api ,search agg查询调优,监控查询性能消耗 5.s 阅读全文
摘要:
服务器互传文件: scp ./spark.master.tar.gz user@slave01:/home/hadoop 解压消除目录 tar -xvf eg.tar --strip-components 3 //参数:第几级目录 查看后台进程所在目录 ll /proc/PID 搜索目录下含关键字的 阅读全文
摘要:
<转> 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据,利用的是Kafka高层次的消 阅读全文
摘要:
ssh localhost 生成秘钥之后无法无密码登录:chmod g-w authorized_keys 修改权限即可登录 阅读全文
摘要:
hadoop fs -ls file:/// :列出本地文件系统根目录下的文件 hadoop fsck / -files -blocks:显示文件系统中各个文件由哪些块组成 hadoop fs -copyFromLocal localpath/filename /hdfspath/filename 阅读全文