摘要：
1.元祖(t) 不可变，包含不同类型元素 1）支持最大长度:22 2）访问：t._1，t._2 访问1,2个元素 3）迭代元祖：tuple.productIrerator() 4）tuple.toString() 将所有元素组合成字符串 5）Tuple.swap交换元组元素 2.列表(list) 所 阅读全文
摘要：
import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.spark.streaming.Seconds import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.kaf... 阅读全文
摘要：
1.查看变量类型：a.getClass.getSimpleName //a未知变量 2.基本语法： 1）区分大小写 2）类名：类名第一个字母大写 3）方法名称：第一个字母小写 4）程序文件名：与对象名称完全匹配 5）def main(args:Array[String])：从main()方法开始处理 阅读全文
摘要：
以上是sbt代码封装以及scala代码,sbt打包后即可运行。 环境spark2.2.0 scala 2.11.8 kafka 0.10 中间遇到问题如下: Exception in thread “streaming-start” java.lang.NoSuchMethodError: org. 阅读全文
摘要：
1.lucene 6+支持 磁盘占用减少50%，索引时间减少50%，查询性能提升25% 2.聚合查询支持缓存，数据无变化情况下。 3.scroll查询，优化分页查询性能，可用于提高接口性能，可划分多个slice请求 4.profile Api ,search agg查询调优，监控查询性能消耗 5.s 阅读全文
摘要：
服务器互传文件： scp ./spark.master.tar.gz user@slave01:/home/hadoop 解压消除目录 tar -xvf eg.tar --strip-components 3 //参数：第几级目录 查看后台进程所在目录 ll /proc/PID 搜索目录下含关键字的 阅读全文
摘要：
<转> 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，利用的是Kafka高层次的消 阅读全文
摘要：
ssh localhost 生成秘钥之后无法无密码登录:chmod g-w authorized_keys 修改权限即可登录 阅读全文
摘要：
hadoop fs -ls file:/// ：列出本地文件系统根目录下的文件 hadoop fsck / -files -blocks：显示文件系统中各个文件由哪些块组成 hadoop fs -copyFromLocal localpath/filename /hdfspath/filename 阅读全文