吹静静

摘要： 报错现象： 报错原因： pom文件中的jar包太高，可以降低jar包的版本号。 报错解决： 我将2.11换成了2.10，即可解决。 完整的pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache. 阅读全文

摘要： 报错现象： 在pom文件添加： 完整的pom文件： 阅读全文

摘要： 报错现象： Eclipse：Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project bigdata.kafkaTest: Compil 阅读全文

摘要： 以下操作均在主节点进行 1.环境变量 添加FLINK_HOME以及path的内容： 2.修改conf/flink-conf.yaml 这几乎是最简单的配置方式了，主要注意要修改jobmanager.rpc.address为集群中jobManager的IP或hostname。检查点以及HA的参数都没有 阅读全文

摘要： 在配置eclipse上的pom文件时，在配置到flink-clients_2.11 和 flink-streaming-java_2.11这两个jar包的时候不管怎么弄都报错而且包一大堆错。 最难受的就是Flink技术太新了，网上搜不到解决方案。千辛万苦找到的解决办法就是将jar包的版本调低。 下面 阅读全文

摘要： 原来的代码： 将流stream对接到xml解析的代码之后爆出错误： 解决方法： 即可成功。 阅读全文

摘要： 试验目标： 把kafka的生产者发出的数据流经由Flume放到HDFS来存储。 试验环境： java:1.8 kafka:2.11 flume:1.6 hadoop:2.8.5 试验流程： 1.进入zookeeper的bin目录，启动zookeeper $ zkServer.sh start 2.配 阅读全文

摘要： 解决方法： kafka启动的时候添加守护进程 问题原因： 待补充。。。 阅读全文

摘要： 1.下载安装包并解压 下载网址：https://flink.apache.org/ 版本选择可以根据安装的hadoop版本和Scala版本进行选择 我用的是：flink-1.3.3-bin-hadoop27-scala_2.10.tgz 解压：tar -xvf flink-1.3.3-bin-had 阅读全文

摘要： 报错现象： hadoop在stop-all.sh的时候依据的是datanode上的mapred和dfs进程号。 而默认的进程号保存在/tmp下，linux默认会每 隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。 因此删掉hadoop-hadoop-jobtracker.pid和had 阅读全文