09 2019 档案
摘要:问题描述: 原因: pom.xml中的依赖配置错误 解决方案: 本地运行时将<scope>provided</scope>去掉即可(打包时再加上)
阅读全文
摘要:1.创建拓扑,配置KafkaSpout、Bolt KafkaTopologyBasic.java: PrinterBolt.java: SentenceBolt.java 2.pom.xml设置 1)设置利用maven-assembly-plugin生成jar包方式 2)依赖包添加 注意storm-
阅读全文
摘要:Storm提交Topology运行方式分为本地和集群运行两种,其中集群运行需要将程序打包并把jar包复制到集群,通过以下方式执行: 不过有时程序运行报错提示如下: 出现问题原因是storm-core下面也存在一个defaults.yaml文件,因此storm运行时报错冲突,因此修改Maven配置文件
阅读全文
摘要:1.问题出现 一大早刚起床,阿里云就给我发了一条短信,提醒我服务器出现紧急安全事件:挖矿程序 阿里云“贴心”地提供了解决方法,不过需要购买企业版的安全服务,本着能自己动手就不花钱原则自己搞了起来 于是赶紧上网查资料解决,相似的问题好多,都是被这些脚本变成了挖矿的“肉鸡” 2.问题排查 1)首先top
阅读全文
摘要:0.时序数据库 时间序列(Time Series):是一组按照时间发生先后顺序进行排列的数据点序列,通常一组时间序列的时间间隔为一恒定值(如1秒,5分钟,1小时等)。 时间序列数据可被简称为时序数据。实时监控系统所收集的监控指标数据,通常就是时序数据 。时序数据具有如下特点: 每一个时间序列通常为某
阅读全文
摘要:1.类初始化过程 一个类要创建实例需要先加载并初始化该类 main方法所在的类需要先加载和初始化 一个子类要初始化需要先初始化父类 一个类初始化就是执行<client>()方法(编译器生成的字节码) <client>()方法由静态类变量显示赋值代码和静态代码块组成 类变量显示赋值代码和静态代码块代码
阅读全文
摘要:由于OpenTSDB没有支持Java的SDK进行调用,所以基于Java开发OpenTSDB的调用将要依靠HTTP请求的方式进行。 1.毫秒级数据写入 /api/put:通过POST方式插入JSON格式数据,将毫秒级的时间戳赋值给timestamp参数即可,JSON格式: Java中毫秒级时间戳获取方
阅读全文
摘要:1.问题描述 OpenTSDB执行./tsdb tsd启动之后,占有控制台执行并且Ctrl+C后就退出了,关闭控制台同样会退出。 2.解决方法(在/opt/module/opentsdb-2.3.1/build/目录下) 其中: nohup : 不挂断运行 ./tsdb tsd > /dev/nul
阅读全文
摘要:1.CAS导致ABA问题: CAS算法实现一个重要前提需要取出内存中某时刻的数据并在当下时刻比较并交换,那么在这个时间差中会导致数据的变化。 比如:线程1从内存位置V中取出A,这时线程2也从V中取出A,线程2进行了一些操作将值改成了B,然后线程2又将V的数据改回A;此时线程1进行CAS操作发现内存中
阅读全文
摘要:1.CAS: 比较并交换(Compare And Swap),是Unsafe类中的一条CPU系统原语,原语的执行必须是连续的,在执行过程中不允许被中断,即CAS是一条CPU的原子指令,不会造成数据不一致问题。 类似:Atomic中的compareAndSet()方法 如果期望值和真实值相同,本次操作
阅读全文
摘要:1.问题出现: 在格式化NameNode后,集群上安装的OpenTSDB的表(存在hbase中)都没有了,重新运行OpenTSDB预创建表步骤报错显示table already exists 2.原因: hadoop重新格式化后,hdfs上没有了数据,在hbase中新建表却提示Table alrea
阅读全文
摘要:1.问题 执行start-dfs.sh后在进程中查看jps,发现NameNode启动,但DataNode没有 2.原因 在失败的.log文件中看到datanode的clusterID 和 namenode的clusterID 不一致 原因可能是多次Hadoop namenode -format导致c
阅读全文
摘要:1.问题: 群起脚本启动后查看jps没有出现:QuorumPeerMain Zookeeper正常启动但是群起脚本查状态出现:Error contacting service. It is probably not running错误 2.原因: 脚本没有加上source /etc/profile;
阅读全文