10 2019 档案

摘要:先说下版本情况: Spark 2.4.3 Scala 2.11.12 Flume 1.6.0 Flume配置文件: 启动脚本: 到以上步骤均没有出现问题。但是将本地测试代码启动,尝试与Flume的sink进行连接时,崩了... Flume控制台报错: 本地IDE控制台: 解决思路 既然都有这个org 阅读全文
posted @ 2019-10-16 17:02 彪悍大蓝猫 阅读(650) 评论(0) 推荐(1) 编辑
摘要:Flume配置文件: 但是在启动Flume时,报以下错误: 解决方案: 由于用到了agent的sink是 org.apache.spark.streaming.flume.sink.SparkSink类型,需要把spark streaming flume sink_2.11 2.4.3.jar复制到 阅读全文
posted @ 2019-10-16 11:47 彪悍大蓝猫 阅读(375) 评论(0) 推荐(0) 编辑
摘要:强烈建议大家从官网下载nmap,而不是其他的第三方。官网地址:https://nmap.org/download.html 打开是这样的,感觉有点阴森森的色调。BTW,谁能逃得过真香定律呢。 windows 安装 直接选择下载这个exe安装包即可,然后选择逐步安装。安装过程中需要安装Npcap和VC 阅读全文
posted @ 2019-10-15 22:09 彪悍大蓝猫 阅读(352) 评论(0) 推荐(0) 编辑
摘要:我为什么要写这篇文章 性能测试是软件产品在发布之前必须经过的一个步骤,或在POC之时,或在UAT之前。而不同公司的业务系统千千万,本文将阐述性能测试会被忽略的地方,以及作者在实际性能测试工作期间遇到的问题。希望能对您有一点小小的启发或者帮助。 性能测试工具 我常用的性能测试工具为: Apache B 阅读全文
posted @ 2019-10-15 10:51 彪悍大蓝猫 阅读(257) 评论(0) 推荐(0) 编辑
摘要:理想很饱满,现实很骨感。 由于业务需要“灵活可配置”的功能需求,在使用java开发Influxdb查询功能的时候,遇到了一个问题,Measurement注解的名称有可能需要动态变化。 我们先看下 @Measurement 注解的代码: 问题可以转换为: 在@Measurement 注解生效之前,将变 阅读全文
posted @ 2019-10-14 15:58 彪悍大蓝猫 阅读(675) 评论(0) 推荐(0) 编辑
摘要:RDD编程 基础Spark中的RDD是一个不可变的分布式对象集合。每个RDD都被分为多个分区,这些分区运行在集群中的不同节点上。RDD可以包含Python、java、Scala中任意类型的对象,甚至可以包含用户自定义的对象。两种方法创建RDD: 1. 读取一个外部数据集 2. 在驱动器程序里分发驱动 阅读全文
posted @ 2019-10-14 13:49 彪悍大蓝猫 阅读(236) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示