会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
学无涯,苦做舟
阿邦
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2021年1月20日
nginx代理ftp上传下载
摘要: 出于安全考虑,使用nginx服务来代理ftp的上传下载功能 安装nginx 在/etc/nginx/nginx.conf文件的下面添加如下配置,并在开始位置添加user root,其中ftpIp为ftp服务所在的机器ip,port为ftp服务的端口号 stream{ upstream ftp{ ha
阅读全文
posted @ 2021-01-20 15:21 阿邦1027
阅读(697)
评论(0)
推荐(0)
编辑
nifi改造---CsvRecordSetWriter处理器解析时间数据不正确的问题
摘要: 当从数据库获取日期时间数据,然后使用CsvRecordSetWriter服务将数据转换为csv数据时,会出现日期时间数据和数据库中的数据不一致的问题 查看源码之后发现在日期时间数据转换时,nifi默认使用gmt时区,且没有给显示选择或填写的地方,因此修改/nifi-1.11.4/nifi-commo
阅读全文
posted @ 2021-01-20 11:27 阿邦1027
阅读(332)
评论(0)
推荐(0)
编辑
nifi改造---ftp数据获取处理器报找不到home目录的问题
摘要: 当ftp的根目录不是机器的一级目录时,如根目录为/home/ftp时,nifi的GetFtp处理器会报找不到home的问题,经过排查源码发现有bug, 修改nifi的nifi-standard-bundle/nifi-standard-processors/src/main/java/org/apa
阅读全文
posted @ 2021-01-20 11:20 阿邦1027
阅读(227)
评论(0)
推荐(0)
编辑
nifi改造---ftp数据获取数据流卡死的情况
摘要: nifi是apache的顶级开源项目,可以用来做数据流的分发和处理,目前最新版本是1.12.1,但是该项目中存在一些bug,这里记录一下我在使用过程中踩过的坑,给遇到同样问题的同学一点经验。 在使用GetFtp处理器获取数据时,有时会遇到数据获取特别慢的情况,经过我查看源码之后,发现可以在nifi-
阅读全文
posted @ 2021-01-20 11:02 阿邦1027
阅读(547)
评论(0)
推荐(0)
编辑
kafka集群安装
摘要: 这里介绍kafka集群的docker容器化安装 下载好kafka.tar安装包 在集群机器上安装docker环境,设置为开启自启动 将kafka.tar文件拷贝到机器的/opt/kafka目录下 使用docker load -i kafka.tar命令将kafka相关镜像导入 使用docker ru
阅读全文
posted @ 2021-01-20 10:50 阿邦1027
阅读(93)
评论(0)
推荐(0)
编辑
hive使用注意事项
摘要: hive的安装比较简单,百度找一个教程照着来即可,这里将一下安装使用过程中需要注意的点。 当使用或开启hive2server时,需要使用beeline进行连接时,要在hadoop的hdfs-site.xml里面添加如下属性 </property> <property> <name>dfs.webhd
阅读全文
posted @ 2021-01-20 09:50 阿邦1027
阅读(79)
评论(0)
推荐(0)
编辑
HDFS安装
摘要: 以3台linux机器的hdfs集群安装为例,使用hadoop-3.xx版本安装,安装步骤如下 在3台机器上安装好java环境,使用java -version测试是否安装成功 在三台机器上配置静态IP和主机名的映射,vim /etc/hosts进行修改 配置免密码登陆,在主节点上顺序指定以下命令 ss
阅读全文
posted @ 2021-01-20 09:43 阿邦1027
阅读(675)
评论(0)
推荐(0)
编辑