摘要: HIVE特殊分隔符处理 Hive对文件中的分隔符默认情况下只支持单字节分隔符,,默认单字符是\001。当然你也可以在创建表格时指定数据的分割符号。但是如果数据文件中的分隔符是多字符的,如下图: 01||zhangsan 02||lisi 03||wangwu 补充:hive读取数据的机制 1、首先用 阅读全文
posted @ 2019-03-30 18:59 Transkai 阅读(2728) 评论(0) 推荐(0) 编辑
摘要: 采集需求:比如业务系统使用log4j生成的日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs,使用agent串联 根据需求,首先定义以下3大要素 第一台flume agent l 采集源,即source——监控文件内容更新 : exec ‘tail -F file’ l 下沉目标 阅读全文
posted @ 2019-03-30 18:26 Transkai 阅读(1223) 评论(0) 推荐(0) 编辑
摘要: Telnet安装 一、查看本机是否安装telnet #rpm -qa | grep telnet 如果什么都不显示。说明你没有安装telnet 二、开始安装 yum install xinetd yum install telnet yum install telnet-server 三、装好tel 阅读全文
posted @ 2019-03-30 10:35 Transkai 阅读(826) 评论(0) 推荐(0) 编辑