摘要:
戳专项福利通道领取专属福利,更多linux,java,kafka,大数据,架构课程尽在极客时间,大牛课程只要¥99,领券更优惠 打个小广告(ノ゚▽゚)ノ 博客我会好好写的 我是分隔符 我是分隔符 我是分隔符 符 符 一、crontab简介: crond是linux下用来周期性的执行某种任务或等待处理 阅读全文
摘要:
一、关系运算: 1. 等值比较: = 语法:A=B 操作类型:所有基本类型 描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE 举例: hive>select 1 from lxw_dual where 1=1; 1 2. 不等值比较: <> 语法: A <> B 操作类型:所有基本类 阅读全文
摘要:
查询操作 底层的实现 mapreduce 常见的聚合操作 count计数 sum求和 sum(可转成数字的值) 返回bigint avg求平均值 avg(可转成数字的值)返回double distinct不同值个数 count(distinct col) order by 按照某些字段排序 样例 注 阅读全文
摘要:
hive中的case when的用法举例 Case具有两种格式。简单Case函数和Case搜索函数。 这两种方式,可以实现相同的功能。简单Case函数的写法相对比较简洁,但是和Case搜索函数相比,功能方面会有些限制,比如写判断式。 还有一个需要注意的问题,Case函数只返回第一个符合条件的值,剩下 阅读全文
摘要:
1, 导入mds_imei_month_info 2, 导入mds_ip_month_info 3, 导入mds_id_month_info 4, 导入mds_bssid_month_info 阅读全文
摘要:
将数据到入hive的无分区表,再将无分区表导入hive的有分区表: 查询该hive表的包名和标签列: hbase表需要先建表,才能插入数据 建表: 插入数据: 建表完成 查询语句: 异常: 原因:表中的内容为空,所以插不进去 解决方法:加上条件: 所以插入语句应该为: 最后删除risk_label" 阅读全文
摘要:
1,什么是Hive? Hive是能够用类SQL的方式操作HDFS里面数据一个数据仓库的框架,这个类SQL我们称之为HQL(Hive Query Language) 2,什么是数据仓库? 存放数据的地方 3,Hive的特征 海量数据的存储 海量数据的查询 不支持事务性操作 Hive是SQL解析引擎,它 阅读全文
摘要:
ETL:抽取(extract)、转换(transform)、加载(load)至目的端的过程; Kettle是ETL工具代表之一,是pentaho中的一个数据整合的一个组件。Kettle里包括多个Job、转换,一个Job可以包含多个转换,转换是kettle执行的最小单位。 1,创建两个CSV文件: 如 阅读全文
摘要:
1,项目图如下: 2, 实现过程 启动HDFS: 启动zookeeper(三台): 启动kafka(三台): 在131中创建access的topic: 查看创建的主题: 131启动flume: 内容: 132中创建kafka的producer: 阅读全文
摘要:
1,要求:监听一个tcp,udp端口41414将数据打印在控制台 启动命令: Telnet: 结果: 2,要求:将A机器的日志文件access.log传输到机器B上,并打印到控制台上 这里我假设A机器是131,B机器是132,则 需要将配置文件写在132上,然后正常启动132,而131中只需要启动a 阅读全文