摘要：
戳专项福利通道领取专属福利，更多linux，java，kafka，大数据，架构课程尽在极客时间，大牛课程只要￥99，领券更优惠 打个小广告(ﾉﾟ▽ﾟ)ﾉ 博客我会好好写的 我是分隔符 我是分隔符 我是分隔符 符 符 一、crontab简介： crond是linux下用来周期性的执行某种任务或等待处理 阅读全文
摘要：
一、关系运算： 1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1; 1 2. 不等值比较: <> 语法: A <> B 操作类型:所有基本类 阅读全文
摘要：
查询操作 底层的实现 mapreduce 常见的聚合操作 count计数 sum求和 sum(可转成数字的值） 返回bigint avg求平均值 avg（可转成数字的值）返回double distinct不同值个数 count(distinct col) order by 按照某些字段排序 样例 注 阅读全文
摘要：
hive中的case when的用法举例 Case具有两种格式。简单Case函数和Case搜索函数。 这两种方式，可以实现相同的功能。简单Case函数的写法相对比较简洁，但是和Case搜索函数相比，功能方面会有些限制，比如写判断式。 还有一个需要注意的问题，Case函数只返回第一个符合条件的值，剩下 阅读全文
摘要：
1， 导入mds_imei_month_info 2， 导入mds_ip_month_info 3， 导入mds_id_month_info 4， 导入mds_bssid_month_info 阅读全文
摘要：
将数据到入hive的无分区表，再将无分区表导入hive的有分区表： 查询该hive表的包名和标签列： hbase表需要先建表，才能插入数据 建表： 插入数据： 建表完成 查询语句： 异常： 原因：表中的内容为空，所以插不进去 解决方法：加上条件： 所以插入语句应该为： 最后删除risk_label" 阅读全文
摘要：
1，什么是Hive？ Hive是能够用类SQL的方式操作HDFS里面数据一个数据仓库的框架，这个类SQL我们称之为HQL（Hive Query Language） 2，什么是数据仓库？ 存放数据的地方 3，Hive的特征 海量数据的存储 海量数据的查询 不支持事务性操作 Hive是SQL解析引擎，它 阅读全文
摘要：
ETL：抽取（extract）、转换（transform）、加载（load）至目的端的过程； Kettle是ETL工具代表之一，是pentaho中的一个数据整合的一个组件。Kettle里包括多个Job、转换，一个Job可以包含多个转换，转换是kettle执行的最小单位。 1,创建两个CSV文件： 如 阅读全文
摘要：
1，项目图如下： 2， 实现过程 启动HDFS： 启动zookeeper（三台）： 启动kafka（三台）： 在131中创建access的topic： 查看创建的主题： 131启动flume： 内容： 132中创建kafka的producer： 阅读全文
摘要：
1，要求：监听一个tcp,udp端口41414将数据打印在控制台 启动命令： Telnet： 结果： 2，要求：将A机器的日志文件access.log传输到机器B上，并打印到控制台上 这里我假设A机器是131，B机器是132，则 需要将配置文件写在132上，然后正常启动132，而131中只需要启动a 阅读全文