摘要: 来源 :https://cloud.tencent.com/developer/article/1654188回想从前,AI、云计算、5G……几年前还觉得遥远的技术,在快速发展之中,有了落地方案,慢慢成为了新的基础设施。展望未来,自动驾驶、边缘计算、量子计算……这些新技术又将会带来怎样的变革?本文是 阅读全文
posted @ 2020-08-06 19:00 bjxdd 阅读(265) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2020-08-06 15:20 bjxdd 阅读(96) 评论(0) 推荐(0)
摘要: 【浪点聊大数据】 Hive作为大数据领域常用的数据仓库组件,在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调整 阅读全文
posted @ 2020-08-05 12:17 bjxdd 阅读(179) 评论(0) 推荐(0)
摘要: (转自)https://www.cnblogs.com/yfb918/p/10644262.html hive之Json解析(普通Json和Json数组) 一、数据准备 现准备原始json数据(test.json)如下: {"movie":"1193","rate":"5","timeStamp": 阅读全文
posted @ 2020-08-04 19:08 bjxdd 阅读(539) 评论(0) 推荐(0)
摘要: 我们知道hive的元数据是有mysql管理的,所以这是mysql的元数据的问题.下面我们就修改一下字符编码 (1)修改表字段注解和表注解 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alte 阅读全文
posted @ 2020-08-03 18:55 bjxdd 阅读(188) 评论(0) 推荐(0)
摘要: 目前MySQL Binlog解析工具主要有阿里的canal、maxwell和mysql_streamer,三个工具对照如下 转自 : https://pdf.us/2018/08/24/1750.html 解析完的 某线上表 binlog 要素: 阅读全文
posted @ 2020-07-30 13:38 bjxdd 阅读(782) 评论(0) 推荐(0)
摘要: 备注(转自)https://www.jianshu.com/p/1e4c976f5ecc 动手实战学习MapReduce编程实例 前言 这里放一个我学习MapReduce的编程实例项目吧,本来是想把这些分开写成多篇文章的,能够详细叙述我学习过程中感想。但无奈,时间不够,只好在Github上创建了该项 阅读全文
posted @ 2020-07-28 16:40 bjxdd 阅读(514) 评论(0) 推荐(0)
摘要: -- ETL的 四种形式: 1、全量加载C1:rdw_t01_administrator.sql INSERT overwrite table rdw.t01_administratorSELECTid, --员工编号 id, --Mis用户编号 name, --员工姓名 password, --密 阅读全文
posted @ 2020-05-07 11:31 bjxdd 阅读(1054) 评论(0) 推荐(0)
摘要: 转自 :https://blog.csdn.net/huang_shao1/article/details/82957138 su root 输入root密码后切换之root用户但是pwd目录不变 su - root 输入root密码后切换之root用户但是pwd目录/root sudo 一般加的是 阅读全文
posted @ 2020-02-29 09:44 bjxdd 阅读(212) 评论(0) 推荐(0)
摘要: Hive的文件存储格式包括:textfile, sequencefile, rcfile, orc, parquet textfile 默认的文件格式,行存储。建表时不指定存储格式即为textfile,导入数据时把数据文件拷贝至hdfs不进行处理。 优点:最简单的数据格式,便于和其他工具(Pig, 阅读全文
posted @ 2020-02-24 21:48 bjxdd 阅读(974) 评论(0) 推荐(0)