摘要： 来源 ：https://cloud.tencent.com/developer/article/1654188回想从前，AI、云计算、5G……几年前还觉得遥远的技术，在快速发展之中，有了落地方案，慢慢成为了新的基础设施。展望未来，自动驾驶、边缘计算、量子计算……这些新技术又将会带来怎样的变革？本文是 阅读全文

摘要： 阅读全文

摘要： 【浪点聊大数据】 Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整 阅读全文

摘要： （转自）https://www.cnblogs.com/yfb918/p/10644262.html hive之Json解析(普通Json和Json数组) 一、数据准备 现准备原始json数据(test.json)如下： {"movie":"1193","rate":"5","timeStamp": 阅读全文

摘要： 我们知道hive的元数据是有mysql管理的,所以这是mysql的元数据的问题.下面我们就修改一下字符编码 （1）修改表字段注解和表注解 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alte 阅读全文

摘要： 目前MySQL Binlog解析工具主要有阿里的canal、maxwell和mysql_streamer，三个工具对照如下 转自 ： https://pdf.us/2018/08/24/1750.html 解析完的 某线上表 binlog 要素： 阅读全文

摘要： 备注（转自）https://www.jianshu.com/p/1e4c976f5ecc 动手实战学习MapReduce编程实例 前言 这里放一个我学习MapReduce的编程实例项目吧，本来是想把这些分开写成多篇文章的，能够详细叙述我学习过程中感想。但无奈，时间不够，只好在Github上创建了该项 阅读全文

摘要： -- ETL的 四种形式： 1、全量加载C1：rdw_t01_administrator.sql INSERT overwrite table rdw.t01_administratorSELECTid, --员工编号 id, --Mis用户编号 name, --员工姓名 password, --密 阅读全文

摘要： 转自 :https://blog.csdn.net/huang_shao1/article/details/82957138 su root 输入root密码后切换之root用户但是pwd目录不变 su - root 输入root密码后切换之root用户但是pwd目录/root sudo 一般加的是 阅读全文

摘要： Hive的文件存储格式包括：textfile, sequencefile, rcfile, orc, parquet textfile 默认的文件格式，行存储。建表时不指定存储格式即为textfile，导入数据时把数据文件拷贝至hdfs不进行处理。 优点：最简单的数据格式，便于和其他工具（Pig, 阅读全文