10 2022 档案

摘要:1.内存溢出 (1)map阶段 解决:一般存在MapJoin,设置参数set hive.auto.convert.join = false转成reduce端的Common Join。 (2)shuffle阶段 解决:减少每个reduce处理的数据量,调整参数:hive.exec.reducers.b 阅读全文
posted @ 2022-10-27 22:28 业余砖家 阅读(1260) 评论(0) 推荐(0) 编辑
摘要:1.使用hive实现WordCount (1) 创建数据库 create database wordcount; (2) 创建外部表 create external table word_data(line string) row format delimited fields terminated 阅读全文
posted @ 2022-10-27 22:05 业余砖家 阅读(114) 评论(0) 推荐(0) 编辑
摘要:1.Fetch抓取 Fetch抓取是指Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。 在hive-default.xml.tem 阅读全文
posted @ 2022-10-27 21:08 业余砖家 阅读(54) 评论(0) 推荐(0) 编辑
摘要:获取年月日 时分秒 import java.text.SimpleDateFormat; import java.util.Date; Date dt = new Date(); SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:m 阅读全文
posted @ 2022-10-27 09:52 业余砖家 阅读(262) 评论(0) 推荐(0) 编辑
摘要:一、索引类型 索引可以提升查询速度,会影响where查询,以及order by排序。 MySQL索引类型如下: (1) 从索引存储结构划分:B Tree索引、Hash索引、FULLTEXT全文索引、R Tree索引; (2) 从应用层次划分:普通索引、唯一索引、主键索引、复合索引; (3) 从索引键 阅读全文
posted @ 2022-10-12 15:08 业余砖家 阅读(1693) 评论(0) 推荐(0) 编辑
摘要:一、安装pymysql py -m pip install pymysql; 二、创建表并插入数据 CREATE TABLE `course` ( `course_id` varchar(10) DEFAULT NULL, `course_name` varchar(10) DEFAULT NULL 阅读全文
posted @ 2022-10-10 17:10 业余砖家 阅读(189) 评论(0) 推荐(0) 编辑
摘要:一、安装pymysql py -m pip install pymysql; 二、pymysql数据库操作 1.简单示例 #coding=utf-8 import pymysql ## 打开数据库连接 conn = pymysql.connect( host = "127.0.0.1", port 阅读全文
posted @ 2022-10-10 16:57 业余砖家 阅读(237) 评论(0) 推荐(0) 编辑
摘要:一、python数据库图解流程 connection、cursor比喻 二、Connection对象 Connection参数列表 host,连接的数据库服务器主机名,默认为本地主机(localhost)。 user,连接数据库的用户名,默认为当前用户。 passwd,连接密码,没有默认值。 db, 阅读全文
posted @ 2022-10-10 15:11 业余砖家 阅读(1751) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示