随笔分类 - 大数据

HiveSQL调优-最常用的调优方式

摘要：系统和其它层面：让经常where的字段进行分区，合理的多分桶、数据使用压缩、建宽表的时候用列式的orc存储、开启严格模式：会产生笛卡尔积、order by排序后未加limit、查询分区表时未指定列的HiveSQL语句直接执行出错开启列裁剪和分区裁剪：即只查询要读取的列和分区，避免全表扫描或全列扫阅读全文

posted @ 2023-05-06 16:24 CodeCheng~ 阅读(130) 评论(0) 推荐(0) 编辑

HTTP 状态码？常见HTTP状态码有哪些？

摘要：HTTP 状态码当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求。当浏览器接收并显示网页前，此网页所在的服务器会返回一个包含 HTTP 状态码的信息头（server header）用以响应浏览器的请求。HTTP 状态码的英文为 HTTP Status Code。HTTP状态码，可以阅读全文

posted @ 2022-03-06 08:31 CodeCheng~ 阅读(530) 评论(0) 推荐(0) 编辑

hadoop fs、hadoop dfs、hdfs dfs的区别

摘要：1、fs、dfs区别？ (1) fs是文件系统， dfs是分布式文件系统。 (2) fs > dfs。 (3) 分布式环境情况下，fs与dfs无区别。 (4) 本地环境中，fs就是本地文件，dfs就不能用了。 (5) fs涉及到一个通用的文件系统，可以指向任何的文件系统如local，HDFS等。但是阅读全文

posted @ 2022-03-05 23:06 CodeCheng~ 阅读(1077) 评论(0) 推荐(0) 编辑

数据库的索引和视图的理解！！！

摘要：一、索引索引与书的目录非常的相似，由数据表中的一列和多列组合组成(单列索引和组合索引)，创建索引的目的是为了优化数据库的查询速度，提高性能的最常用的工具。其中，用户创建索引指向数据库中具体数据所在位置。当用户通过查询数据库中的数据时，就不需要遍历所有数据库中的所有数据，这样提高查询效率。但是创建索阅读全文

posted @ 2022-03-05 22:59 CodeCheng~ 阅读(972) 评论(0) 推荐(1) 编辑

数据仓库和传统数据库的区别

摘要：一、传统数据库每个人家里都会有冰箱，冰箱是用来干什么的？冰箱是用来存放食物的地方。同样的，数据库是存放大量数据的地方。数据库 (Database)是按照数据结构来组织、存储和管理数据的仓库。它具有数据结构化，数据共享度高，冗余度低，易于扩展，数据独立性高等特点。数据库是为捕获数据而设计的，它是面向阅读全文

posted @ 2022-03-04 22:04 CodeCheng~ 阅读(1794) 评论(0) 推荐(0) 编辑

单机模式、分布式模式、集群模式的理解

摘要：单机模式：单机模式：所有业务集成在一台服务器上。例如一台服务器上的电商系统：一台服务器上同时包含了用户交互系统，商品搜索系统，后台管理系统所有的功能。例如一个餐厅的厨房只有一个人，这个人既要买菜，又要洗菜，切菜，做饭，一个人做完所有的事！分布式模式：分布式模式：分布式：是指多台服务器集中在一起阅读全文

posted @ 2022-02-24 17:48 CodeCheng~ 阅读(1305) 评论(0) 推荐(0) 编辑