Wu_Candy - 博客园

2021年12月14日

摘要：一. 概念 Spring 提供两个核心功能： IoC—控制反转（Inversion of Control） Aop—面向切面编程（Aspect Oriented Program） IoC 有助于应用对象之间的解耦。 AOP 可以实现横切关注点（例如：日志、安全、缓存和事务管理）与他们所影响的对象之间阅读全文

posted @ 2021-12-14 18:04 Wu_Candy 阅读(222) 评论(0) 推荐(0) 编辑

Hive 分区表 & 数据加载

摘要： 1. Hive表数据的导入方式 1.1 本地上传至hdfs 命令： hdfs dfs -put [文件名] [hdfs绝对路径] 例如：测试文件 test_001.txt 内容如下在 hdfs 绝对路径：/user/hive/warehouse/mytest.db/ 下有一张表 test_001，阅读全文

posted @ 2021-12-14 17:58 Wu_Candy 阅读(1223) 评论(0) 推荐(0) 编辑

2021年12月13日

Java XxlJob 必知必会＜三＞

摘要：今日分享： springBoot 框架集成 mybatis，并且通过创建一个 task 去按照日期清理 xxl-admin 里面产生的日志。 Step1: 基于 xxl-job-executor-sample-springboot 示例代码修改后的目录结构红框里面的这个文件是程序的main入口 S 阅读全文

posted @ 2021-12-13 18:28 Wu_Candy 阅读(164) 评论(0) 推荐(0) 编辑

2021年11月29日

Hive 数据库表的基本操作

摘要： Hive 基本操作 1. 数据库操作(增、删、改、查) 1.1 创建数据库 create database if not exists test_001; use test_001; 说明：hive 的表存放位置模式是由 hive-site.xml 当中的一个属性指定的，默认是存放在该配置文件设置的阅读全文

posted @ 2021-11-29 16:11 Wu_Candy 阅读(429) 评论(0) 推荐(0) 编辑

Java-Dubbo 接口测试

摘要： Dubbo 是什么 Dubbo 是一个分布式的服务框架，致力于提供高性能和透明化的 RPC 远程服务调用方案，是 SOA（Service Oriented Architecture）服务化治理方案的核心框架。在整个的开发处理中依然是以接口（远程接口）为主进行服务提供的。 Dubbo 架构图解调用阅读全文

posted @ 2021-11-29 16:01 Wu_Candy 阅读(252) 评论(0) 推荐(0) 编辑

数据工程师：必备的 Hive 安装&交互方式技能

摘要： Hive 安装 hive 的下载地址为：https://archive.apache.org/dist/hive/ 从图中可以看出，hive 有许多可下载的安装版本，这里我使用 hive-2.3.0 的版本为大家演示。 step1：下载、上传并解压安装包进入目标机器将下载的安装包上传至服务器的 / 阅读全文

posted @ 2021-11-29 15:21 Wu_Candy 阅读(62) 评论(0) 推荐(0) 编辑

Java XxlJob 必知必会＜续篇＞

摘要：通过 Java XxlJob 必知必会这篇文章的学习，我们大致知道了 xxljob 是做什么的，今天这篇文章我们将继续研究一下 xxljob 的其他使用场景。 Step1: 创建一个运行模式为 Python 的任务如下图所示： Step2: 来看看它与 BEAN 模式有什么差异如下图所示：由阅读全文

posted @ 2021-11-29 15:12 Wu_Candy 阅读(205) 评论(0) 推荐(0) 编辑

Java XxlJob 必知必会

摘要：今天我们来通过 3W1H 来认识XxlJob Step1: 第一个W（What）先来看看它是什么？ XXL-JOB 是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 Step2: 第二个W （Why）为什么要去学***l 阅读全文

posted @ 2021-11-29 15:06 Wu_Candy 阅读(1070) 评论(0) 推荐(0) 编辑

Hadoop + Hive 数据仓库原理与架构

摘要： 1. Hive简介 Hive是什么Hive 构建在 Hadoop 之上，提供以下功能：通过类 SQL 指令轻松访问数据的工具，从而实现数据仓库任务，例如：提取/转换/加载(ETL)，报告和数据分析。一种将结构强加于各种数据格式的机制。直接访问存储在 HDFS 或其他数据存储系统（例如：HBas 阅读全文

posted @ 2021-11-29 14:25 Wu_Candy 阅读(411) 评论(0) 推荐(0) 编辑

Python 多线程之 Redis 分布式锁

摘要：前言在很多互联网产品应用中，有些场景需要加锁处理，例如：双11秒杀，全局递增ID，楼层生成等等。大部分的解决方案是基于 DB 实现的，Redis 为单进程单线程模式，采用队列模式将并发访问变成串行访问，且多客户端对 Redis 的连接并不存在竞争关系。其次 Redis 提供一些命令SETNX，阅读全文

posted @ 2021-11-29 14:14 Wu_Candy 阅读(746) 评论(0) 推荐(0) 编辑