摘要：
本实验基于MRS环境，Kafka部分主要介绍kafka命令行脚本的基本使用规范，以及通过介绍一个电商数据实时分析的场景将Kafka和Spark Streaming进行组合，帮助大家更好地掌握实际项目的开发流程。ClickHouse部分主要介绍常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数 阅读全文
posted @ 2023-12-27 11:45 打杂滴 阅读(98) 评论(0) 推荐(0)
2023年12月27日
摘要：
本实验基于MRS环境，主要介绍如何利用Spark RDD的常用算子进行简单统计分析，以及如何利用SparkSQL进行结构化批处理。 购买弹性公网IP 购买MRS集群 选择“自定义购买” 区域：华北—北京四 计费模式：按需计费 集群名称：mrs-bigdata 版本类型：普通版 集群版本：MRS 3. 阅读全文
posted @ 2023-12-27 11:04 打杂滴 阅读(76) 评论(0) 推荐(0)
摘要：
MRS基础组件之HBase与Hive开发应用 本实验基于MRS环境，介绍如何利用HBase与Hive来进行相关操作。其中，HBase主要介绍包括如何利用Java API创建数据表、写入数据、查看数据以及删除数据；而Hive则通过介绍UDF、UDTF和UDAF等自定义函数的基本操作，讲解如何进行自定义 阅读全文
posted @ 2023-12-27 10:38 打杂滴 阅读(114) 评论(0) 推荐(0)
摘要：
1.购买弹性公网IP 产品->网络->弹性公网IP EIP 计费模式：按需计费 区域：华北-北京四 线路：全动态BGP 公网带宽：按流量计费 带宽大小：100 IPv6：不开启 弹性公网IP名称：eip-bigdata1 购买量：1 2.购买MRS集群 产品-》大数据=》MapReduce服务 选择 阅读全文
posted @ 2023-12-27 09:09 打杂滴 阅读(67) 评论(0) 推荐(0)
2022年1月24日
摘要：
连接oracle 10g 驱动classes12.jar 配置一下三项即可： 1.数据库名称：ip:端口/实例 2.用户名 3.密码 阅读全文
posted @ 2022-01-24 16:42 打杂滴 阅读(547) 评论(0) 推荐(0)
2021年12月6日
摘要：
在发送HTTP请求前加入下行代码 ServicePointManager.SecurityProtocol = (SecurityProtocolType)192 | (SecurityProtocolType)768 | (SecurityProtocolType)3072; 如果是4.5以上版本 阅读全文
posted @ 2021-12-06 17:45 打杂滴 阅读(202) 评论(0) 推荐(0)
2021年8月23日
2021年7月28日
摘要：
CREATE FUNCTION fu_getwords(@cc VARCHAR(100))RETURNS VARCHAR(100)ASbeginDECLARE @n INT,@i INT,@clearstr VARCHAR(100),@gg VARCHAR(10)SET @n=LEN(@cc)SET 阅读全文
posted @ 2021-07-28 16:06 打杂滴 阅读(156) 评论(0) 推荐(0)
摘要：
sdt=`date -d"$(date -d'20210108 ' +'%Y%m01')" +"%Y%m%d"`edt=`date -d "$(date -d '20210104' +'%Y%m%d')" +"%Y%m%d"`echo $sdt,$edttb="tt"while [[ $sdt -l 阅读全文
posted @ 2021-07-28 13:42 打杂滴 阅读(94) 评论(0) 推荐(0)
2021年7月14日
摘要：
IP转为bigint create function [dbo].[iptobigint](@ipinfo varchar(16)) returns bigint as begin declare @ret bigint if PATINDEX('%[^.0-9]%',@ipinfo)>0 retu 阅读全文
posted @ 2021-07-14 16:43 打杂滴 阅读(157) 评论(0) 推荐(0)
浙公网安备 33010602011771号