摘要:
ctrl+shift+A:万能命令行shift两次:查看资源文件新建工程第一步操作module设置把空包分层去掉,compact empty middle package设置当前的工程是utf-8,设置的Editor-->File Encodings-->全部改成utf-8, 注释 ctrl+/:单 阅读全文
摘要:
简介 PySide2和PyQt5都是著名的Qt库。 Qt库里面有非常强大的图形界面开发库,但是Qt库是C++语言开发的,PySide2和PyQt5可以让我们通过Python语言使用Qt。 PySide2是Qt的亲儿子。 PyQt5是Qt还没有亲儿子之前收的义子。 PySide2简介 PySide2是 阅读全文
摘要:
流式计算处理模式 模式一:所有输入记录按一条接一条的处理。 模式二:微批处理(batch) 将输入的数据以某一时间间隔T,切分成多个微批量数据,然后对每个批量数据进行处理。spark streaming采用的就是这种方式。 SparkStreaming介绍 官网 Spark streaming是sp 阅读全文
摘要:
一、从Shark说起1、在这之前我们要先理解Hive的工作原理: Hive是一个基于Hadoop的数据仓库工具,提供了类似于关系数据库SQL的查询语言——HiveSQL,用户可以通过HiveSQL语句快速实现简单的MapReduce统计,Hive自身可以自动将HiveSQL语句快速转换成MapRed 阅读全文
摘要:
简介 Leaf 最早期需求是各个业务线的订单ID生成需求。在美团早期,有的业务直接通过DB自增的方式生成ID,有的业务通过redis缓存来生成ID,也有的业务直接用UUID这种方式来生成ID。以上的方式各自有各自的问题,因此我们决定实现一套分布式ID生成服务来满足需求。 目前Leaf覆盖了美团点评公 阅读全文
摘要:
Kubernetes高可用集群的最佳实践 阅读全文
摘要:
2022-03-17 16:51:17 阅读全文
摘要:
2022-03-07打卡 SparkStreaming 阅读全文
摘要:
自定义采集器 package com.gazikel.streamaing import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.streaming 阅读全文
摘要:
错误 [ERR] 1418 - This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you might want to 阅读全文