05 2024 档案
摘要:用户信息维表设计思路 原创 语兴呀 语数 2024-05-29 09:26 江苏 数据开发交流(联系管理员进群) 图片 多系统数据整合与优化 在大数据时代,用户信息往往来源于多个不同的系统,例如淘宝天猫线上订单、抖店线上订单、自有APP和小程序、线下门店等。 如何将这些不同来源的数据整合成一个统一的
阅读全文
摘要:以下文章来源于苏三说技术 ,作者苏三 今天给大家总结了接口设计的18条军规,希望对你会有所帮助。 图片 签名 为了防止API接口中的数据被篡改,很多时候我们需要对API接口做签名。 接口请求方将请求参数 + 时间戳 + 密钥拼接成一个字符串,然后通过md5等hash算法,生成一个前面sign。 然后
阅读全文
摘要:查看分区范围 SELECT SCHEMA_NAME(t.schema_id) AS SchemaName, t.name AS TableName, i.name AS IndexName, p.partition_number AS PartitionNumber, f.name AS Parti
阅读全文
摘要:使用分区表提高并发能力和查询处理性能(需命中分区) CREATE PARTITION FUNCTION RangePF1 ( INT ) AS RANGE LEFT FOR VALUES (10, 100, 1000) ; SELECT $PARTITION.RangePF1 (1000) ; CR
阅读全文
摘要:在删除表中大量数据后,进行数据库收缩,释放空间,导致数据移动,索引需要重新组织。 重新组织表中的所有索引 下面的示例重新组织 AdventureWorks2022 数据库中 HumanResources.Employee 表内的所有索引。 ALTER INDEX ALL ON HumanResour
阅读全文
摘要:SELECT tt.id, ( @rowNum := @rowNum + 1 ) AS ranking FROM ( select 5 as id union all select 4 as id union all select 3 as id union all select 2 as id u
阅读全文
摘要:原文 https://blog.csdn.net/zhanglongfei_test/article/details/127868750 一、下载宏文件 点击下载md5宏.xla 二、找到excle并加载宏 1、依次打开【文件】-【选项】-【自定义功能区】 选中【开发工具】 2、这样在Excel顶部
阅读全文
摘要:package com.huft.flk117.test; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.serialization.SimpleS
阅读全文
摘要:移动端不勾选手机重布局,所有组件的高度压缩为一屏的高度,显示异常。 在 PC端自适应属性:选择绝对布局,不自适应。 然后高度按照设置高度显示。 如选择手机重布局,高度会自动适应显示,不会异常压缩。 但一个组件占用一行,如多个组件在一行的显示效果,无法展示。
阅读全文
摘要:MSSQL MD5哈希值 select CONVERT(VARCHAR(32), HASHBYTES('MD5', '13000000000'), 2) a 该函数入参哈希目标字符串,varchar和nvarchar 结果字符串不一致,入参需要统一为 varchar,这样与工具加密结果一致。 con
阅读全文
摘要:表提示用于在数据操作语言 (DML) 语句中替代查询优化器的默认行为。 可以指定锁定方法、一个或多个索引、查询处理操作(如表扫描或索引查找),或其他选项。 表提示在 DML 语句的 FROM 子句中指定,仅影响在该子句中引用的表或视图。 注意 由于 SQL Server 查询优化器通常会为查询选择最
阅读全文
摘要:正在尝试读取由另一个事务更新或删除的数据。 查询使用的是 NOLOCK 锁提示或 READ UNCOMMITTED 事务隔离级别。 通常,系统拒绝用户访问其他事务正在更改的数据,因为已锁定该数据。 但是,利用** NOLOCK 锁提示和 READ UNCOMMITTED 事务隔离级别,可以允许查询对
阅读全文
摘要:1.在IDE中编写Flink代码,查看Web UI,从而来了解Flink程序的运行情况 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web</artifactId> <version>${fli
阅读全文
摘要:报表查询时,控件选择值后无数据。后台sql可以查询出数据 跟踪执行sql发现传入的值发生了变化,特殊字符被删除了 分析原因: 节--平台活动 其中,“--”会被转义后删除,结果为“节平台活动” 导致与预期结果不符 此时需要在管理平台去除 改字符的转义
阅读全文
摘要:历史服务器 运行 Flink job 的集群一旦停止,只能去 yarn 或本地磁盘上查看日志,不再可以查看作业挂掉之前的运行的 Web UI,很难清楚知道作业在挂的那一刻到底发生了什么。如果我们还没有 Metrics 监控的话,那么完全就只能通过日志去分析和定位问题了,所以如果能还原之前的 Web
阅读全文
摘要:与单作业模式类似,直接执行flink run-application命令 $ bin/flink run-application -t yarn-application -c com.huft.flk117.demo.StreamSocketCnt job_jar/original-fk117-1.
阅读全文
摘要:在YARN环境中,由于有了外部平台做资源调度,所以我们也可以直接向YARN提交一个单独的作业,从而启动一个Flink集群 $ bin/flink run -d -t yarn-per-job -c com.huft.flk117.demo.StreamSocketCnt job_jar/origin
阅读全文
摘要:YARN的会话模式与独立集群略有不同,需要首先申请一个YARN会话(YARN Session)来启动Flink集群。 1.后台启动yarn会话模式flink集群 bin/yarn-session.sh -d -nm test 2.查看返回地址和yarn id yarn会自动分配集群随机一台主机和端口
阅读全文
摘要:1.环境变量配置hadoop信息 2.启动HDFS和YARN
阅读全文
摘要:应用模式下不会提前创建集群,所以不能调用start-cluster.sh脚本。我们可以使用同样在bin目录下的standalone-job.sh来创建一个JobManager。 1.上传jar包到lib 2.启动jm bin/standalone-job.sh start --job-classna
阅读全文
摘要:1.打包后web界面提交,指定全路径类名 2.命令行方式 上传jar包,然后运行 bin/flink run -m hdf1:8081 -c com.huft.flk117.demo.StreamSocketCnt job_jar/original-fk117-1.0-SNAPSHOT.jar
阅读全文
摘要:虚拟机安装centos后,配置静态ip cd /etc/sysconfig/network-scripts sudo vim ifcfg-enp0s8 编辑配置文件 OXY_METHOD=none BROWSER_ONLY=no B00TPROTO=dhcp DEFROUTE=yes IPV4_FA
阅读全文
摘要:现存储生僻汉字时,存为了?,分析后是 varchar 字段字符集不支持 Unicode,使用的简体中文字符集。 现改为 nvarcahr类型即可。 因此,涉及生僻字的字段,需要设置为 nvarchar 类型。 当需要存储生僻汉字时,使用 nvarchar类型,该类型会存储 Unicode 字符数据的
阅读全文
摘要:原文 cnblogs.com/liuboren/p/17017421.html 0.前言 本篇文章是<<代码整洁之道>>的学习总结, 通过这篇文章你将了解到整洁的代码对项目、公司和你的重要性,以及如何书写整洁的代码. 通过命名、类、函数、测试这四个章节,使我们的代码变得整洁. 1.为什么要保持代码整
阅读全文
摘要:flink-cdc3.0官方网站 https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/get-started/introduction/ 查看相关技术知识
阅读全文
摘要:1.编写程序本地运行正常 2.程序正常打包 3.提交作业到FLINK集群 ./bin/flink run -m hdf1:8081 -c com.org.cdc.FlinkCDCDataStreamTest ./FlinkCdc-test.jar 4.监控作业运行 作业正常运行,cud查看 task
阅读全文
摘要:1.standalone https://github.com/apache/flink-cdc/blob/master/docs/content/docs/deployment/standalone.md 2.yarn https://github.com/apache/flink-cdc/blo
阅读全文