07 2023 档案
摘要:对于从事后端开发的同学来说,线程安全问题是我们每天都需要考虑的问题。 线程安全问题通俗地讲主要是在多线程的环境下,不同线程同时读和写公共资源(临界资源)导致的数据异常问题。 比如:变量a=0,线程1给该变量+1,线程2也给该变量+1。此时,线程3获取a的值有可能不是2,而是1。线程3这不就获取了错误
阅读全文
摘要:简介 在本次分享中,想跟大家探讨ChatGPT技术产品的落地实践,从技术架构的角度出发,剖析GPT模型的核心原理、关键技术以及实际应用场景。将从以下几个方面展开讨论: 1. ChatGPT模型概述:首先,简要介绍ChatGPT(Chatbot based on Generative Pre-trai
阅读全文
摘要:千呼万唤始出来的新版本MySQL 8.1及MySQL 8.0.34于2023年7月18日正式发行。从此,MySQL将开启创新版和稳定版同时发行的阶段。MySQL 8.1是MySQL的首个创新版,该版本主要增加了如下功能: 捕捉EXPLAIN FORMAT=JSON输出, 为EXPLAIN FORMA
阅读全文
摘要:本文主要从我们为什么需要CR?CR面临哪些挑战?CR的最佳实践几个方面分析,希望可以给读者一些参考。
阅读全文
摘要:1. 介绍 阿里巴巴 Arthas 是一个诊断工具,可以用于监视、分析和解决 Java 应用程序的问题。使用 Arthas 的一个主要优点是,我们不需要修改代码,甚至不需要重新启动我们想要监视的 Java 服务。 在本教程中,我们将首先安装 Arthas,在此之后,通过一个简单的案例来演示 Arth
阅读全文
摘要:没有足够的特征数据,安全策略将是"无根之木,无源之水"。微信安全数据仓库应运而生,成为整个安全业务的特征数据存储中心,每天服务了万亿级的特征数据读写请求,为整个微信安全策略提供了可靠的数据支撑,是微信安全基石之所在。然而,微信安全数据仓库不仅仅是一个存储中心,更是一个特征管理和数据质量管理的中心。在演进过程中,数据仓库一直致力于提升特征管理能力和数据质量保障,实现了特征的管理、共享、分析和数据质量检测等功能。本文将介绍安全数据仓库的起源、演进、当前的架构设计和数据质量保证系统的实现。
阅读全文
摘要:一、前言 在携程国际化战略背景下,海外业务将成为新的发力点,为了保证用户高品质的服务体验,底层数据势必需要就近服务业务应用。一套标准且普适的数据复制解决方案能够提升业务决策效率,助力业务更快地触达目标用户。 DRC (Data Replicate Center) 作为携程内部数据库上云标准解决方案,
阅读全文
摘要:本文主要讲述了应对复杂性的一些原则和经验,通过实际案例解构设计思想,个人认为好的设计是体现在「职责分离」、「抽象分层」和「变化扩展」上,在类的结构设计上尤其要花心思去想,如「变与不变分离」、「配置域与执行域分离」、「查询与命令分离」。
阅读全文
摘要:一、前言 常见的DDD实现架构有很多种,如经典四层架构、六边形(适配器端口)架构、整洁架构(Clean Architecture)、CQRS架构等。架构无优劣高下之分,只要熟练掌握就都是合适的架构。本文不会逐个去讲解这些架构,感兴趣的读者可以自行去了解。 本文将带领大家从日常的三层架构出发,精炼推导
阅读全文
摘要:一、前言 领域驱动设计,测试驱动开发。 我们在《手把手教你落地DDD》一文中介绍了领域驱动设计(DDD)的落地实战,本文将对测试驱动开发(TDD)进行探讨,主要内容有:TDD基本理解、TDD常见误区、TDD技术选型,以及案例实战。希望通过本文,读者能够理解掌握TDD并将其应用于实际开发中。 二、TD
阅读全文
摘要:一、哪些因素会成为系统的瓶颈 CPU:如果存在大量的计算,他们会长时间不间断的占用CPU资源,导致其他资源无法争夺到CPU而响应缓慢,从而带来系统性能问题,例如频繁的FullGC,以及多线程造成的上下文频繁的切换,都会导致CPU繁忙,一般情况下CPU使用率<75%比较合适。 内存:Java内存一般是
阅读全文
摘要:作者抛砖引玉总结了工作中常见的一些问题,包括如何让表达更高效的办法和目标制定的方法。
阅读全文
摘要:大规模语言模型 (LLM) 拥有大量的数据来源,能针对用户提出的问题提供不同形式的回答,但其回答形式仅限于“文本”。尽管文本内容清晰,但在包含复杂逻辑或需要向外展示的场景下,文本表达存在局限性。可以想象,将“文本” 转换为“可视化” 分析模型甚至UI界面将具有更出色的效果。本文将汇总关于这种场景的探索和实现思路。
阅读全文
摘要:今天给大家带来的这份书单推荐,是由ChatGPT给出,邀请了鹅厂同事一起筛选、撰写了推荐语。书单涵盖了计算机科学和编程领域的一些经典书籍,涉及编程思维、编程语言、算法、系统和网络等方面。无论是初学者,还是经验丰富的开发者,这些推荐的书籍都能为你提供很好的参考。能帮助我们提高编程技能、拓展知识视野,增强解决问题的能力。
在这个快速变化的时代,我们需要不断充实知识,激发创新思维。本期书单推荐,让我们一起跟随技术时代的潮流,多读书多进步。
阅读全文
摘要:本文探究ChatGpt等AI机器人能否帮助老板快速的做数据分析?用自然语言同老板进行沟通,满足老板的所有数据分析的诉求?
阅读全文
摘要:ChatGPT,可以说是今年最火的一个科技名词。随着这几个月的发展,我们看到有越来越多的ChatGPT与数据库结合的应用出现。这也不禁令人畅想,未来ChatGPT与数据库的结合,能擦出什么火花?DEV、DBA未来会失业吗?本文尝试阐述下未来两者的结合前景。
阅读全文
摘要:本文主要介绍常用的存储类型及它们之间的对比差异,辅助帮助大家在不同需求和场景下选择合适的存储类型。
阅读全文
摘要:1、简介 人大金仓数据库(KingbaseES)是面向事务处理类、兼顾分析类应用领域的新型数据库产品,致力于解决高并发、高可靠数据存储计算问题,是一款为企事业单位管理信息系统、业务系统量身打造的承载数据库,目前性能已全面升级,是具有高成熟度的数据库产品。 2、准备工作 数据库的安装包可以在人大金仓官
阅读全文
摘要:ChatGPT 是一种强大的自然语言处理模型。在工作中,我们可以借助其卓越的自然语言生成能力,快速检索代码信息,使程序员们能更加专注于业务逻辑的实现和优化。然而,由于它的知识库仅覆盖至 2021 年 9 月前的信息,一些新的技术文档无法被查询到,例如我们公司前端经常使用的开源框架 TDesign。本文讲解了本人为了解决这一痛点的实验过程,即通过应用 embedding 技术并结合 AST 解释器,实现了对 TDesign 代码知识库的自然语言查询。在 30 个常见用例的测试下,查询精度达到了 90%。常用组件的检索时间从平均 10 分钟缩短至 2 分钟,从而提升了前端研发效率 20%。
阅读全文
摘要:1 环境说明操作系统:Windows Server 2008数据库版本:SQL Server 2008 10.50.1600.1 2 搭建过程2.1 达梦数据库软件下载进入达梦官网 https://www.dameng.com/ 选择X86,win64,点击下载。 2.2 安装数据库解压下载后文件,
阅读全文
摘要:在部分工作场景下可能会使用到达梦数据库的数据守护功能,本文介绍达梦数据守护服务的搭建。 此次搭建使用三台机器,一主一备一监视器。其中主备数据库需要提前初始化。一、数据准备需要保证主备库数据一直,这里使用dmrman脱机备份还原方式进行。停止主库,进行rman全备。 ./dmrman CTLSTMT=
阅读全文
摘要:一、麒麟V10关闭防火墙 kylinV10系统或linux系统关闭启动防火墙开启防火墙并设置开机自启启动: systemctl start firewalld关闭: systemctl stop firewalld查看状态: systemctl status firewalld开机禁用 : syst
阅读全文
摘要:1. 系统准备 查看系统信息:cat /proc/version查看 CPU:lscpu 或cat /proc/cpuinfo查看内存:free -m查看磁盘空间:cat /proc/meminfo或df -h查看tmp空间(至少1.5G以上):df -h /tmp发现tmp空间太小(安装DM8需要
阅读全文
摘要:一、影响 Linux 性能的各种因素 1、系统硬件资源 (1)CPU 如何判断多核 CPU 与超线程 消耗 CPU 的业务:动态 web 服务、mail 服务 (2)内存 物理内存与 swap 的取舍 选择 64 位 Linux 操作系统 消耗内存的业务:内存数据库(redis/hbase/mong
阅读全文
摘要:一个基于 Linux 操作系统的服务器运行的同时,会表征出各种各样参数信息,这些蛛丝马迹往往会帮助快速定位跟踪问题。
阅读全文
摘要:一、Linux 系统日常运维九大技能 1、安装部署 方式:U盘,光盘和网络安装 其中网络安装已经成为了目前批量部署的首选方式:主要工具有Cobbler和PXE+kickstart 可以参考如下链接内容: http://www.cnblogs.com/mchina/p/centos-pxe-kicks
阅读全文
摘要:相对于单例数据库的查询操作,分布式数据查询会有很多技术难题。本文记录 Mysql 分库分表 和 Elasticsearch Join 查询的实现思路,了解分布式场景数据处理的设计方案。
文章从常用的关系型数据库 MySQL 的分库分表Join 分析,再到非关系型 ElasticSearch 来分析 Join 实现策略。逐步深入Join 的实现机制。
阅读全文
摘要:脚手架大家一定都不陌生,比如我们经常使用的 vue-cli、create-react-app,它可以帮助我们快速的初始化一个项目,无需从零配置,极大的方便我们的开发。到这里你可能会疑惑,既然市面上有成熟的脚手架,为什么需要写一个属于自己的脚手架呢。因为公共脚手架虽然强大,但并不能满足我们的实际开发需求。
例如项目中已有的沉淀,项目架构、接口请求的统一处理、换肤、业务组件、eslint配置等,这些想要用到新项目中,只能通过复制粘贴,会存在以下弊端:
重复性劳动,繁琐且浪费时间
已有项目沉淀分散在各处,很容易有所遗漏
项目间的配置差异很可能会被忽略
人工操作永远都有可能犯错,建新项目时,总要花时间去排错
如果我们自己开发一套脚手架,定制自己的模板,复制粘贴的人工流程就会转换为 cli 的自动化流程, 还可以通过维护不同的模板以适应不同业务需求。既然要开发一套脚手架,站在巨人肩膀上显然省事多了,我们先来看看业界知名脚手架Vue CLI是如何实现的。
阅读全文
摘要:内因:随着之家业务快速发展,公司内部的数字化需求越来越多,信息系统团队每年都面对大量的需求,但研发侧资源是一定的,那么如何更快速的交付需求,越来越成为团队重点思考解决的问题。
外因:互联网技术的不断推陈出新,尤其以React,Vue为代表的前端技术框架突飞猛进,大幅降低了可视化拖拽操作的技术门槛。
行业内低代码平台主要涉及表单,流程, 数据开发,BI工具,智能机器人等方向。
阅读全文
摘要:ETL(是Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业应用来说,我们经常会遇到各种数据的处理、转换、迁移的场景。
今天特地给大家汇总了一些目前市面上比较常用的ETL数据迁移工具,希望对你会有所帮助。
阅读全文