10 2022 档案
摘要:CGCS2000是中国2000国家大地坐标系的缩写,该坐标系是通过中国GNSS 连续运行基准站、 空间大地控制网以及天文大地网联合平差建立的地心大地坐标系统。2000国家大地坐标系以ITRF 97 参考框架为基准, 参考框架历元为2000.0。 CGCS2000坐标系原点和轴定义如下:原点为地球的质
阅读全文
摘要:什么是分布式锁?对于这个问题,相信很多同学是既熟悉又陌生。随着分布式系统的快速发展与广泛应用,针对共享资源的互斥访问也成为了很多业务必须要面对的需求,这个场景下人们通常会引入分布式锁来解决问题。我们通常会使用怎么样的分布锁服务呢?有开源的 MySQL,Redis,ZooKeeper,Etcd 等三方组件可供选择,当然也有集团内自研的 Tair,Nuwa 等分布式锁服务提供方。
分布式锁的业务需求、场景看起来比较简单,但是事实上我们在使用分布式锁过程中,总还是会提出这样、那样的新需求,看起来找不到一个分布式锁场景的大一统的解决方案。那么,分布式锁内部究竟是怎么实现的?或者说应该怎么实现呢?这个是我们这篇文章希望探讨的,也希望我们的探讨能够让读者朋友对分布式锁的原理有一定了解,在做技术选型的时候,也能够有更多的指导。
阅读全文
摘要:万事开头难,搭建好一套学习、开发PostgreSQL的环境,是重中之重。
因为其他平台(Ubuntu, CentOS, MAC)的用户大多数都具备了自行安装数据库的能力,在这里我只写一个面向Windows用户的学习环境搭建文档。
分为三个部分,用户可以自由选择。
如果你想深入的学习PostgreSQL,建议搭建PostgreSQL on Linux的环境。如果你只是想将数据库使用在日常的应用开发工作中,有也不需要PG的其他附加插件的功能,那么你可以选择PostgreSQL on Win的环境搭建。
如果你不想搭建本地的PostgreSQL,那么你可以使用云数据库服务,比如阿里云RDS for PostgreSQL。
阅读全文
摘要:本文将介绍三种数据库变慢场景的分析与优化方法.
1、已经定位出的特定慢SQL
2、整个数据库实例(几乎所有SQL)变慢, 或者某些时候整个数据库实例大面积SQL变慢(大面积抖动)
3、某些正常情况下很快的SQL偶尔会变慢(抖动)
阅读全文
摘要:说起大数据中的应用,很多同学可能马上会想起用户画像。
用户画像,英文称之为User Profile,通过用户画像可以完美地抽象出一个用户的信息全貌,通过用户画像数据可以精准地分析用户的各种行为习惯,如消费习惯、兴趣爱好、能力情况等等重要用户信息。 通常用户画像是通过给用户建标签系统来实现的,本文介绍了如何使用PostgreSQL的json数据类型来建立用户画像数据库。
阅读全文
摘要:PostgreSQL的功能非常强大,但是要把PostgreSQL用好,开发人员是非常关键的。
下面将针对PostgreSQL数据库原理与特性,输出一份开发规范,希望可以减少大家在使用PostgreSQL数据库过程中遇到的困惑。
目标是将PostgreSQL的功能、性能发挥好,她好我也好。
阅读全文
摘要:背景 企业数据库选型规则。 一、数据库部署形式 随着硬件发展,指标上会有变化。 部署形式决定了容量上限,计算能力上限,读写带宽上限,RPO,RTO指标,适应场景。 1、分布式部署(例如pg+citus插件) 容量上限:100节点以上,PB级。 计算能力上限:100节点以上,6400核以上。 读写带宽
阅读全文
摘要:数据库选型是一件很大的事情,也是一件很头疼的事情。
很多企业并没有数据库的选型标准,或者并不了解业务需要什么样的数据库。
很多企业的数据库是开发说了算,熟悉什么就用什么,很多选型失误,导致后期非常尴尬的局面。
那么数据库选型要注意什么呢?
列举一些例子,取自如下文档
阅读全文
摘要:背景 建立视图, 方便查询 create schema dba; create view dba.invalid_index as select indisvalid, indexrelid::regclass, indrelid::regclass, pg_get_indexdef(indexre
阅读全文
摘要:Redis 和 memcache 的区别,Redis 支持的数据类型应用场景
redis 支持的数据结构更丰富(string,hash,list,set,zset)。memcache 只支持 key-value 的存储;
redis 原生支持集群,memcache 没有原生的集群模式。
阅读全文
摘要:随着系统运行时间的推移,数据库日志文件会变得越来越大,这时我们需要对日志文件进行备份或清理。
阅读全文
摘要:MongoDB 是一个强大的分布式存储引擎,天然支持高可用、分布式和灵活设计。MongoDB 的一个很重要的设计理念是:服务端只关注底层核心能力的输出,至于怎么用,就尽可能的将工作交个客户端去决策。这也就是 MongoDB 灵活性的保证,但是灵活性带来的代价就是使用成本的提升。与 MySql 相比,想要用好 MongoDB,减少在项目中出问题,用户需要掌握的东西更多。本文致力于全方位的介绍 MongoDB 的理论和应用知识,目标是让大家可以通过阅读这篇文章之后能够掌握 MongoDB 的常用知识,具备在实际项目中高效应用 MongoDB 的能力。
本文既有 MongoDB 基础知识也有相对深入的进阶知识,同时适用于对 MonogDB 感兴趣的初学者或者希望对 MongoDB 有更深入了解的业务开发者。
阅读全文
摘要:图像处理的业务场景比较多,例如 图像搜索、视频去重、人脸识别、美图、图片去重 等。
比如,视频去重,一些用户上传了较多的视频,同一部电影可能有不同的版本,分辨率不一样,音轨不一样,压缩比不一样。这种情况会导致服务端重复存储大量的视频。
又比如甄别黄色视频或黄色图片,鉴黄师的职业要消失了。
有什么方法可以得到重复的视频呢? 如何鉴别黄色视频和图片呢? 本文将给你揭晓。
阅读全文
摘要:2022 年 10 月 13 日- PostgreSQL 全球开发组今天宣布发布 PostgreSQL 15,这是世界上最先进的开源数据库的最新版本。
PostgreSQL 15 建立在最近版本的性能改进的基础上,在管理本地和分布式部署中的工作负载方面取得了显着收益,包括改进的排序。此版本通过添加流行的 MERGE 命令改善了开发人员的体验,并添加了更多用于观察数据库状态的功能。
PostgreSQL 核心团队成员 Jonathan Katz 表示:“PostgreSQL 开发人员社区继续构建功能,以简化运行高性能数据工作负载,同时改善开发人员体验。” “PostgreSQL 15 强调了如何通过开放式软件开发,为我们的用户提供一个非常适合应用程序开发并对关键数据更安全的数据库。”
PostgreSQL是一个以可靠性和稳健性著称的创新数据管理系统,受益于全球开发者社区超过 25 年的开源开发, 并已成为各种规模组织的首选开源关系数据库。
阅读全文
摘要:应用集成是解决各个系统之间信息共享中最基础和最重要的一步。我国的商业银行都拥有繁多、复杂的应用系统,重复开发的情况严重,而且不能很好地跨系统共享数据或功能,不利于金融创新能力的提升。本文主要介绍了应用集成的发展阶段,和如何运用集成技术与方式解决系统的烟囱问题,以及相比较之下的优点与局限性。还请各路专家批评指正:)
本文适合系统集成人员、应用开发人员或接口组人员阅读,能扩展一定知识面、实现个人技术&业务能力的沉淀和提升、从而设计出更好的集成解决方案。在实际工作中,会遇到各种各样的问题,对开展工作的方式方法或套路还在梳理中,暂不做介绍。
此文的输出源于在工作中的一些思考、经查阅资料后而得出的总结,文章内容不代表公司观点。在文末有列出参考资料,方便对某个分支感兴趣的同学,自行深入学习。同时也希望和更多的朋友一起探讨和分享,或直接在留言区说说你的看法,一起成长。
阅读全文
摘要:就像我们经常所说的:没有最好的架构,只有最合适的架构。一个好的架构师,可以根据具体的需求、所拥有的资源等因素综合考虑而设计出最优的架构方案。特别是现在,业务的飞速变化、数据无处不在等这些因素的影响下,技术和框架也需要在变化的过程中不断地打磨和提升以适应新的业务需要。可能当时是最好的架构,但是后来我们还是要跟着业务的变化去做改进。这并不是一件坏事情,我们只要做好应对变化的准备即可。
阅读全文
摘要:关于架构师的成长之路,还存在着一个误区,就是把架构师默认为软件架构师。因为今天我们所遇到的架构师,大多数都是围绕着软件研发。事实上这个认识有一定的片面性。诚然,现今我们所构建的系统都是软件系统,但是在实际的工作过程中,随着信息技术在深度和广度上的快速发展,除了软件研发以外,测试、网络、安全、配置、系统和数据都已经形成了具有自己独特专业知识和经验的领域,也都需要各个领域的架构师。比如信息安全是一个非常专业的领域,要软件架构师无法完全理解和驾驭信息安全是勉为其难。网络架构师日常研究的各种网络问题,软件架构师也难以置喙,因为这是完全不同的两个领域。数据方面亦如此,能够把整个公司业务数据之间的关联性了然于胸的人,一个公司或许能有一两个,这种人就是数据架构师。现实的情况是,软件架构师占据主导地位,基本上掩盖了其他领域架构师的光芒。当然出现今天这种情况的主要原因也是因为大部分的技术领导者也都是来源于研发领域。这种状态要尽快改变,否则在运维、安全、数据、测试等其他领域工程师很难有自己的成长空间。
阅读全文
摘要:平时听到一些同学说技术方案没什么深度,很难讲出来,怎么去体现技术方案设计的深度是大家普遍关心的一个问题,这个问题不是个例问题,因此分享下自己的一些观点和看法。主要从三个部分来讲:
第一部分主要分析为什么技术方案没有体现出深度,找到问题后就好解决,并提出技术方案的广度和深度特征;
第二部分是技术方案设计的方法论,主要包括了本质论、矛盾论、系统论、演进论四个方法论,构成一个闭环反馈链路;
第三部分是通过具体的案例,反复运用第二部分的方法论阐述在实例的案例中如何去应用,加深对方法论的理解。
阅读全文
摘要:高级程序员是一名犯过其领域内所有可能犯到的错误的专家。
如果按照工作经验对软件开发人员进行分类,可能是这样的:
初级:2-3 年工作经验
高级:10 年以上工作经验
中级:介于初级和高级之间
这种按工作年限的分类存在一个问题。那就是:它对软件开发的质量只字未提。在工作的那些年里你到底获得了多少经验和技能?这正是面对开发人员的求职和面试如此复杂的原因。度量技能是很困难的,所以我们在面试中给开发人员进行了很多有难度的测试。但这些测试充其量也只是了解一个大概,无法度量其究竟具备多少完成该项工作所需的经验或专业技能。
阅读全文
摘要:导读:成为一名架构师可能是很多开发者的技术追求之一。那么如何理解架构?架构师是一个什么样的角色,需要具备什么样的能力?在架构师的道路上,会面临哪些挑战?本文作者道延分享他对架构以及架构师的思考和相关实践,希望对同学们有所启发。
阅读全文
摘要:导读:作为一个技术TL(Team Leader),除了自身技能,还会面临诸多团队管理上的困难和挑战。如何定义和明确团队的目标?怎样建立优秀的工程文化?让团队长期发挥战斗力和创新能力的核心是什么?本文作者基于四年的团队管理经验,分享他在招聘、目标管理、团队沟通和工程文化等方面的思考与总结,介绍相关的经验方法,并推荐几本关于体验、思考的书籍。希望对同学们有所启发。
阅读全文
摘要:在应用开发的早期,数据量少,开发人员开发功能时更重视功能上的实现,随着生产数据的增长,很多SQL语句开始暴露出性能问题,对生产的影响也越来越大,有时可能这些有问题的SQL就是整个系统性能的瓶颈。
阅读全文
摘要:本文详细介绍了我国银行核心系统的定义、位置与边界,发展历程、更换核心系统的原因,以及新核心建设的五大模式与其特点对比。希望内容能够帮助银行科技从业者建立起对银行核心系统的整体认知,提供一定积极的指导作用与借鉴意义,从而引发思考并促进行业交流与探讨,共同为我国的银行科技蓬勃发展贡献自己的智慧与经验。
在这里,特别要感谢张广老师,对我国银行核心系统的发展历程部分进行了完善和补充,特别是关于目前业内流行的分布式微服务组建模式,学到很多。希望后续有更多的小伙伴来分享自己的见解或想法,一起思维碰撞,探索更多可能……
阅读全文
摘要:1)对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2)应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。 3)应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引
阅读全文
摘要:今天我们来聊一个老生常谈的话题,跨域!又是跨域,烦不烦 ?网上跨域的文章那么多,跨的我眼睛都疲劳了,不看了不看了 🤣 别走...我尽量用最简单的方式将常见的几种跨域解决方案给大家阐释清楚,相信认真看完本文,以后不管是作为受试者还是面试官,对于这块的知识都能够游刃有余。
阅读全文
摘要:就像在学习之前先要识字,我想在介绍优化 JavaScript 代码之前,先介绍一下自己对编程语言的理解。故事要从一只叫做 Theseus 的机械鼠和其发明人克劳德-香农(Claude Shannon)说起。在传记《A Mind at Play:How Claude Shannon Invented the Information Age》中,作者 Jimmy Soni 和 Rob Goodman 强烈希望将香农的作品 Theseus 展示给广大读者。面对复杂的迷宫,Theseus 仅用一堆继电器、ROM 存储等简单而古老的电子元器件,就完成了对复杂迷宫的探索和成功线路的记忆,第二次沿着正确道路走出迷宫的 Theseus 没犯一点儿错误。大多数人认为这不过是骗人的把戏和小玩意儿,弃之如敝履。少数聪明人眼里 Theseus 蕴含的惊人智慧简直可以和牛顿、爱因斯坦媲美,香农凭借一己之力将布尔代数引入电子电路设计启发了后世数字电路乃至计算机的发明。
阅读全文
摘要:技术传播的价值,不仅仅体现在通过商业化产品和开源项目来缩短我们构建应用的路径,加速业务的上线速率,也体现在优秀工程师在工作效率提升、产品性能优化和用户体验改善等经验方面的分享,以提高我们的专业能力。本文作者阿里巴巴技术专家三画,分享了自己和团队在画好架构图方面的理念和经验,首发于阿里内部技术分享平台,梓敬、鹏升和余乐对此文亦有贡献。
阅读全文