01 2021 档案
摘要:摘要:性能优化通常是在现有系统和代码基础上做改进,考验的是开发者反向修复的能力,而性能设计考验的是设计者的正向设计能力,但性能优化的方法可以指导性能设计,两者互补。 性能优化是指在不影响正确性的前提下,使程序运行得更快,它是一个非常广泛的话题。 优化有时候是为了降低成本,但有时候,性能能决定一个产品
阅读全文
摘要:摘要:本文介绍两种端到端训练通用目标检测算法--DETR和DeFCN。 通用目标检测作为计算机视觉中一个基础的任务,对着图像理解、信息提取有着极为重要的意义。对于该任务目前已经发展出了许多方法,如基于全卷积的单阶段方法DenseBox,YOLO,SSD, RetinaNet和CenterNet等,以
阅读全文
摘要:摘要:本文重点讲解了基于v1.1.0的目标作业资源预留特性的设计和最佳实践。讲解过程中,全面介绍了特性设计过程中的考量因素和算法设计。 资源预留(Reservation)是批处理系统的一类常见需求,也是公平性调度(Fair Scheduling)的补充。从不同维度来看,资源预留可以分为抢占式预留和非
阅读全文
摘要:摘要:中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统的离线升级模式,真正实现了业务无感的平滑滚动升级。 2020年8月27日,中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级,为期两周的升级过程突破了传统
阅读全文
摘要:步入2021年,新冠疫情依旧反复,各地相继出台线下教培机构的停课通知,教培机构再次面临生存挑战。 对于教育行业来说,过去的一年,教培机构在变与不变之间经历着行业洗牌的考验,线下教育企业在线化步伐加快,“教育OMO”成为2020年教育行业反复提起的关键词之一,那么线上线下教育的融合到底从何而起?到何处
阅读全文
摘要:摘要:音视频传输协议众多, 不同业务应该如何选择? RTSP、RTMP、RTP/RTC、HLS、MSS、DASH、WEBRTC、RIST、SRT;在此我们就从业务发展的视角来理解各种流媒体协议,帮助大家有更加清晰的理解,选择时做出更理性的判断。 IPTV IPTV 是由运营商主导建设的一套系统,他的
阅读全文
摘要:摘要:Volcano主要是基于Kubernetes做的一个批处理系统,希望上层的HPC、中间层大数据的应用以及最下面一层AI能够在统一Kubernetes上面运行的更高效。 Volcano产生的背景 上图是我们做的一个分析,我们将其分为三层,最下面为资源管理层,中间为领域的框架,包括AI的体系、HP
阅读全文
摘要:摘要:本月我们要重点介绍王泽锋(Kevin Wang),他是 CNCF 社区的长期贡献者,华为云原生开源团队的负责人,KubeEdge 和 Volcano 项目的联合创始人。Kevin 回答了几个关于他过去五年在 CNCF 社区的经历相关问题。 CNCF (Cloud Native Computin
阅读全文
摘要:摘要:本文将会和读者分享LiteOS 5.0版本中Cortex-M架构的backtrace软件原理及实现,供大家参考和学习交流。 原理介绍 汇编指令的执行流程 图 1 汇编指令的执行顺序 上图1所示,ARM的汇编指令执行分三步:取值(fetch)、译指(decode)、执行(execute),按照流
阅读全文
摘要:摘要:伴随着微服务架构被宣传得如火如荼,一些概念也被推到了我们面前。服务熔断、服务降级,好高大上的样子,以前望尘莫及,今日终于揭开它神秘面纱。 服务雪崩效应的定义很简单,是一种因服务提供者的不可用导致服务调用者的不可用,并将不可用逐渐放大的过程。 可以结合下图进行理解: 服务雪崩 上图中,A作为基础
阅读全文
摘要:摘要:Volcano 方便AI,大数据,基因,渲染等诸多行业通用计算框架介入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。 Volcano 是一个 Kubernetes 云原生的批量计算平台,也是CNCF的首个批量计算项目。 Volcano 方便AI,大数据,基因,渲染等诸
阅读全文
摘要:摘要:linux程序运行的状态以及如何推导调用栈。 1、背景知识 1、ARM64寄存器介绍: 2、STP指令详解(ARMV8手册): 我们先看一下指令格式(64bit),以及指令对于寄存机执行结果的影响 类型1、STP <Xt1>, <Xt2>, [<Xn|SP>], #<imm> 将Xt1和Xt2
阅读全文
摘要:摘要:Hash索引有两个明显的限制:(1)当key的数量很多时,维护Hash索引会给内存带来很大的压力;(2)区间查询很低效。如何对这两个限制进行优化呢?这就轮到本文介绍的主角,LSM树,出场了。 我们通过append-only log的数据结构,实现了一个具备高写入性能的key-value数据库。
阅读全文
摘要:摘要:高性能计算(HPC)在各个领域都有广泛的应用。本文通过典型的HPC应用WRF,介绍了HPC应用在Kubernetes+Volcano上运行方式。 Kubernetes已经成为云原生应用编排、管理的事实标准,越来越多的应用选择向K8S迁移。HPC作为传统的分布式计算模式,在很多领域都有着广泛的应
阅读全文
摘要:摘要:本文主要介绍如何在数据库中完成覆盖式数据导入的方法。 前言 众所周知,数据库中INSERT INTO语法是append方式的插入,而最近在处理一些客户数据导入场景时,经常遇到需要覆盖式导入的情况,常见的覆盖式导入主要有下面两种: 1、部分覆盖:新老数据根据关键列值匹配,能匹配上则使用新数据覆盖
阅读全文
摘要:摘要:作为一名码农,Git的使用就像家常便饭,时时刻刻都要用到,那么Git分支管理也是必须要掌握的。 Git 分支管理 几乎每一种版本控制系统都以某种形式支持分支。使用分支意味着你可以从开发主线上分离开来,然后在不影响主线的同时继续工作。 有人把 Git 的分支模型称为必杀技特性,而正是因为它,将
阅读全文
摘要:摘要:本文将首先介绍Antlr4 grammer的定义方式,如何通过Antlr4 grammer生成对应的AST,以及Antlr4 的两种AST遍历方式:Visitor方式和Listener方式。 1. Antlr4简单介绍 Antlr4(Another Tool for Language Reco
阅读全文
摘要:摘要:【免费下载】华为云社区年度技术精选集,700页+PDF送你啦!愿牛年少踩坑。 技术人的年货来了!点我带回家! 年度技术精选合集【上】:https://bbs.huaweicloud.com/blogs/attachment?id=bb86ad22ef44448a8ad03bd7c813b939
阅读全文
摘要:摘要:今天我们来聊聊分布式锁这块知识,具体的来看看Redis分布式锁的实现原理。 一、写在前面 现在面试,一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架(Spring Cloud、Dubbo)聊起,一路聊到分布式事务、分布式锁、ZooKeeper等知识。 所以咱们这篇文章就来聊聊分布式锁
阅读全文
摘要:摘要:一般地,架构模式大致可以分成两类,单体架构(monolithic architecture)和分布式架构(distributed architecture)。 前言 谈到软件系统设计的方法论,在代码层面,有我们熟悉的23种设计模式(design pattern),对应到架构层面,则有所谓的架构
阅读全文
摘要:摘要:下一代的视频编码技术仍是采用传统的演进思路——在经典架构上做模块增强。 随着短视频、直播的兴起,在线视频领域用户使用时长已超过社交领域,而5G时代视频在互联网的流量占比将会增长至85~90%。面对用户对视频画质要求的不断提高,如何在有限带宽的网络环境中,实现更清晰、更低成本的视频信号传输,一直
阅读全文
摘要:摘要:教你如何方便记忆和理解类图里的线条的小妙招,赶紧学起来。 空白三角:和类的父子关系有关 父子关系,对应于java 就是 类的派生(泛化) ,和接口的 实现。 且箭头从儿子指向父亲 因为接口类似于虚函数,而类是实体,所以实现是虚线,派生是实线(我是这么理解的,你也可以在其他角度理解强弱) 二叉箭
阅读全文
摘要:摘要:学过Java的程序员对JVM应该并不陌生,如果你没有听过,没关系今天我带你走进JVM的世界。程序员为什么要学习JVM呢,其实不懂JVM也可以照样写出优质的代码,但是不懂JVM有可能别被面试官虐得体无完肤。 § 1.JAVA内存区域与内存溢出异常 § 1.1运行时数据区域 § 1.1.1 程序计
阅读全文
摘要:摘要:本次实践基于 mobilenetV2 实现猫狗图像分类,贯穿了数据集获取及处理、预训练模型微调及迁移、端侧部署及推理等环节和知识点,体会到了 MindSpore 简单的开发体验和全场景快速部署的魅力。 startTime: 2021年1月23日00:43:22 endTime: 2021年1月
阅读全文
摘要:摘要:KubeEdge 是一个开源的边缘计算平台,它在Kubernetes原生的容器编排和调度能力之上,扩展实现了 云边协同、计算下沉、海量边缘设备管理、边缘自治等能力。KubeEdge还将通过插件的形式支持5G MEC、AI云边协同等场景,目前在很多领域都已落地应用。 在边缘的流失处理产品Kuip
阅读全文
摘要:摘要:本篇文章将会从Spark on Kubernetes 发展历程以及工作原理,以及介绍一下Spark with Volcano,Volcano如何能够帮助 Spark运行地更高效。 Spark on Kubernetes 我们来看Spark on Kubernetes的背景。其实Spark在从2
阅读全文
摘要:摘要:本文简单介绍一下什么是统计信息、统计信息记录了什么、为什么要收集统计信息、怎么收集统计信息以及什么时候收集统计信息。 1 WHY:为什么需要统计信息 1.1 query执行流程 下图描述了GaussDB的SQL引擎从接收客户端SQL语句到执行SQL语句需要经历的关键步骤,以及各个流程中可能对执
阅读全文
摘要:摘要:日志异常检测的核心是借助AI算法自动分析网络设备日志来发现并定位故障,根据送入检测模型的数据格式,日志异常检测算法模型分为序列模型和频率模型,其中序列模型又可以分为深度模型和聚类模型。 AIOps(Artificial Intelligence for IT Operations)即智能运维,
阅读全文
摘要:摘要:本文主要讲了Spring Aop动态代理实现的两种方式。 1. Spring AOP Spring是一个轻型容器,Spring整个系列的最最核心的概念当属IoC、AOP。可见AOP是Spring框架中的核心之一,在应用中具有非常重要的作用,也是Spring其他组件的基础。AOP(Aspect
阅读全文
摘要:摘要:随着数据仓库业务的发展,GDS使用场景日益增多,这就要求GDS仍要不断迭代,充分深入挖掘用户需求,提高产品化程度。 1. GDS定位 GDS是GaussDB(DWS)提供的一个数据导入导出工具,可在支持多种场景下的数据迁移业务,如异型数据库之间、两个集群之间等。GDS性能较高,单核处理能力上限
阅读全文
摘要:摘要:本文分享鸿蒙分布式软总线,并对相关源代码进行解析,为在鸿蒙系统平台上工作的相关人员的信息参考和指导。 总线是一种内部结构,在计算机系统中,主机的各个部件通过总线相连,外部设备通过相应的接口电路再与总线相连接,是CPU、内存、输入、输出设备传递信息的公用通道。按所传输的信息种类,可划分为数据、地
阅读全文
摘要:摘要:数字化时代下,华为云数据管理服务DAS基于AI技术,于近期推出了智能SQL分析(包括慢SQL发现、SQL透视)、workload级别索引推荐、存储空间预测等运维特性,加上原有的数据库运维能力,构成了一个完整的数据库运维生态,加速数据运维自动化、智能化进程,让SQL预测、推荐更准确,让数据库的性
阅读全文
摘要:日前,华为云在知识计算领域的多跳知识推理问答取得重大进展。基于自然语言处理领域的领先技术积累,华为云语音语义创新Lab联合华为诺亚方舟实验室在国际权威的HotpotQA评测Fullwiki Setting赛道荣登榜首,在答案模糊准确率和联合模糊准确率(Joint F1)等指标上均达到第一。 Hotp
阅读全文
摘要:摘要:GaussDB(for Redis)(下文简称高斯Redis)是华为云数据库团队自主研发的兼容Redis协议的云原生数据库,该数据库采用计算存储分离架构,突破开源Redis的内存限制,可轻松扩展至PB级存储。 本文将从存储架构、四大特性、竞争力、应用场景等方面进行介绍。 存储架构 高斯Redi
阅读全文
摘要:摘要:本文主要采用基于博流wifi模组以及我们的SDK移植实现华为云的对接,上报数据以及命令下发等,希望对您有所帮助。 1 简介 首先需要研究透彻博流项目的编译运行流程,首先看其根目录中包括components(组件),customer_app(多个demo示例)。以sdk根目录的customer_
阅读全文
摘要:摘要: MySQL到ClickHouse数据同步原理及实践 引言 熟悉MySQL的朋友应该都知道,MySQL集群主从间数据同步机制十分完善。令人惊喜的是,ClickHouse作为近年来炙手可热的大数据分析引擎也可以挂载为MySQL的从库,作为MySQL的 "协处理器" 面向OLAP场景提供高效数据分
阅读全文
摘要:摘要:如何通过软件自动的检查法规中涉及的数据保护, 新版的CWE 4.3 给出了一个解决途径。 1. 按照惯例,先说故事 用12月初在深圳参加的"全球C++及系统软件技术大会"里C++之父Bjarne讲的一个故事, 致敬一下这位大能。 由于疫情, Bjarne不能亲自来到会场, 只能通过视频的方式和
阅读全文
摘要:摘要:NanoDet 是一个速度超快和轻量级的移动端 Anchor-free 目标检测模型。 前言 YOLO、SSD、Fast R-CNN等模型在目标检测方面速度较快和精度较高,但是这些模型比较大,不太适合移植到移动端或嵌入式设备;轻量级模型 NanoDet-m,对单阶段检测模型三大模块(Head、
阅读全文
摘要:摘要:本文主要介绍类加载器、自定义类加载器及类的加载和卸载等内容,并举例介绍了Java类的热替换。 最近,遇到了两个和Java类的加载和卸载相关的问题: 1) 是一道关于Java的判断题:一个类被首次加载后,会长期留驻JVM,直到JVM退出。这个说法,是不是正确的? 2) 在开发的一个集成平台中,需
阅读全文
摘要:摘要:MySQL 提供了多种存储引擎来支持事务。 MySQL 提供了多种存储引擎来支持事务。支持事务的存储引擎有 InnoDB 和 BDB,其中,InnoDB 存储引擎事务主要通过 UNDO 日志和 REDO 日志实现,MyISAM 存储引擎不支持事务。 拓展:任何一种数据库,都会拥有各种各样的日志
阅读全文
摘要:摘要:本文将介绍几种常用手段,用于梳理数据库网络故障可能存在的问题,从而快速定位恢复。 1 问题背景 在GaussDB各类问题场景中,网络故障是最难定位及恢复的问题之一,其不仅可能影响着数据库的性能,甚至在一定程度上会阻塞业务的正常运行,造成严重后果。网络问题牵连着应用侧(即GaussDB)、操作系
阅读全文
摘要:摘要:本文将会解释回调函数的概念,同时帮你区分两种回调:同步和异步。 回调函数是每个前端程序员都应该知道的概念之一。回调可用于数组、计时器函数、promise、事件处理中。 本文将会解释回调函数的概念,同时帮你区分两种回调:同步和异步。 1.回调函数 首先写一个向人打招呼的函数。 只需要创建一个接受
阅读全文
摘要:摘要:这群“年轻”人用技术“驯服”了无人机巡检输电线路。 2019年6月,有个城市因为电力互联系统瘫痪瞬间成了一座“灰暗”的城市,交通信号灯停止运作,地铁、城际铁路、公交车等公共交通全部停运,供水系统无法正常运行。此次停电波及超过4800万人。 在高度依赖电力产业的今天,停电成了一座城市的灾难,交通
阅读全文
摘要:摘要:持续交付的最终目的是高效和可信两者的结合。 一、高效可信的持续交付 1.1 软件研发的目的 持续交付是一个大家平时提得比较多的话题,高效是持续交付的目的,具体到华为云的场景下,持续交付的最终目的是高效和可信两者的结合。 总体而言,软件研发的目的是持续并且快速地交付高质量的有价值的软件给客户。首
阅读全文
摘要:摘要:来自华为云直播的段亮详细介绍华为云视频在Cloud Native的转型实践中遇到的问题、挑战以及解决之道。 随着云基础设施服务以及边缘计算技术的发展,Cloud Native,即云原生,架构理念和研发也越来越普及。从传统软件架构,到云原生软件架构的转变,还需要经历一段时间才能逐渐走向成熟。今天
阅读全文
摘要:摘要:尽管 React Native 已经进入开源的第 6 个年头,距离发布 1.0 版本依旧是遥遥无期。“Learn once, write anywhere”,完全不影响 React Native 沦为“不会 JavaScript 也能用”的框架,那如何将在 React Native 项目中引入
阅读全文
摘要:当下,全社会驶入数字化转型快车道,以科技赋能、智慧转型为主旨的数字生态推动着千行百业的变革。数据库作为企业核心数据底座,华为云提供了安全可靠的云原生底座和一站式上云解决方案。其中华为云GaussDB覆盖全场景,已成为金融政企客户核心数据上云的信赖之选,在500+大客户规模商用。 工商银行 流量洪峰来
阅读全文
摘要:摘要:在云服务业务开发中,善于使用代码新特性,往往能让开发效率大大提升,这里简单介绍下lambad表达式及函数式接口特性。 1.Lambda 表达式 Lambda表达式也被称为箭头函数、匿名函数、闭包。他允许把函数作为一个方法的参数(函数作为参数传递到方法中),体现出轻量级函数式编程思想。 为什么引
阅读全文
摘要:摘要:YOLO系列的目标检测算法可以说是目标检测史上的宏篇巨作,接下来我们来详细介绍一下YOLO v3算法内容。 算法基本思想 首先通过特征提取网络对输入特征提取特征,得到特定大小的特征图输出。输入图像分成13×13的grid cell,接着如果真实框中某个object的中心坐标落在某个grid c
阅读全文
摘要:摘要:在业界中有一个比较成熟的工具,针对大表的场景,可以在线进行Alter变更,且不会出现锁表的风险。除此之外,它还有其他的一些优点,让我们开始探索吧。 背景 大家在日常工作中,往往需要对数据库的表结构做变更,一般涉及到增删字段,修改字段属性等ALTER的操作。然而,在大表场景下,特别是千万级、亿级
阅读全文
摘要:摘要:在后疫情时代,音视频服务以前所未有之势被各行业强烈需要,然目前想要被广泛应用,却面临三大挑战:“贵”、“卡”、“不够炫”。依托华为强大的技术基础,华为云视频云服务如何解决这三大挑战?或许,“华为云视频云如何理解云原生”,“到目前为止有哪些实践及应用”可以给我们答案。云原生,未来可期。 后疫情时
阅读全文
摘要:摘要:本系列通过作者对Redis Sentinel源码的理解,详细说明Sentinel的代码实现方式。 Redis Sentinel 是Redis提供的高可用模型解决方案。Sentinel可以自动监测一个或多个Redis主备实例,并在主实例宕机的情况下自动实行主备倒换。本系列通过作者对Redis S
阅读全文
摘要:摘要:Linux常用命令,很适合你的。 一提到操作系统,我们首先想到的就是windows和Linux。Windows以直观的可视化的方式操作,特别适合在桌面端PC上操作执行相应的软件。相比较Windows来说,Linux的很多管控都需要用命令来操作。 Linux命令行方式的操作,特别是在服务器端编程
阅读全文
摘要:摘要:人类思维中总存在缺陷,写出的代码一样会存在缺陷,导致软件系统出现不符合预期的行为。本文讨论了软件缺陷的定义、分类、检测和修复。 人类思维中总存在缺陷,写出的代码一样会存在缺陷,导致软件系统出现不符合预期的行为。自动化地检测和修复缺陷是提高软件开发效率和软件质量的重要手段。本文讨论了软件缺陷的定
阅读全文
摘要:摘要:保障网络环境的安全,我们得“武装”起来,守住各个入口。怎么“武装”呢? 网络世界就和现实世界一样,总是会有些不怀好意的“人”出现,扫扫你的端口啊,探测探测你的应用情况啊,看看有没有什么漏洞啊,然后趁虚而入...... 像不像个小偷,这瞅瞅那瞅瞅,门有没有上锁,窗户有没有关严,看准时机就悄悄潜入
阅读全文
摘要:摘要:git是目前世界上最先进的分布式版本控制系统。 多人协作 master:此分支用来发布稳定的代码,合并一般是由管理员合并 dev:此分支用于团队开发,团队成员向此分支提交代码 bug:此分支用于修复紧急bug,修复完成后一般删除 MASTER 分支 当dev完成一个版本的测试后,合并到mast
阅读全文
摘要:摘要:你觉得需求条目化怎么样? 曾经,大概在2010年之后的几年里,敏捷在国内变得越来越广为人知,作为重要的敏捷需求实践,用户故事几乎成为了标配。但实践者们对于它,却一直都有着非常多的疑问和困惑,尤其是用户故事和用例的争议,贯穿了国内几乎整个发展历程。虽然在我看来它们的关系很好理解、很简单,Crai
阅读全文
摘要:摘要:本文介绍GaussDB(DWS)另一种可以人工干预计划生成的功能--plan hint。 前言 数据库的使用者在书写SQL语句时,会根据自己已知的情况尽力写出性能很高的SQL语句。但是当需要写大量SQL语句,且有些SQL语句的逻辑极为复杂时,数据库使用者就很难写出性能较高的SQL语句。 而每个
阅读全文
摘要:摘要:本文重点剖析全场景统一的AI框架的挑战和MindSpore的解决思路。 2020年的最后一天,MindSpore发布了1.1版本,1.1中很重要的特性是构建了端边云全场景统一的基础架构: https://gitee.com/mindspore/mindspore 所以本文重点剖析全场景统一的A
阅读全文
摘要:摘要:NumPy是Python的最重要的扩展程序库之一,也是入门机器学习编程的必备工具。国外有位程序员讲NumPy的基本运算以图解的方式写下来,让学习过程变得轻松有趣。 NumPy是Python的最重要的扩展程序库之一,也是入门机器学习编程的必备工具。然而对初学者来说,NumPy的大量运算方法非常难
阅读全文
摘要:摘要:高可用性对于我们来说应该属于经常提到的名词,本文我们将介绍在分布式系统中保证高可用性的一些常用经验。 系统可用性指标 系统可用性指标简单来将就是系统可用时间与总运行时间之比 Availability=MTTF/(MTTF+MTTRMTTF) MTTF 是 Mean Time To Failu
阅读全文
摘要:摘要:路径生成是表关联方式确定的主要阶段,本文介绍了几个影响路径生成的要素:cost_param, scan方式,join方式,stream方式,并从原理上分析如何干预路径的生成。 一、cost模型选择 顾名思义,cost_param是控制cost相关的一个参数。在了解cost_param之前,先回
阅读全文
摘要:摘要:互联网视频经过几代发展,用户体验快速升级,对创新玩法、互动性要求越来越高。那如何解决这些问题? 媒体AI,是行业共识。华为云提供云原生实时媒体AI能力,联合伙伴打造AI算法开放生态市场,加速视频业务创新,云端特效就是其中一个用例。 随着视频业务不断升级,用户对体验的要求越来越高,比如要互动性更
阅读全文
摘要:云、AI、5G等技术驱动,数据库行业迎来新的需求,云数据库也在不断演进升级。依托华为云与华为云Stack,通过全栈软硬件优化,华为云GaussDB进行了进阶与革新,以统一的架构,支持关系型与非关系型的数据库引擎。 近日,在第十一届中国数据库技术大会上,笔者有幸采访到了华为云数据库产品总监张昆,张昆向
阅读全文
摘要:摘要:如果能够让代码在编译的时候,自动完成白盒测试,这不是天方夜谭。 白盒测试也叫开发者测试,是对特定代码函数或模块所进行的功能测试。当前主流的白盒测试方法是:先针对仿真或者生产环境编译出可执行文件,然后运行得到测试结果。这种方法有3个问题: 可能需要专门针对白盒测试额外做一次构建。这是因为仿真环境
阅读全文
摘要:摘要:下面就为大家带来个人认为的常见的烂注释风格。 相信作为程序员的大家,只要写代码,就会自己写及看到别人写的代码注释。所以,我们往往会遇到“百花齐放,百家争鸣”般的注释。程序员最讨厌的10件事,0:写注释,1:别人不写注释。 作为一个老IT人,看了那么多年代码,也就看了那么多年注释。可以说,好代码
阅读全文
摘要:摘要:本文主要研究了HDFS文件系统的读写流程以及基于MRS在windows客户端下读写HDFS文件的实现。 HDFS(Hadoop分布式文件系统)是Apache Hadoop项目的一个子项目。 HDFS支持海量数据的存储,允许用户把成百上千的计算机组成存储集群,其中的每一台计算机称为一个节点。用户
阅读全文
摘要:摘要:基于AOC打造新一代网络设备运管平台,并在生产测试区上线,实现了网络运维开放可编程技术在金融行业的首应用。 Bank4.0时代,智能金融服务融入生活中的各个场景,随时随地、永不掉线的金融服务需要平稳的网络支撑。随着金融互联网业务的飞速发展,一方面金融机构对数据中心基础网络的平稳性和快速性的要求
阅读全文
摘要:摘要:从STM32新建工程、编译下载程序出发,让新手由浅入深,尽享STM32标准库开发的乐趣。 自从CubeMX等图像配置软件的出现,同学们往往点几下鼠标就解决了单片机的配置问题。对于追求开发速度的业务场景下,使用快速配置软件是合理的,高效的,但对于学生的学习场景下,更为重要的是知其然并知其所以然。
阅读全文
摘要:摘要:为了打破技术与业务的壁垒,搭建技术与业务的桥梁,因此基于如下流程实现应用业务模型管理 ROMA ABM。 在数字经济时代,数据正在成为企业极其重要的战略性资产。在政府方面,数据第一次作为新型生产要素,列为比肩土地、劳动力、资本、技术的“第五要素”。随着数据增多,越来越难弄清楚这些数据背后的具体
阅读全文
摘要:摘要:本文将系统介绍在GaussDB(DWS)系统中影响性能的坏味道SQL及SQL模式,帮助大家能够从原理层面尽快识别这些坏味道SQL,在调优过程中及时发现问题,进行整改。 数据库的应用中,充斥着坏味道的SQL,非常影响查询的性能。坏味道SQL,即由于开发者写的随意,导致执行性能较差,需要通过优化S
阅读全文
摘要:摘要:本篇博文从模型和算法的视角,分别介绍了基于统计方法的情感分析模型和基于深度学习的情感分析模型。 文本情感分析(Sentiment Analysis)是指利用自然语言处理和文本挖掘技术,对带有情感色彩的主观性文本进行分析、处理和抽取的过程。目前,文本情感分析研究涵盖了包括自然语言处理、文本挖掘、
阅读全文
摘要:摘要:在软件行业中,神仙打架的名场面,那就不得不提的是2014年的那场——测试驱动开发(TDD)之争。 在历史上有很多精彩绝伦的神仙打架,比如数学界的牛顿和莱布尼茨关于微积分的旷世之争;比如量子物理中的爱因斯坦和波尔的紫禁之巅;比如足球里的梅西和C罗的旗鼓相当难分高下;又比如滴滴和快滴之间触目惊心的
阅读全文
摘要:摘要:看这群大学生如何保护粮食,让害虫、霉变无处遁形。 国以民为本,民以食为天,对有着14亿人口的中国来说,粮食安全,一直都是关系国计民生的头等大事。 2010年以来,我国人均粮食占有量持续高于世界平均水平,然而,中国也是世界粮食进口第一大国。新冠疫情全球蔓延,纷纷将粮食紧握手中,粮食危机被认为是“
阅读全文
摘要:摘要:程序员常会说:我最讨厌别人写的代码没有文档,我也最讨厌自己需要写文档。 有一个很老的梗: 我最讨厌别人写的代码没有文档,我也最讨厌自己需要写文档。 有这种想法的程序员应该算是一个老鸟了,对于大多数程序员来说,对于他们来说: 文档是什么。 对于大规模,超大规模的项目,并且历时很长,需要大量人员协
阅读全文
摘要:摘要:软件测试的最高层次需求是:UI测试,也就是这个软件“长得好不好看”。 为了让读者更好地理解测试,我们从最基础的概念开始介绍。以一个软件的“轮回”为例,下图展示了一个软件的研发流程。随着软件规模的不断增大,一个软件动辄百万行的代码,想要单靠人工检查或者程序猿的技术本身保证质量已经变得不现实。因此
阅读全文
摘要:摘要:服务器监控工具功能相当强大,无论何时何地,我们都可以了解到服务器的功能以及性能。服务器监控工具的使用,可以让我们清楚的知道用户可以打开我们的网站,且确保网速不慢。这里为你列出了几个常用的服务器监控工具,为你省去寻找方案的麻烦。 以这台鲲鹏服务器为例,先查看自己操作系统的发行版本 (1)nmon
阅读全文
摘要:摘要:在没有ROMA Compose之前,完成一个跨数据源的关联查询是一个十分艰巨的任务。 1. ROMA Compose为何诞生 试想这样一个场景,主管让刚入职的小沛明天下班前给他发一份报表。小沛兴冲冲的打开需求清单一看,好家伙,报表需要连接各个不同数据源,A部门提供的数据存在MySQL、B部门提
阅读全文
摘要:摘要:本文稍微回顾一下传统迁移算法的流程、特性和局限之处,然后文章介绍几种解决当源域数据有某些访问限制的场景下实现迁移的算法。具体包括:ADDA-CVPR2017,FADA-ICLR2020,SHOT-ICML2020。 本文介绍一种特殊场景下的迁移算法:隐私保护下的迁移算法。首先,本文稍微回顾一下
阅读全文
摘要:摘要:云原生时代,视频直播、实时音视频通信等在线音视频服务面临各种复杂的网络环境和流量爆发式的增长,对音视频质量监控和成本优化提出新的严峻挑战。 2020年是不平凡的一年,客观来说它促进了我们音视频业务的爆发式增长。华为云基于大容量、低时延、全互联的媒体网络,通过全国的2000多个节点和几百T的宽带
阅读全文
摘要:摘要:MyBatis 作为一款优秀的持久层框架,它支持自定义SQL、存储过程以及高级映射。 MyBatis 作为一款优秀的持久层框架,它支持自定义SQL、存储过程以及高级映射。它免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。还可以通过简单的 XML 或注解来配置和映射原始类型、接口
阅读全文
摘要:摘要:分布式系统中每个进程的动态配置管理及运行时热加载就成为了一个亟待解决的问题。go chassis汲取了netflix的archaius框架经验,并做出来自己的创新特性。 引言 https://github.com/go-chassis/go-chassis是一个微服务开发框架,而微服务开发框架
阅读全文
摘要:摘要:2020GDE全球开发者大赛-KPI异常检测告一段落,来自深圳福田莲花街道的“原子弹从入门到精通”有幸取得了总榜TOP1的成绩,在这里跟大家分享深圳福田莲花街道在本次比赛的解决方案。 背景介绍 核心网在移动运营商网络中占据举足轻重的地位,其异常往往会导致呼叫失败、网络延迟等现网故障,对全网的服
阅读全文
摘要:摘要:传统的三层数据中心,置身虚拟机化的浪潮中,其中变革创新,就在此篇文章中一窥究竟吧。 传统数据中心三层组网架构 政府部门或者金融机构等大型企业的数据中心中服务器的规模可能会达到2000台以上。一般情况下,数据中心网络都会进行服务器的分区管理,单个业务分区规模不大,此时可以采用下图所示的标准三层架
阅读全文
摘要:摘要:随着欧洲通用数据保护条例(GDPR)的实施,基于区块链的分布式身份(Decentralized Identifiers, DID)越来越受到学术界和产业界的关注。究竟什么是分布式身份?其设计原理和实现方式是怎样的?我们可以用它来做什么呢? 相比于上面几个问题,我相信你一定对“为什么需要分布式身
阅读全文
摘要:摘要:通过这个系列,让大家对中台的价值、针对的问题痛点、中台规划的方法思路和技巧、一些中台业务实践有个基本的认识,让客户清楚的意识到企业中台的业务价值,进而通过企业中台规划牵引客户IT基础设施投资。 今年“中台”一词异常火爆,百度搜索指数已经远超“数字化转型”。中台的产生并非完全自上而下的战略设计,
阅读全文
摘要:摘要:用户在使用数据库过程中,受限于内置函数的功能,部分业务不易实现时,可以使用自定义C函数实现特殊功能。本文通过两个示例展示自定义C函数的实现过程。 前言 用户在使用数据库过程中,常常受限于内置函数的功能,部分业务不易实现,或实现后性能较差,在这些场景出现时可以考虑使用C编写自定义函数来实现独立功
阅读全文
摘要:摘要:随着云原生2.0时代的来临,越来越多的企业及个人选择使用云原生技术来构建业务,云原生技术给业务构建、交付带了便利的同时,对运维也提出了更高的要求。 2020年12月,中国DevOps社区峰会在北京举办。DevOps大咖齐聚一堂,其中华为公有云应用运维域产品经理闫硕受邀分享《华为云DevOps立
阅读全文
摘要:摘要:MySQL性能优化就算通过合理安排资源,调整系统参数使MySQL运行更快,更节省资源。MySQL性能优化包括查询速度优化,更新速度优化,MySQL服务器优化等等。 前言 MySQL性能优化就算通过合理安排资源,调整系统参数使MySQL运行更快,更节省资源。MySQL性能优化包括查询速度优化,更
阅读全文
摘要:摘要:大家提到Mysql的性能优化都是注重于优化sql以及索引来提升查询性能,大多数产品或者网站面临的更多的高并发数据读取问题。然而在大量写入数据场景该如何优化呢? 今天这里主要给大家介绍,在有大量写入的场景,进行优化的方案。 总的来说MYSQL数据库写入性能主要受限于数据库自身的配置,以及操作系统
阅读全文
摘要:摘要:软件开发和软测试是息息相关的,很多人知道软件开发,但是对软件测试的了解不是很多。怎么才能成为一名专业的软件测试人员呢? IT互联网的飞速发展,很多人选择从计算机方面开发着手,在整个计算机行业的,不同岗位所需要具备的能力是不同的。软件开发和软测试是息息相关的,很多人知道软件开发,但是对软件测试的
阅读全文
摘要:摘要:全文检索是在互联网场景下应用非常广泛的特性,搜索引擎、站内搜索、电商搜索等场景下都会使用到,GaussDB(DWS)同样也支持全文检索功能,是基于GIN索引实现的,下面给大家详细介绍一下GaussDB(DWS)的全文检索特性的功能。 全文检索实现的功能,简单来说就是根据关键字从在全文字段中搜索
阅读全文
摘要:摘要:敏捷与安全似乎矛盾,但如何共存?本文将为你解读从“应用敏捷”到“应用敏捷+安全”的实现路径。 起初,企业以传统的瀑布式研发模式把软件开发过程划分为需求、分析、设计、开发、测试等不同的流程。这些流程有着严格的先后次序之分,只有当前面的流程结束之后,下一个流程才能开始运转。这种开发方式好似瀑布的下
阅读全文