随笔分类 - 京东云技术
摘要：
作者：胡济麟 1、背景介绍 1.1 直播业务特点 互联网视频直播是一种消息媒介形态，提供时产时消的内容，经过多年，已经发展出秀场、游戏、电商、体育等多种业务形态。主要特点是：内容实时产生实时消费，对时效性要求更高；流媒体内容占用带宽大，对网络质量要求更苛刻；一人生产、多人消费，带宽规模大。直播 CD
阅读全文
作者：胡济麟 1、背景介绍 1.1 直播业务特点 互联网视频直播是一种消息媒介形态，提供时产时消的内容，经过多年，已经发展出秀场、游戏、电商、体育等多种业务形态。主要特点是：内容实时产生实时消费，对时效性要求更高；流媒体内容占用带宽大，对网络质量要求更苛刻；一人生产、多人消费，带宽规模大。直播 CD
阅读全文
摘要：
HTTP缓存与CDN缓存一直是提升web性能的两大利器，合理的缓存配置可以降低带宽成本、减轻服务器压力、提升用户的体验。而不合理的缓存配置会导致资源界面无法及时更新，从而引发一系列的衍生问题。本文将分别将从HTTP缓存与cdn缓存的规则、流程、配置入手，能让大家了解基础概念的同时，可对自己的项目配置
阅读全文
HTTP缓存与CDN缓存一直是提升web性能的两大利器，合理的缓存配置可以降低带宽成本、减轻服务器压力、提升用户的体验。而不合理的缓存配置会导致资源界面无法及时更新，从而引发一系列的衍生问题。本文将分别将从HTTP缓存与cdn缓存的规则、流程、配置入手，能让大家了解基础概念的同时，可对自己的项目配置
阅读全文
摘要：
1 前言 ElasticSearch是一个实时的分布式搜索与分析引擎，常用于大量非结构化数据的存储和快速检索场景，具有很强的扩展性。纵使其有诸多优点，在搜索领域远超关系型数据库，但依然存在与关系型数据库同样的深度分页问题，本文就此问题做一个实践性分析探讨 2 from + size分页方式 from
阅读全文
1 前言 ElasticSearch是一个实时的分布式搜索与分析引擎，常用于大量非结构化数据的存储和快速检索场景，具有很强的扩展性。纵使其有诸多优点，在搜索领域远超关系型数据库，但依然存在与关系型数据库同样的深度分页问题，本文就此问题做一个实践性分析探讨 2 from + size分页方式 from
阅读全文
摘要：
1 前言 众所周知，Spring可以帮我们管理我们需要的bean。在我们需要用到这些bean的时候，可以很方便的获取到它，然后进行一系列的操作。比如，我们定义一个bean MyTestBean public class MyTestBean { private String testStr = "t
阅读全文
1 前言 众所周知，Spring可以帮我们管理我们需要的bean。在我们需要用到这些bean的时候，可以很方便的获取到它，然后进行一系列的操作。比如，我们定义一个bean MyTestBean public class MyTestBean { private String testStr = "t
阅读全文
摘要：
一、风险洞察平台介绍 以Clickhouse+Flink实时计算+智能算法为核心架构搭建的风险洞察平台, 建立了全面的、多层次的、立体的风险业务监控体系，已支撑欺诈风险、信用风险、企业风险、小微风险、洗钱风险、贷后催收等十余个风控核心场景的实时风险监测与风险预警，异常检测算法及时发现指标异常波动，基
阅读全文
一、风险洞察平台介绍 以Clickhouse+Flink实时计算+智能算法为核心架构搭建的风险洞察平台, 建立了全面的、多层次的、立体的风险业务监控体系，已支撑欺诈风险、信用风险、企业风险、小微风险、洗钱风险、贷后催收等十余个风控核心场景的实时风险监测与风险预警，异常检测算法及时发现指标异常波动，基
阅读全文
摘要：
接触过TensorFlow v1的朋友都知道，训练一个TF模型有三个步骤：定义输入和模型结构，创建tf.Session实例sess，执行sess.run()启动训练。不管是因为历史遗留代码或是团队保守的建模规范，其实很多算法团队仍在大量使用TF v1进行日常建模。我相信很多算法工程师执行sess.run()不下100遍，但背后的运行原理大家是否清楚呢？不管你的回答是yes or no，今天让我们一起来探个究竟。
阅读全文
接触过TensorFlow v1的朋友都知道，训练一个TF模型有三个步骤：定义输入和模型结构，创建tf.Session实例sess，执行sess.run()启动训练。不管是因为历史遗留代码或是团队保守的建模规范，其实很多算法团队仍在大量使用TF v1进行日常建模。我相信很多算法工程师执行sess.run()不下100遍，但背后的运行原理大家是否清楚呢？不管你的回答是yes or no，今天让我们一起来探个究竟。
阅读全文
摘要：
什么是负载均衡技术 负载均衡器是一种软件或硬件设备，它起到了将网络流量分散到一组服务器的作用，可以防止任何一台服务器过载。负载均衡算法就是负载均衡器用来在服务器之间分配网络流量的逻辑（算法是一组预定义的规则），有时候也叫做负载均衡的类型。负载均衡算法的种类非常多，包括从简单的轮询负载均衡算法到基于响
阅读全文
什么是负载均衡技术 负载均衡器是一种软件或硬件设备，它起到了将网络流量分散到一组服务器的作用，可以防止任何一台服务器过载。负载均衡算法就是负载均衡器用来在服务器之间分配网络流量的逻辑（算法是一组预定义的规则），有时候也叫做负载均衡的类型。负载均衡算法的种类非常多，包括从简单的轮询负载均衡算法到基于响
阅读全文
摘要：
1 什么是遗留代码 本质是一种技术债务，产生原因一方面是业务原因：如业务本身场景繁多、流程复杂等；另一方面是技术原因：如代码不规范、设计不合理、祖传代码文档注释缺失等。它会影响我们的程序很多方面：如可读性、可修改性、可复用性、可维护性、可测试性等。 2 遗留代码处理过程拆解 划分为梳理->重构/重写
阅读全文
1 什么是遗留代码 本质是一种技术债务，产生原因一方面是业务原因：如业务本身场景繁多、流程复杂等；另一方面是技术原因：如代码不规范、设计不合理、祖传代码文档注释缺失等。它会影响我们的程序很多方面：如可读性、可修改性、可复用性、可维护性、可测试性等。 2 遗留代码处理过程拆解 划分为梳理->重构/重写
阅读全文
摘要：
评审目的 代码评审的目的就是为了保证公司整体代码的健康状况随着不断迭代，始终保持一个较高的水平，所有在评审中使用的工具和流程都应是为此目的而设计的。 评审原则 鼓励质疑 保持代码风格，遵守开发规范 优先设计原则，尊重个人偏好 重视每一行代码 尽可能采用面对面的形式 评审时机 研发流程应该是严密的、有
阅读全文
评审目的 代码评审的目的就是为了保证公司整体代码的健康状况随着不断迭代，始终保持一个较高的水平，所有在评审中使用的工具和流程都应是为此目的而设计的。 评审原则 鼓励质疑 保持代码风格，遵守开发规范 优先设计原则，尊重个人偏好 重视每一行代码 尽可能采用面对面的形式 评审时机 研发流程应该是严密的、有
阅读全文
摘要：
Optional最早是Google公司Guava中的概念，代表的是可选值。Optional类从Java8版本开始加入豪华套餐，主要为了解决程序中的NPE问题，从而使得更少的显式判空，防止代码污染，另一方面，也使得领域模型中所隐藏的知识，得以显式体现在代码中。Optional类位于java.util包下，对链式编程风格有一定的支持。实际上，Optional更像是一个容器，其中存放的成员变量是一个T类型的value，可值可Null，使用的是Wrapper模式，对value操作进行了包装与设计。本文将从Optional所解决的问题开始，逐层解剖，由浅入深，文中会出现Optioanl方法之间的对比，实践，误用情况分析，优缺点等。与大家一起，对这项Java8中的新特性，进行理解和深入。
阅读全文
Optional最早是Google公司Guava中的概念，代表的是可选值。Optional类从Java8版本开始加入豪华套餐，主要为了解决程序中的NPE问题，从而使得更少的显式判空，防止代码污染，另一方面，也使得领域模型中所隐藏的知识，得以显式体现在代码中。Optional类位于java.util包下，对链式编程风格有一定的支持。实际上，Optional更像是一个容器，其中存放的成员变量是一个T类型的value，可值可Null，使用的是Wrapper模式，对value操作进行了包装与设计。本文将从Optional所解决的问题开始，逐层解剖，由浅入深，文中会出现Optioanl方法之间的对比，实践，误用情况分析，优缺点等。与大家一起，对这项Java8中的新特性，进行理解和深入。
阅读全文
摘要：软件系统架构设计的目标不在于设计本身，而在于架构设计意图的传达。图形化有助于在团队间进行高效的信息同步，但不同的图形化方式需要语义一致性和效率间实现平衡。C4模型通过不同的抽象层级来表达系统的静态结构，并提供了最小集的抽象建模元素，为设计人员提供了一种低认知负载、易于学习和使用的高效建模方式。
阅读全文
摘要：
基于深度学习对运维时序指标进行异常检测，快速发现线上业务问题 时间序列的异常检测是实际应用中的一个关键问题，尤其是在 IT 行业。我们没有采用传统的基于阈值的方法来实现异常检测，而是通过深度学习提出了一种无阈值方法：基于 LSTM 网络的基线（一个 LSTM 框架辅助几个优化步骤）和无监督检测（神经
阅读全文
基于深度学习对运维时序指标进行异常检测，快速发现线上业务问题 时间序列的异常检测是实际应用中的一个关键问题，尤其是在 IT 行业。我们没有采用传统的基于阈值的方法来实现异常检测，而是通过深度学习提出了一种无阈值方法：基于 LSTM 网络的基线（一个 LSTM 框架辅助几个优化步骤）和无监督检测（神经
阅读全文
摘要：随着云计算和人工智能的兴起，如何安全有效地利用数据，对持有大量数字资产的企业来说至关重要。同态加密，是解决云计算和分布式机器学习中数据安全问题的关键技术，也是隐私计算中，横跨多方安全计算，联邦学习和可信执行环境多个技术分支的热门研究方向。
本文对经典同态加密算法Pailier算法及其相关技术进行介绍，重点分析了Paillier的实现原理和性能优化方案，同时对基于公钥的加密算法中的热门算法进行了横向对比。最后介绍了Paillier算法的一些实际应用。
阅读全文
摘要：
环境 准备工作 配置ansible(deploy 主机执行) # ssh-keygen # for i in 192.168.3.{21..28}; do ssh-copy-id -i ~/.ssh/id_rsa.pub $i; done [root@deploy ~]# cat /etc/ansi
阅读全文
环境 准备工作 配置ansible(deploy 主机执行) # ssh-keygen # for i in 192.168.3.{21..28}; do ssh-copy-id -i ~/.ssh/id_rsa.pub $i; done [root@deploy ~]# cat /etc/ansi
阅读全文
摘要：
当我们写完一个服务端程序，需要上线部署的时候，或多或少都会和操作系统的守护进程打交道，毕竟谁也不希望shell关闭既停服。今天我们就来聊聊这个事儿。 最早大家部署应用的通常操作是 “nohup xxxx &”，别说像weblogic 或者其他java 容器有启动脚本，里面其实也差不多；很喜欢 ngi
阅读全文
当我们写完一个服务端程序，需要上线部署的时候，或多或少都会和操作系统的守护进程打交道，毕竟谁也不希望shell关闭既停服。今天我们就来聊聊这个事儿。 最早大家部署应用的通常操作是 “nohup xxxx &”，别说像weblogic 或者其他java 容器有启动脚本，里面其实也差不多；很喜欢 ngi
阅读全文
摘要：
一、前言：我全都要 面对当今前端界两座大山一样的主流框架，React和Vue，相信很多小伙伴都或多或少都产生过这样疑问，而这样的问题也往往很让人头疼和犹豫不决： 业务场景中是不是团队用什么我就用什么？ 如果选择了其中一个使用，那为什么不用另一个？ 这两个框架各有什么优点和无法解决的问题？ 最新版本的
阅读全文
一、前言：我全都要 面对当今前端界两座大山一样的主流框架，React和Vue，相信很多小伙伴都或多或少都产生过这样疑问，而这样的问题也往往很让人头疼和犹豫不决： 业务场景中是不是团队用什么我就用什么？ 如果选择了其中一个使用，那为什么不用另一个？ 这两个框架各有什么优点和无法解决的问题？ 最新版本的
阅读全文
摘要：
Elasticsearch在db_ranking 的排名又（双叒叕）上升了一位,如图1-1所示;由此可见es在存储领域已经蔚然成风且占有非常重要的地位。随着Elasticsearch越来越受欢迎，企业花费在ES建设上的成本自然也不少。那如何减少ES的成本呢？今天我们就特地来聊聊ES降本增效的常见方法。
阅读全文
Elasticsearch在db_ranking 的排名又（双叒叕）上升了一位,如图1-1所示;由此可见es在存储领域已经蔚然成风且占有非常重要的地位。随着Elasticsearch越来越受欢迎，企业花费在ES建设上的成本自然也不少。那如何减少ES的成本呢？今天我们就特地来聊聊ES降本增效的常见方法。
阅读全文
摘要：
云时代已经来临，云上很多场景下都需要数据的迁移、备份和流转，各大云厂商也大都提供了自己的迁移工具。本文主要介绍京东云数据库为解决用户数据迁移的常见场景所提供的解决方案。
阅读全文
云时代已经来临，云上很多场景下都需要数据的迁移、备份和流转，各大云厂商也大都提供了自己的迁移工具。本文主要介绍京东云数据库为解决用户数据迁移的常见场景所提供的解决方案。
阅读全文
摘要：
不论是开发人员还是架构师，我们都一直在跟软件系统打交道，架构是在工作中出现最频繁的术语之一。那么，到底什么是架构？你可能有自己的答案，也有可能没有答案。对“架构”的理解需要我们不断在实践中思考、归纳、演绎，形成自己的认知。 1 到底什么是软件架构 ？ 定义 ”架构是什么“ 是件非常困难的事情，不同的
阅读全文
不论是开发人员还是架构师，我们都一直在跟软件系统打交道，架构是在工作中出现最频繁的术语之一。那么，到底什么是架构？你可能有自己的答案，也有可能没有答案。对“架构”的理解需要我们不断在实践中思考、归纳、演绎，形成自己的认知。 1 到底什么是软件架构 ？ 定义 ”架构是什么“ 是件非常困难的事情，不同的
阅读全文
摘要：
1 引言 之前介绍了Redis的数据存储及String类型的实现，接下来再来看下List、Hash、Set及Sorted Set的数据结构的实现。 2 List List类型通常被用作异步消息队列、文章列表查询等；存储有序可重复数据或做为简单的消息推送机制时，可以使用Redis的List类型。对于这
阅读全文
1 引言 之前介绍了Redis的数据存储及String类型的实现，接下来再来看下List、Hash、Set及Sorted Set的数据结构的实现。 2 List List类型通常被用作异步消息队列、文章列表查询等；存储有序可重复数据或做为简单的消息推送机制时，可以使用Redis的List类型。对于这
阅读全文