02 2019 档案
摘要：1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks产品家族的一员，提供了快速将数据表生成API的能力，通过可视化的向导，一分钟“零代码”就可以生成API，让API开发从未有过如此便捷！同时支持自定义API查询SQL功能，对您的个
阅读全文
摘要：0. 前言 Data Lake Analytics是Serverless化的云上交互式查询分析服务。用户可以使用标准的SQL语句，对存储在OSS、TableStore上的数据无需移动，直接进行查询分析。 目前该产品已经正式登陆阿里云，欢迎大家申请试用，体验更便捷的数据分析服务。请参考https://
阅读全文
摘要：问题概述 使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人大概是大学没毕业，表设计和sql语句写的不仅仅是垃圾，简直无法
阅读全文
摘要：摘要：随着自媒体的发展，传统媒体面临着巨大的压力和挑战，新华智云运用大数据和人工智能技术，致力于为媒体行业赋能。通过媒体大数据开放平台，将媒体行业全网数据汇总起来，借助平台数据处理能力和算法能力，将有价值数据内容和能力开放给用户。本文主要从新华智云数芯平台，媒体行业数据特征，批流处理数据架构，以及通
阅读全文
摘要：摘要： 2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，人人车大数据平台负责人吴水永从人人车数据平台的整体架构、如何基于阿里云打造一个轻盈的数据平台以及人人车企业基于阿里云技术开发的BI数据报
阅读全文
摘要：当我们谈业务稳定性的时候，通常是指后端工程师从架构的角度来看的，例如限流和降级、流量调度、业务开关、容量压测等，但监控也是整个业务稳定性建设中不可或缺的一环，例如对业务和前端的监控，以保证出现问题的时候，可以第一时间找到根因所在。今天，我们就结合小程序的场景，来看看如何做好小程序的监控。 小程序与
阅读全文
摘要：背景 最初, 是因为对 Serverless 这一概念感兴趣, 所以开始试用阿里云函数计算，使用过程中感受到了函数计算快速、按需付费和弹性伸缩等方面的优势，随后我在天气预报、发送短信等场景下开始了更深的体验，并开始接触 EDAS Serverless。 初次尝鲜 看文档文档地址：https://he
阅读全文
摘要：自 Spring Cloud 官方宣布 Spring Cloud Netflix 进入维护状态后，我们开始制作《Spring Cloud Alibaba迁移指南》系列文章，向开发者提供更多的技术选型方案，并降低迁移过程中的技术难度。 第二篇，Spring Cloud Alibaba 实现了 Spri
阅读全文
摘要：摘要： 本文对Hystrix、Resilience4j、Sentinel进行对比，并探讨如何使用一行代码这种极简的方式，将Hystrix迁移到Sentinel。 Hystrix 自从前段时间 宣布停止维护之后，社区推荐了 resilience4j。 自 Spring Cloud 官方宣布 Sprin
阅读全文
摘要：摘要： 感谢 Sentinel 社区的贡献者们 ️ Sentinel 发布 v1.4.2 正式发布，该版本主要变更如下： 特性/功能改进 新增 Zuul 1.x 适配模块（sentinel-zuul-adapter），结合集群限流特性可以更好地在 API Gateway 发挥流控的作用 热点参数限流
阅读全文
摘要：简介 Prometheus是SoundCloud公司开发的一站式监控告警平台，依赖少，功能齐全。于2016年加入CNCF，广泛用于 Kubernetes集群的监控系统中，2018.8月成为继K8S之后第二个毕业的项目。Prometheus作为CNCF生态圈中的重要一员,其活跃度仅次于 Kuberne
阅读全文
摘要：InfluxDB 的存储机制解析 本文介绍了InfluxDB对于时序数据的存储/索引的设计。由于InfluxDB的集群版已在0.12版就不再开源，因此如无特殊说明，本文的介绍对象都是指 InfluxDB 单机版 1. InfluxDB 的存储引擎演进 尽管InfluxDB自发布以来历时三年多，其存储
阅读全文
摘要：前言 即使在CloudNative发展如火如荼的当下，ECS应用（直接将应用部署在ECS上，不使用容器）仍然占了相当大的比重，原因主要在于相对容器化应用，ECS应用由于不需要容器的运行时环境和类似K8S的调度层软件，因此存在一些天然优势，比如： 更低的Overhead，可以更充分发挥硬件的处理能力，
阅读全文
摘要：一切新的开始，都始于一个里程碑。 2月20日上午，Java 开源诊断工具 Arthas 的 GitHub Star 突破10000，距离开源后的第一个Release 版发布仅 147 天。 从中，我们不仅看到 Arthas 在开发者群体中的受欢迎程度，也发现越来越多的国内开发者开始擅于使用开源技术加
阅读全文
摘要：为了提升 Dubbo 里程碑版本2.7.0的使用体验，我们于去年年中启动了 Dubbo Admin 的重构计划，并作为Dubbo生态的子项目，于近期发布了v0.1，重构后的项目在结构上的变化如下： 将后端框架从webx替换成spring boot 前端采用Vue和Vuetify.js作为开发框架 移
阅读全文
摘要：摘要： 在每年开年的这个大幅度优惠促销月，怎样才能花最少的钱配置最特惠的云服务？请看本文！ 2019阿里云云上采购季活动已经于2月25日正式开启，从已开放的活动页面来看，活动分为三个阶段： 2月25日-3月04日的活动报名阶段、3月04日-3月16日的新购满返+5折抢购阶段、3月16日-3月31日的
阅读全文
摘要：使用EHPC实现“完美并行”的高效批处理方案 在高性能计算场景中，用户一次业务计算可以划分为大量的任务，每个任务的处理逻辑相同，但是输入文件、参数设置和输出文件不同。由于每个任务处理逻辑相似，执行时彼此没有依赖，按照高性能计算的并行计算模式，可归为 “embarrassing parallel”一类
阅读全文
摘要：时序数据库连载系列：时序数据库那些事 正如《银翼杀手》中那句在影史流传经典的台词：“I've seen things you people wouldn't believe... All those ... moments will be lost in time, like tears...in
阅读全文
摘要：阿里云MVP（最有价值专家）、印度架构师Sai Sarath Chandra P 最近有了一个新的爱好：学中文。 Sai学中文的想法，与一家中国企业有着密切的关系。 “当时因为工作需要，开始寻找用于运行机器学习、性价比比较高的云产品。在这个过程中，我偶然发现了阿里云。”从使用产品开始，Sai与阿里云
阅读全文
摘要：业务的知名度越高，其背后技术团队承受的压力就越大。一旦出现技术问题，就有可能被放大，尤其是当服务的是对知识获取体验要求颇高的用户群体。 提供知识服务的罗辑思维主张“省时间的获取知识”，那么其技术团队在技术实践方面是如何践行省时间的理念的呢？本文将还原罗辑思维技术团队在全链路压测上的构建过程，为您一探
阅读全文
摘要：一，背景——横空出世的BERT全面超越人类 2018年在自然语言处理（NLP）领域最具爆炸性的一朵“蘑菇云”莫过于Google Research提出的BERT（Bidirectional Encoder Representations from Transformers）模型。作为一种新型的语言表示
阅读全文
摘要：近日，权威ICT市场咨询机构计世资讯（CCW Research）发布《2018-2019年中国CDN市场发展报告》，报告显示，当前，随着新型信息技术在中国不断应用，以及互联网化新业务的快速发展，特别是物联网、边缘计算、区块链、人工智能等技术在游戏、视频、电子商务、工业制造、交通物流等行业的落地，使得
阅读全文
摘要：基本介绍 优酷、爱奇艺、腾讯等主流的视频类App都有视频离线下载的功能，主要目的是在wifi下将视频离线在本地，然后在无网或者4G的情况下去观看离线视频。那么阿里云播放器也提供了视频下载的功能。这个功能主要针对的是点播视频，也就是vid播放的视频的下载。 主要问题 实现原理 下载过程 阿里云播放器支
阅读全文
摘要：基本介绍 如何保障视频内容的安全，不被盗链、非法下载和传播，阿里云视频点播已经有一套完善的机制保障视频的安全播放: 那么在播放器中支持哪一些安全播放的机制呢？ 这里有料：视频安全解决方案。 Referer访问控制 基于 HTTP 协议支持的 Referer机制，通过 Referer跟踪来源，对来源进
阅读全文
摘要：近些年来，视频直播快速发展，国家对于直播内容监管的要求日益严格，如何在满足业务需求的情况下，选择成本最优的智能审核方案，是每个直播平台面对的难题。本文介绍如何以最优成本配置直播审核模板。 功能介绍 一、审核场景 审核场景包含对直播画面的涉黄、暴恐涉政、广告、不良场景四大维度进行审核。 智能监黄：识别
阅读全文
摘要：0. 简介 为满足部分客户在云上做Geometry数据的分析需求，阿里云Data Lake Analytics（以下简称：DLA）支持多种格式的地理空间数据处理函数，符合Open Geospatial Consortium’s (OGC) OpenGIS规范，支持的常用数据格式包括： WKT WKB
阅读全文
摘要：据计世资讯（CCW Research）的研究结果表明： 一、中国视频云市场进入高速发展阶段 据计世资讯（CCW Research）的研究结果表明，近年来国内视频云市场保持了高速的增长势头，特别是2016年以来，视频云市场进入高速发展阶段，直播的火爆带动视频云服务需求快速增长。2018年中国视频云服务
阅读全文
摘要：爬虫风险管理产品是阿里云云盾推出的新安全产品，1月底正式宣布商业化上线，提供可以覆盖Web/H5/API/APP多种业务形态的爬虫风险解决方案，对爬虫风险进行有序管理。 恶意爬虫引发高风险随着传统行业互联网化及大类业务的数据化，使爬虫风险逐渐成为一个风险爆发点。有网络数据报告统计，目前互联网中超过6
阅读全文
摘要：导语 发布app后，开发者最头疼的问题就是如何解决交付后的用户侧问题的还原和定位，是业界缺乏一整套系统的解决方案的空白领域，闲鱼技术团队结合自己业务痛点在flutter上提出一套全新的技术思路解决这个问题。 我们透过系统底层来捕获ui事件流和业务数据的流动，并利用捕获到的这些数据通过事件回放机制来复
阅读全文
摘要：Data Lake Analytics 作为云上数据处理的枢纽，最近加入了通过IP地址查找对应的国家、省份、城市、ISP的函数, 今天带大家体验一下。 函数详细介绍 本次一共添加了下面这些函数: ip2region: 功能最全的函数，可以获取国家，省份，城市的信息，而且支持语言切换, 但是参数较多。
阅读全文
摘要：️ Pic by Alibaba Tech on Facebook 集群限流 可以限制某个资源调用在集群内的总 QPS，并且可以解决单机流量不均导致总的流控效果不佳的问题，是保障服务稳定性的利器。 Sentinel 从 1.4.0 版本开始提供集群流控特性，但使用 Sentinel 集群限流需要对一
阅读全文
摘要：Data Lake Analytics 作为云上数据处理的枢纽，最近加入了对于PolarDB的支持, PolarDB 是阿里云自研的下一代关系型分布式云原生数据库，100%兼容MySQL，存储容量最高可达 100T，性能最高提升至 MySQL 的 6 倍。这篇教程带你玩转 DLA 的 PolarDB
阅读全文
摘要：摘要：2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，阿里巴巴高级技术专家吴永明为大家分享了MaxCompute，基于Serverless的高可用大数据服务，以及MaxCompute低计算成本
阅读全文
摘要：大家好,我是来自阿里云容器服务团队的华相。首先简单解释一下何为 Kubernetes 来帮助大家理解。Kuberentes 是一个生产可用的容器编排系统。Kuberentes 一方面在集群中把所有 Node 资源做一个资源池，然后它调度的单元是 Pod，当然 Pod 里面可以有多个容器。 就像一个人
阅读全文
摘要：相比文字和图片，直播提供了人与人之间更丰富的沟通形式，其对平台稳定性的考验很大，那么倡导“以技术驱动娱乐”的虎牙直播（以下简称“虎牙”）是如何在技术上赋能娱乐，本文将为您介绍虎牙在DNS、服务注册、CMDB和服务配置中心等方面的实践。 文章整理自虎牙基础保障部中间件团队负责人张波（社区ID：zhan
阅读全文
摘要：Arthas 自2018年9月份上线以来「传送门」，已收获近万个star，感谢开发者们的认可。此次Arthas 3.1.0版本的发布，不仅带来大家投票出来的新LOGO，还带来强大的新功能和更好的易用性，下面一一介绍。 在线教程 在新版本Arthas里，增加了在线教程，用户可以在线运行Demo，一步步
阅读全文
摘要：前言 在SOA、微服务架构流行的年代，许多复杂业务上需要支持多资源占用场景，而在分布式系统中因为某个资源不足而导致其它资源占用回滚的系统设计一直是个难点。我所在的团队也遇到了这个问题，为解决这个问题上，团队采用的是阿里开源的分布式中间件Fescar的解决方案，并详细了解了Fescar内部的工作原理，
阅读全文
摘要：摘要： 请带着你的回忆看下文，想想你这些年删过的库，被删过的库。。。 开工第一天，请带着你的回忆看下文，想想你这些年删过的库，被删过的库。。。 数据库备份是个老生常谈的话题，看似很简单，但在实际操作过程中，运维人员往往会遇到这样或那样的“坑”。 数据库为什么要备份？时至今日，我认为这个问题已经不再是
阅读全文
摘要：随着各行各业大数据的渗透，BI 类数据分析需求与日俱增，如何让可视化更好的展现数据的价值，是 BI 类产品一直努力的方向。对此国内外的BI产品都有自己的方法，如国外大牌的 PowerBI、Tableau，还有国内的 FineBI、BDP、Quick BI 他们都提供了丰富度可视化能力，但对于新手而言
阅读全文
摘要：云HBase发布了“全文索引服务”功能，自2019年01月25日后创建的云HBase实例，可以在控制台免费开启此“全文索引服务”功能。使用此功能可以让用户在HBase之上构建功能更丰富的搜索业务，不再局限于KV简单查询，不再苦恼于设计各种rowkey，不再后怕日益变化的HBase复杂查询业务。“全文
阅读全文
摘要：前言： 云数据仓库是构建在云上的新一代数据仓库解决方案，如何选择符合企业需求的云数据仓库，选择时应考虑哪些关键问题成为很多企业管理者关心的问题。本文参考TDWI以及Forrester的研究报告内容，对云数据仓库选型参考依据进行介绍，希望能对您在云数据仓库选型时有所帮助。 正文： 云数据仓库的解决方案
阅读全文
摘要：海底捞正式发布了千人千面超级App已有两月，这家餐饮企业总能带给人们不一样的创新能力。谁能想到25年前从四川起家的火锅店，现在门店遍布国内近100座城市，已开门店超400家，海外门店也有50多家，全球注册会员超3000万。 要给3000万会员提供个性化服务，这背后的挑战不言而喻，这一次，海底捞选择与
阅读全文
摘要：简介 PostgreSQL 的开发源自上世纪80年代，它最初是 Michael Stonebraker 等人在美国国防部支持下创建的POSTGRE项目。上世纪末，Andrew Yu 等人在它上面搭建了第一个SQL Parser，这个版本称为Postgre95，也是加州大学伯克利分校版本的Postgr
阅读全文
摘要：摘要：2019年1月18日，由阿里巴巴 MaxCompute 开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，高德数据技术专家苗翌辰为大家分享了高德如何应用MaxCompute来管理数据架构，开发易用、高效以及弹性的高德应用，为用户提供更优质的
阅读全文
摘要：基于Tunnel SDK如何上传复杂类型数据到MaxCompute？首先介绍一下MaxCompute复杂数据类型： 复杂数据类型 MaxCompute采用基于ODPS2.0的SQL引擎，丰富了对复杂数据类型类型的支持。MaxCompute支持ARRAY, MAP, STRUCT类型，并且可以任意嵌套
阅读全文
