摘要: 使用split_size优化的ODPS SQL的场景 首先有两个大背景需要说明如下:说明1:split_size,设定一个map的最大数据输入量,单位M,默认256M。用户可以通过控制这个变量,从而达到对map端输入的控制。设置语句:set odps.sql.mapper.split.size=25 阅读全文
posted @ 2019-03-26 16:36 zhaowei121 阅读(344) 评论(0) 推荐(0) 编辑
摘要: Kubernetes 调度器 Kubernetes 是一个基于容器的分布式调度器,实现了自己的调度模块。在Kubernetes集群中,调度器作为一个独立模块通过pod运行。从几个方面介绍Kubernetes调度器。 调度器工作方式 Kubernetes中的调度器,是作为单独组件运行,一般运行在Mas 阅读全文
posted @ 2019-03-26 16:32 zhaowei121 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 前言 深度学习作为人工智能的重要手段,迎来了爆发,在NLP、CV、物联网、无人机等多个领域都发挥了非常重要的作用。最近几年,各种深度学习算法层出不穷, Generative Adverarial Network(GAN)自2014年提出以来,引起广泛关注,身为深度学习三巨头之一的Yan Lecun对 阅读全文
posted @ 2019-03-26 16:28 zhaowei121 阅读(957) 评论(0) 推荐(0) 编辑
摘要: 前言 在生活中,我们经常给朋友推荐一些自己喜欢的东西,也时常接受别人的推荐。怎么能保证推荐的电影或者美食就是朋友喜欢的呢?一般来说,你们两个人经常对同一个电影或者美食感兴趣,那么你喜欢的东西就很大程度上朋友也会比较感兴趣。在大数据的背景下,算法会帮我寻找兴趣相似的那些人,并关注他们喜欢的东西,以此来 阅读全文
posted @ 2019-03-26 16:24 zhaowei121 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 阿里开源自用 OpenJDK 版本,Java 社区迎来中国力量 3 月 21 日,阿里巴巴将宣布开源 Alibaba Dragonwell。届时,开发者可通过阿里云开发者中心及 Github 社区下载使用。InfoQ 记者独家专访了阿里云智能基础产品事业部资深技术专家李三红、阿里云智能基础产品事业部 阅读全文
posted @ 2019-03-26 16:18 zhaowei121 阅读(347) 评论(0) 推荐(0) 编辑
摘要: Amazon Redshift数据迁移到MaxCompute Amazon Redshift 中的数据迁移到MaxCompute中经常需要先卸载到S3中,再到阿里云对象存储OSS中,大数据计算服务MaxCompute然后再通过外部表的方式直接读取OSS中的数据。如下示意图: 前提条件 本文以SQL 阅读全文
posted @ 2019-03-26 16:13 zhaowei121 阅读(183) 评论(0) 推荐(0) 编辑