05 2017 档案

京东技术架构（二）构建需求响应式亿级商品详情页
摘要：商品详情页是什么 商品详情页是展示商品详细信息的一个页面，承载在网站的大部分流量和订单的入口。京东商城目前有通用版、全球购、闪购、易车、惠买车、服装、拼购、今日抄底等许多套模板。各套模板的元数据是一样的，只是展示方式不一样。目前商品详情页个性化需求非常多，数据来源也是非常多的，而且许多基础服务做不了 阅读全文
posted @ 2017-05-25 15:44 _夜枫 阅读(5603) 评论(0) 推荐(1)
京东技术架构（一）构建亿级前端读服务
摘要：从入职京东到现在，做读服务已经一年多的时间了，经历了各种亿级到百亿级的读服务；这段时间也进行了一些新的读服务架构尝试，从架构到代码的编写，各个环节都进行了反复尝试，压测并进行调优，希望得到一个自己满意的读服务架构。 一些设计原则 无状态 数据闭环 缓存银弹 并发化 降级开关 限流 切流量 其他 无状 阅读全文
posted @ 2017-05-25 15:36 _夜枫 阅读(1338) 评论(0) 推荐(1)
阿里下一代数据库技术：把数据库装入容器不再是神话
摘要：张瑞，阿里集团数据库技术团队负责人，阿里巴巴研究员，Oracle ACE。双十一数据库技术总负责人，曾两次担任双十一技术保障总负责人。自2005年加入阿里巴巴以来，一直主导整个阿里数据库技术的不断革新。 近日，在京举行的2017中国数据库技术大会上，来自阿里巴巴集团研究员张瑞发表了题为《面向未来的数 阅读全文
posted @ 2017-05-25 15:29 _夜枫 阅读(326) 评论(0) 推荐(0)
阿里云文件存储SMB协议服务及其申请和使用指南
摘要：阿里云于2016年发布了支持NFS网络文件系统访问协议的阿里云文件存储。2017年3月，又增加了SMB文件系统访问协议的支持，正式对外公测。本文简单描述了SMB文件存储访问协议以及阿里云SMB协议公测功能，并简单介绍了该服务的使用场景，以及公测申请和使用流程。 一、SMB文件系统访问协议简介 网络文 阅读全文
posted @ 2017-05-24 15:45 _夜枫 阅读(1245) 评论(0) 推荐(0)
阿里云rds postgres回收用户权限
摘要：1，提工单由于当初设计都是用的public schema，而public schema对所有用户权限没有限制，所以需要回收部分用户的建表权限，=> \dnList of schemasName | Owner + public | pg2490375而public 默认owner是初始化实列的用户， 阅读全文
posted @ 2017-05-24 15:38 _夜枫 阅读(944) 评论(0) 推荐(0)
NGINX_简明教程
摘要：NGINX 是一款来自俄罗斯的HTTP 和反向代理（reverse proxy）服务器、邮件服务器，以及通用的 TCP/UDP 代理服务器，以其高性能被业界广泛采用。本文通过最简洁的方式，将 NGINX 核心应用做下介绍。 什么是 NGINX NGINX是一个免费的、开源的、高性能的 HTTP 服务 阅读全文
posted @ 2017-05-23 16:28 _夜枫 阅读(316) 评论(0) 推荐(0)
分布式存储系统
摘要：本次分享内容主要包括三部分： （一）分布式存储系统应该具备的能力； （二）阿里云分布式存储系统盘古的介绍； （三）分布式系统技术展望。 分布式存储系统应该具备的能力 大数据同生活息息相关，大量数据的出现对分布式存储提出了更高的需求，具体表现为以下方面： （1） 高可靠，这是存储系统需要满足的最关键需 阅读全文
posted @ 2017-05-23 15:36 _夜枫 阅读(2658) 评论(0) 推荐(0)
快速选择合适的机器学习算法
摘要：本文主要适用于初学者到中级数据科学家或分析师，他们有兴趣识别和应用机器学习算法来解决他们感兴趣的问题。 一个初学者面临各种机器学习算法的典型问题是“我应该使用哪种算法？”问题的答案取决于许多因素，包括： 数据的大小、质量和性质。 可用计算时间。 任务的紧迫性。 你想用数据做什么。 即使是经验丰富的数 阅读全文
posted @ 2017-05-23 15:16 _夜枫 阅读(346) 评论(0) 推荐(0)
网络编程中Nagle算法和Delayed ACK的测试
摘要：Nagle算法的立意是良好的，避免网络中充塞小封包，提高网络的利用率。但是当Nagle算法遇到delayed ACK悲剧就发生了。Delayed ACK的本意也是为了提高TCP性能，跟应答数据捎带上ACK，同时避免糊涂窗口综合症，也可以一个ack确认多个段来节省开销。 悲剧发生在这种情况，假设一端发 阅读全文
posted @ 2017-05-22 15:50 _夜枫 阅读(383) 评论(0) 推荐(0)
《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南
摘要：JSON数据集 Scala Java Python R Sql Spark SQL在加载JSON数据的时候，可以自动推导其schema并返回DataFrame。用SQLContext.read.json读取一个包含String的RDD或者JSON文件，即可实现这一转换。 注意，通常所说的json文件 阅读全文
posted @ 2017-05-22 14:44 _夜枫 阅读(1817) 评论(0) 推荐(0)
Java_异常处理
摘要：Java 异常处理 异常是程序中的一些错误，但并不是所有的错误都是异常，并且错误有时候是可以避免的。比如说，你的代码少了一个分号，那么运行出来结果是提示是错误 java.lang.Error；如果你用System.out.println(11/0)，那么你是因为你用0做了除数，会抛出java.lan 阅读全文
posted @ 2017-05-19 16:02 _夜枫 阅读(613) 评论(0) 推荐(0)
如何快速在阿里云上构建自己的机器学习应用
摘要：在2016年有两个深度学习应用使得深度学习这个概念走入了平常百姓家，大家开始意识到深度学习技术好像和我们的生活开始产生联系了。第一件事情就是AlphaGo战胜了围棋世界的高手李世石，它向我们证明了一件事情：计算机不但具有强大的运算能力，它甚至开始学会学习了，更可怕的是计算机的学习能力是一种纵向深入的 阅读全文
posted @ 2017-05-19 15:42 _夜枫 阅读(2093) 评论(0) 推荐(0)
nio框架中的多个Selector结构
摘要：随着并发数量的提高，传统nio框架采用一个Selector来支撑大量连接事件的管理和触发已经遇到瓶颈，因此现在各种nio框架的新版本都采用多个Selector并存的结构，由多个Selector均衡地去管理大量连接。这里以Mina和Grizzly的实现为例。 在Mina 2.0中，Selector的管 阅读全文
posted @ 2017-05-19 15:17 _夜枫 阅读(1007) 评论(0) 推荐(0)
阿里官方Java代码规范标准《阿里巴巴Java开发手册》下载
摘要：这套Java统一规范标准将有助于提高行业编码规范化水平，帮助行业人员提高开发质量和效率、大大降低代码维护成本。 点击下载《阿里巴巴Java开发手册》：https://yq.aliyun.com/attachment/download/?id=1170 你是否曾因Java代码规范版本纷杂而无所适从？ 阅读全文
posted @ 2017-05-18 16:26 _夜枫 阅读(5500) 评论(0) 推荐(0)
如何打造一个小而精的电商网站架构？
摘要：本文大纲： 1. 小型电商网站的架构 2. 日志与监控系统的解决方案 3. 构建数据库的主从架构 4. 基于共享存储的图片服务器架构 5. 移动M站建设 6. 系统容量预估 7. 缓存系统 一、小型电商网站的架构 刚从传统软件行业进入到电商企业时，觉得电商网站没有什么技术含量，也没有什么门槛，都是一 阅读全文
posted @ 2017-05-18 15:54 _夜枫 阅读(8322) 评论(2) 推荐(1)
优化介绍及应用实践
摘要：用户需求 说起阿里巴巴，第一个标签肯定是电商平台。电商平台的核心问题就是如何关联用户、商品和卖家，是否成功的关键就是如何去高效率的匹配。如何高效率的匹配用户和商品，这直接影射出两个非常直观的问题： 首先我们要知道用户想要什么，我们才能去高效的匹配用户和商品。在大数据、没有机器学习等技术没有广泛应用之 阅读全文
posted @ 2017-05-18 15:43 _夜枫 阅读(427) 评论(0) 推荐(0)
当红架构Cloud_Native_怎么搭建才能成为上云助攻手？
摘要：一、什么是Cloud Native？ 说到Cloud Native，国内大多数都翻译成云原生，就是让云成为成功的基石，而不是障碍。陈谔对于为什么要实现云原生应用深有体会，网易从2012年开始实施云化的战略，当第一版云计算平台建好的时候，开始引导公司的项目逐渐向云迁移。这个过程中就遇到了一个问题：用上 阅读全文
posted @ 2017-05-17 16:04 _夜枫 阅读(221) 评论(0) 推荐(0)
Apple本地认证(密码+Touch_id)
摘要：本片博客主要介绍如何在自己的APP中添加指纹解锁/密码解锁技术。主要是对苹果的LocalAuthentication的介绍。看过之后你将会知道如何使用苹果的指纹解锁和本地密码验证功能。 Apple有好多Frameworks，包括常用的UIKit、Foundation和Accounts等等。其中还有一 阅读全文
posted @ 2017-05-12 13:58 _夜枫 阅读(332) 评论(0) 推荐(0)
图管够！灌篮高手、女儿国…阿里日_这帮程序员太会玩了！
摘要：5月10日是阿里一年一度的阿里日，这对阿里人来说，是个非常特别的日子。 那什么是阿里日呢？看看官方介绍： 它起源于2005年4月20日，是为了纪念2003年5月的“非典”时期阿里人的激情和信念。因此阿里巴巴决定，今后每年的5月10日定为“阿里日”。每年的这一天，公司都会有庆祝活动，举行集体婚礼，并开 阅读全文
posted @ 2017-05-11 14:55 _夜枫 阅读(202) 评论(0) 推荐(0)
WP_使用_FastCGI_Cache_实现高效页面缓存
摘要：前言 页面缓存（Page Cache）是 WordPress 性能优化比较重要的一环，目前 WP 有很多页面缓存插件：W3 Total Cache、WP Super Cache、Comet Cache 等，不过它们都是 务器软件 —— PHP —— WP缓存插件 —— 本地或对象缓存，差不多要经过四 阅读全文
posted @ 2017-05-11 14:46 _夜枫 阅读(462) 评论(0) 推荐(0)
MaxCompute基础与MaxCompute_SQL优化
摘要：总论： 大数据计算服务 ( MaxCompute，原名 ODPS ) 是一种快速、完全托管的 TB/PB 级数据仓库解决方案 。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全 。同时，大数据开发 阅读全文
posted @ 2017-05-11 14:42 _夜枫 阅读(7746) 评论(0) 推荐(1)
从安装、管理到防御_阿里云安骑士全向测评
摘要：对于黑客而言，服务器是最理想的肉鸡。而当前云计算系统中的海量云主机资源，更是黑客面前的美味大餐。开源系统，本身就存在着比较严重的系统安全漏洞问题，容易使黑客趁虚而入。而虚拟系统安全管理手段匮乏，又进一步助长了黑客们的嚣张气焰。 近期，又有安全研究人员发现，数万WordPress站点被利用于实施第7层 阅读全文
posted @ 2017-05-11 14:30 _夜枫 阅读(2797) 评论(0) 推荐(0)
云架构师前（钱）景这么好_我们该如何转型？这有两位阿里云云架构总监多年心得
摘要：当下，由于云计算具备在线（在线的价格、服务交付、管控运维和技术文档）等特点，很多场景下用户自己就能通过online的方式自助购买并使用云服务，但由于他们缺乏产品与解决方案层面的技术和决策能力，因此，不论是用户、还是云厂商对云架构师的依赖和需求都越来越大。 那什么是云架构师呢？或者咱们从起点出发——什 阅读全文
posted @ 2017-05-11 14:28 _夜枫 阅读(2269) 评论(0) 推荐(0)
Infrastructure_as_Code——Kubernetes一键编排实践
摘要：从开发者视角看基础设施 我们经常拿IDC和云计算作对比，以此来衬托云计算的变化。IaaS、PaaS、SaaS都是从交付方面来阐述其所做的事情，IaaS是基础设施作为服务来交付，PaaS是把平台作为服务交付，SaaS是软件直接作为服务交付。对于开发人员来说，我们之前可能有专门的IDC，有专门的运维人员 阅读全文
posted @ 2017-05-10 14:54 _夜枫 阅读(1549) 评论(0) 推荐(0)
大中华地区（含港澳台）空气质量接口参加阿里云API_as_a_Service_大赛
摘要：近日，上海青悦的大中华地区（含港澳台）空气质量接口参加阿里云API as a Service 大赛。 现在，比赛正在进行第一阶段——API Hackathon展示阶段。 大中华地区空气质量接口 大中华地区（含港澳台）空气质量接口——含大陆国控，省控，地市控，港澳台等2700多个空气质量监测站点，用于 阅读全文
posted @ 2017-05-10 14:47 _夜枫 阅读(270) 评论(0) 推荐(0)
E-MapReduce集群启停HDFS/YARN服务
摘要：启停HDFS服务 HDFS服务启停，下面脚本需要在master节点运行，切需要在hdfs账号下。su hdfs 启动HDFS 执行下面脚本 停止HDFS服务 执行下面脚本 启停YARN服务 启停YARN服务，下面的脚本需要在master节点运行，且需要在hadoop账号下，su hadoop。 启动 阅读全文
posted @ 2017-05-10 14:38 _夜枫 阅读(611) 评论(0) 推荐(0)
云服务器ECS还原安全组规则功能介绍_安全组规则的备份与还原
摘要：一般来说安全组包含了很多规则，这些规则共同决定了安全组中的ECS实例开放和关闭了哪些大门，重要性不言而喻：当安全组中的规则和加入的ECS实例越来越多，安全组规则的维护愈发困难，不敢删不敢改，牵一发而动全身；同样，随着业务的发展，需要在不同地域部署时，同样的配置要在另一个地域再设置一遍，重复劳动。有没 阅读全文
posted @ 2017-05-10 14:29 _夜枫 阅读(311) 评论(0) 推荐(0)
E-MapReduce集群中HDFS服务集成Kerberos
摘要：一、 安装 配置Kerberos 1. 安装Kerberos master节点执行: slave节点执行: 2. 配置Kerberos master节点上面修改配置：a) /etc/krb5.conf备注： 配置中emr-header-1.cluster-xxxx替换成自己集群的hostname [ 阅读全文
posted @ 2017-05-10 14:15 _夜枫 阅读(413) 评论(0) 推荐(0)
FastReport中如何加入自定义函数
摘要：在fastreport脚本可以写函数，当有许多windows自动api不能用，试着利用fastreport的AddFunction，OnUserFunction实现。（网上搜）Fastreport可以自己加入需要的函数，来实现特定的功能。过程就是：1)添加函数到报表中。frxreport1.AddF 阅读全文
posted @ 2017-05-09 16:42 _夜枫 阅读(4301) 评论(0) 推荐(0)
centos7安装python开发环境（python3_postgresql_sublime_supervisor）
摘要：一. 安装gnome 二.安装python3 三.安装PostgreSQL9.5 四.安装supervisor。 五.安装Sublime Text 3。 原文地址：http://click.aliyun.com/m/20124/ 原文地址：http://click.aliyun.com/m/2012 阅读全文
posted @ 2017-05-09 14:59 _夜枫 阅读(1351) 评论(0) 推荐(0)
你是「空巢程序员」吗？
摘要：什么是空巢青年？一个人吃饭，一个人睡觉，一个人努力工作……80后的他们被叫做蚁族，90后的他们被唤做空巢青年。最近，空巢青年”这个词突然间又火了起来。 五四青年节前夕，阿里数据非常「贴心地」发布了《中国空巢青年图鉴》，联合芝麻信用和虾米音乐，用大数据还原了5000万在异地生活工作、年龄介于20到39 阅读全文
posted @ 2017-05-08 15:31 _夜枫 阅读(240) 评论(0) 推荐(0)
久经考验的全栈云平台：Apsara Stack Enterprise 新特性介绍
摘要：在2017云栖大会-南京峰会上，阿里云专有云高级专家谢宁做了题为《Apsara Stack Enterprise 新特性介绍》的分享。在分享中谢宁分享了目前企业级云架构的发展趋势，目前新应用互联网化，传统核心应用开始逐渐改造，而完整的云概念被企业级客户接受，集团云/行业云等多云管理客户的运维管理组织 阅读全文
posted @ 2017-05-08 15:19 _夜枫 阅读(1173) 评论(0) 推荐(0)
蚂蚁金服未来智慧城市：打造新空间_•_新治理_•_新生活
摘要：在2017云栖大会-南京峰会上，蚂蚁金服城市服务总经理林光宇做了题为《未来城市 · 智慧生活——新空间 · 新治理 · 新生活》的分享。蚂蚁金服城市服务的故事起源于支付，但是不止于支付。目前支付宝是移动端最大的政务服务聚合平台，蚂蚁金服通过信用重构社会关系是商业文明重要一步，建立社会关系链的新基石， 阅读全文
posted @ 2017-05-08 15:08 _夜枫 阅读(312) 评论(0) 推荐(0)
飞天政务开放体系：数据为中心的云上政务平台与创新生态
摘要：在2017云栖大会-南京峰会上，阿里云政府业务架构总监史大治做了题为《飞天政务开放体系与智能服务》的分享。对于政务工作而言，面临着政务服务与政务数据的深度、广度不断上升，丰富的技术和应用不断涌现，业务不断融合，行政能力亟待提升的挑战。而互联网服务渠道的开通，让电子政务的建设，从对内（政府机关）的流程 阅读全文
posted @ 2017-05-08 15:06 _夜枫 阅读(351) 评论(0) 推荐(0)
像逛淘宝一样“办政事”：阿里云在政务领域的实践
摘要：在2017云栖大会-南京峰会上，阿里云政府业务事业部部委行业总经理陈峥做了题为《阿里云在政务领域的实践》的分享。随着阿里云的不断发展壮大，已经成为深受政府所信赖的伙伴，阿里云是全球前三 /国内绝对领先的公共云服务商，并且具有丰富的云计算产品体系，并且具有差异化的核心能力：基于飞天的一体化的技术架构， 阅读全文
posted @ 2017-05-08 14:58 _夜枫 阅读(346) 评论(0) 推荐(0)
云上安全三字经
摘要：阿里云在安全上倡导的是责任共担模型， 简单说就是云平台的安全由阿里云负责， 但云上租户自己的网络、主机、业务、数据的安全，需要租户自己负责，那作为一个租户，具体该怎么做呢？ 记得小时候的“三字经”郎朗上口，至今不忘。 因此我就想，云上的安全能否也用3字经的方式表达？即简单又清晰，因此整理了下面9个安 阅读全文
posted @ 2017-05-08 14:37 _夜枫 阅读(310) 评论(0) 推荐(0)
数梦工场：新思维、新技术下的互联网+政务
摘要：在2017云栖大会-南京峰会上，数梦工场政务系统部部长赵东周做了题为《新思维、新技术下的互联网+政务》的分享。在政策的驱动下，互联网+政务不断深化发展，与此同时在新的发展形式下也遇到了数据、应用、平台和安全等多方面的问题，为了应对这些问题和挑战，新思维、新技术下的互联网+政务在平台层，应该从建好云发 阅读全文
posted @ 2017-05-08 14:31 _夜枫 阅读(212) 评论(0) 推荐(0)
计算成就价值_数据实现梦想——达科在DT时代转型历程的分享
摘要：在2017云栖大会-南京峰会上，江苏达科信息科技有限公司董事长洪智做了题为《生态在DT时代转型历程的分享》的精彩演讲。江苏达科信息科技有限公司业务涉及电信、党政、教育、金融以及能源等多个行业，年营业额达到5亿多元，拥有自己的支撑软件工程技术研究中心，并且参与了众多国家科研项目。在政务方面，达科参与了 阅读全文
posted @ 2017-05-08 14:28 _夜枫 阅读(223) 评论(0) 推荐(0)