摘要：
HDFS NameNode(NN): 接受客户端的读写服务 NameNode保存metadata信息:--fsimage中包括:1.文件ownership和permissions2.文件包含哪些块儿--Block的位置信息不会保存到fsimage,DataNode启动时主动汇报给NameNode3. 阅读全文
摘要：
通过文章主题做文本分类的理论依据 直观来讲，如果一篇文章有一个中心思想，那么一些特定词语会更频繁的出现。比方说，如果一篇文章是在讲猫的，那"猫"和"鱼"等词出现的频率会高些，如果一篇文章是在讲狗的，那"狗"和"骨头"等词出现的频率会高些。而有些词例如"这个"、"和"大概在两篇文章中出现的频率会大致相 阅读全文
摘要：
上一篇介绍了PAI以及机器学习相关的一点知识，没有深入算法原理，只是从使用角度出发熟悉了操作流程，后面随着学习的深入，我也会对算法原理做一个详细的阐述。这次我们还是继续实战，认识机器学习在文本分析领域是如何工作的。先贴出官方的教程：机器学习PAI眼中的《人民的名义》。 准备开始 还是在阿里PAI环境 阅读全文
摘要：
PAI简介 阿里云机器学习PAI（Platform of Artificial Intelligence）是一款一站式的机器学习平台，包含数据预处理、特征工程、常规机器学习算法、深度学习框架、模型的评估以及预测这一整套机器学习相关服务。由于目前PAI还属于公测阶段，所以是不收费的。但是PAI底层依赖 阅读全文
摘要：
MaxCompute Studio是阿里云MaxCompute（原ODPS）平台提供的安装在开发者客户端的大数据集成开发环境（IDE）工具，是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件，帮助用户方便地进行数据开发。ODPS客户端是一个命令行工具，通过它可以访问MaxCompu 阅读全文
摘要：
数加 · MaxCompute 大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。官方文档：h 阅读全文
摘要：
HiveQL DDL语法规则包括 CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEX（创建 数据库/模式，表，视图，函数，索引） DROP DATABASE/SCHEMA, TABLE, VIEW, INDEX（删除 数据库/模式，表，视图，索引 阅读全文
摘要：
Kafka是一个消息发布-订阅系统。Spark-Streaming是spark核心API的扩展，它可以采集Kafka, Flume, Twitter, ZeroMQ, Kinesis, 或TCP sockets等多种数据源进行处理，是一个高可用可伸缩高通量的实时数据计算工具。 Spark Strea 阅读全文
摘要：
网站分析指标 网站分析中都用到哪些衡量指标？又如何分析这些指标呢？举个例子来说明，如果把一个网站比作一家超市，运营网站就像打理超市的生意，那么目标就是让访客多停留、多购买、多办几张会员卡。为了达成这个目标，我们先要了解当前的情况，比如有多少人走进了超市、看了多少件产品、多少人办理了会员卡；类似地，在 阅读全文
摘要：
网站分析是什么 网站分析是指在获得网站访问量等基本数据情况下，分析网站数据，从中发现访客访问网站的规律和特点，并将这些规律与网络营销策略等相结合，从而发现目前网络营销活动和运营中可能存在的问题和机遇，并为进一步修正或重新制定策略提供依据。 网站分析的意义 网站分析需要对站内站外一系列数据的对分、分析 阅读全文