Azure 大数据分析架构数据流
前言:
离11月份越来越近了,天也慢慢的要凉了起来,冬天慢慢的在靠近我们。不过对于Azure来说,冬天就像一把火,此话怎么讲呢?预计11月中旬,Mooncake 版的Azure将要发布Linux 版本的Hadoop,当然现有的Windows版本Hadoop尽管不太符合搞数据同志们的习惯,尽管现有的H adoop效果还算OK,但我相信,对于搞数据的同志们Linux的到来,无论是性能上,还是效果上,将会为这个冬天添上了一把火。所以呢,想把数据分析这块业务分享给大家。
架构分析:
今天简单的说下MS Azure平台上Data Mining 是如何做的
本文主要是针对Azure Global做的,因为这个架构在国外确实很火,
不过,在Mooncake上除了Machine Learning 没有外其它的应该都不缺哈。
数据流架构图:
Note:总计15条数据流,下面我们简单的解释下15条数据流的简单含义。
Website可以是Azure PaaS服务同样也可以是IaaS VM总之每个环节都很灵活
好好理解这个架构师需要架构设计经验,和业务经验,但不一定最优的架构,
我们可以根据我们自己的业务来设计合适的架构。
数据分析︰
日志分析是任何网站或 web 服务器,以获得更多的洞察力分析行为的重要组成部分。这些数据的大小、 速度和各种日志文件属于大数据,然而它们并不适合直接到一些传统的系统处理。微软 Azure 平台的服务,比如 HDInsight,Blob 存储和机器学习与使此任务容易得多。
(1) 用户访问Azure的网站,将会留下了一连串数据,我们可以挖掘及信息提取。
(2)Azure的网站会将 的底层结构化的数据存储在AzureSQL。
(3)Azure的网站将会产生点击流数据和使用日志。
(4)用户的操作信息无论在Azure上或处在本地服务器上的将会生成 (如服务器、 安全性或审计)。
(5)访问各各系统产生的这种非结构化 / 半结构化的数据存储在的 Blob 存储中。
(6)HDInsight 来处理非结构化/半-结构化数据,使用 Hadoop 工具Hive、 Pig和Mahout。它也可以使用 Sqoop 和 Oozie 的来进行数据的移动。对于实时的数据,我们可以使用风Storm和 HBase。
(7)HDInsight 支持 PowerShell 自动化任务,如创建和删除集群、 运行 MapReduce 程序、 运行Pig命令,等等。
(8)SQOOP 可以与结构化数据就像 Azure SQL 数据库进行交互,并且从HDInsight (Hadoop) 集群导入或导出数据。
(9)在 HDInsight 中处理过的数据将会被送入现有数据仓库(DW),其途径是通过常见的 ETL 通道,丰富其中所载的信息都是ETL的作用。
(10)Azure的Machine Learning (以下简称:ML 目前仅支持国际版) 访问处理Hive的表,以发现和预测的数据的趋势,同样的可以做/协助安全/性能风险的分析。
(11)ML将预测的信息发给现有的数据仓库。
(12)ML同样也将预测信息发给 Azure 网站,网站用户中心基于预测信息将会对用户做操作。
(13)数据仓库作为源数据供 BI 系统做展现,例如:Power BI、 SQL Server分析服务,或者客户自定义应用程序来创建数据模型来展现。
(14)HDInsight 可以将处理过的和加工的日志信息发给 BI 系统。
(15)BI 系统将把基于信息模型处理过数据展现到仪表板,或者以报告模式提供最终用户,报告产生的工具有:Power View, Power Map, SQL Server Reporting Services, andSharePoint BI。
一道小菜:
提供给大家,也许对你会有用,如果你经常要英文邮件交流的情况下。
工作常用的英文简写语:
FTE: Full time employee. 工作中常用于称呼接口联系的客户。相对于客户,我们是“Vendor”(供应商)。
EOD: End of day. e.g. “I need your take-awayfrom the off-site by EOD tomorrow."
ETA: Estimated time of arrival. 一般用在表示计划完成时间。
OOF: Out of Office. 不在办公室,请假。e.g. “I am OFF today”.
TBD: Acronym meaning To Be Determined. 未决,未定。 “ThatFAQ is TBD.”
EOM: (Often lower-cased.) “End of message.”放在句尾,表示内容结束。下面没有别的信息了。 e.g. “Out Sick Today. eom“
FYI: For your information. 供你参考。一般用在转发邮件时,表示希望对方接收邮件信息,不期望得到回复。
BTW: By the way. 另外一个缩略语:“PS.”也表示附加说明一下的意思。
CIL: See in line. 邮件回复中出现,一般表示加在上封邮件的基础上的一些注释,请查看。
ASAP: as soon as possible 尽快,表示紧急需求。
N/A: not applicable 表示不适用,经常出现在表格中,表示否定。
FAQ: frequently asked questions 常见问题
Tip:注意缩略语在句子中使用得当,小心语法错误。e.g. CIL(See in Line), don’t say: “Please see CIL below”. Pleaseclearly know the full phase mean and then use it.
谢谢大家阅读到这里!