Azure 大数据分析架构数据流
前言：
离11月份越来越近了，天也慢慢的要凉了起来，冬天慢慢的在靠近我们。不过对于Azure来说，冬天就像一把火，此话怎么讲呢？预计11月中旬，Mooncake 版的Azure将要发布Linux 版本的Hadoop，当然现有的Windows版本Hadoop尽管不太符合搞数据同志们的习惯，尽管现有的H adoop效果还算OK，但我相信，对于搞数据的同志们Linux的到来，无论是性能上，还是效果上，将会为这个冬天添上了一把火。所以呢，想把数据分析这块业务分享给大家。
架构分析：
今天简单的说下MS Azure平台上Data Mining 是如何做的
本文主要是针对Azure Global做的，因为这个架构在国外确实很火，
不过，在Mooncake上除了Machine Learning 没有外其它的应该都不缺哈。
数据流架构图：
Note:总计15条数据流，下面我们简单的解释下15条数据流的简单含义。
Website可以是Azure PaaS服务同样也可以是IaaS VM总之每个环节都很灵活
好好理解这个架构师需要架构设计经验，和业务经验，但不一定最优的架构，
我们可以根据我们自己的业务来设计合适的架构。
数据分析︰
日志分析是任何网站或 web 服务器，以获得更多的洞察力分析行为的重要组成部分。这些数据的大小、 速度和各种日志文件属于大数据，然而它们并不适合直接到一些传统的系统处理。微软 Azure 平台的服务，比如 HDInsight，Blob 存储和机器学习与使此任务容易得多。
(1) 用户访问Azure的网站，将会留下了一连串数据，我们可以挖掘及信息提取。
(2)Azure的网站会将 的底层结构化的数据存储在AzureSQL。
(3)Azure的网站将会产生点击流数据和使用日志。
(4)用户的操作信息无论在Azure上或处在本地服务器上的将会生成 （如服务器、 安全性或审计）。
(5)访问各各系统产生的这种非结构化 / 半结构化的数据存储在的 Blob 存储中。
(6)HDInsight 来处理非结构化/半-结构化数据，使用 Hadoop 工具Hive、 Pig和Mahout。它也可以使用 Sqoop 和 Oozie 的来进行数据的移动。对于实时的数据，我们可以使用风Storm和 HBase。
(7)HDInsight 支持 PowerShell 自动化任务，如创建和删除集群、 运行 MapReduce 程序、 运行Pig命令，等等。
(8)SQOOP 可以与结构化数据就像 Azure SQL 数据库进行交互，并且从HDInsight (Hadoop) 集群导入或导出数据。
(9)在 HDInsight 中处理过的数据将会被送入现有数据仓库（DW），其途径是通过常见的 ETL 通道，丰富其中所载的信息都是ETL的作用。
(10)Azure的Machine Learning （以下简称：ML 目前仅支持国际版） 访问处理Hive的表，以发现和预测的数据的趋势，同样的可以做/协助安全/性能风险的分析。
(11)ML将预测的信息发给现有的数据仓库。
(12)ML同样也将预测信息发给 Azure 网站，网站用户中心基于预测信息将会对用户做操作。
(13)数据仓库作为源数据供 BI 系统做展现，例如：Power BI、 SQL Server分析服务，或者客户自定义应用程序来创建数据模型来展现。
(14)HDInsight 可以将处理过的和加工的日志信息发给 BI 系统。
(15)BI 系统将把基于信息模型处理过数据展现到仪表板，或者以报告模式提供最终用户，报告产生的工具有:Power View, Power Map, SQL Server Reporting Services, andSharePoint BI。
一道小菜：
提供给大家，也许对你会有用，如果你经常要英文邮件交流的情况下。
工作常用的英文简写语：
FTE: Full time employee. 工作中常用于称呼接口联系的客户。相对于客户，我们是“Vendor”(供应商）。
EOD: End of day. e.g. “I need your take-awayfrom the off-site by EOD tomorrow."
ETA: Estimated time of arrival. 一般用在表示计划完成时间。
OOF: Out of Office. 不在办公室，请假。e.g. “I am OFF today”.
TBD: Acronym meaning To Be Determined. 未决，未定。 “ThatFAQ is TBD.”
EOM: (Often lower-cased.) “End of message.”放在句尾，表示内容结束。下面没有别的信息了。 e.g. “Out Sick Today. eom“
FYI: For your information. 供你参考。一般用在转发邮件时，表示希望对方接收邮件信息，不期望得到回复。
BTW: By the way. 另外一个缩略语：“PS.”也表示附加说明一下的意思。
CIL: See in line. 邮件回复中出现，一般表示加在上封邮件的基础上的一些注释，请查看。
ASAP: as soon as possible 尽快，表示紧急需求。
N/A: not applicable 表示不适用，经常出现在表格中，表示否定。
FAQ: frequently asked questions 常见问题
Tip：注意缩略语在句子中使用得当，小心语法错误。e.g. CIL(See in Line), don’t say: “Please see CIL below”. Pleaseclearly know the full phase mean and then use it.
谢谢大家阅读到这里！
