摘要：
Flume基本组件 Event：消息的基本单位，有header和body组成 Agent：JVM进程，负责将一端外部来源产生的消息转 发到另一端外部的目的地 Source：从外部来源读入event，并写入channel Channel：event暂存组件，source写入后，event将会 一直保存 阅读全文
摘要：
1.Flume特点 Flume是一个分布式的、可靠的、高可用的海量日志采集 、聚合和传输的系统 数据流模型：Source-Channel-Sink 事务机制保证消息传递的可靠性 内置丰富插件，轻松与其他系统集成 Java实现，优秀的系统框架设计，模块分明，易于开发 2.Flume原型图 Flume原 阅读全文
摘要：
大数据预处理，指的是在进行数据分析之前，先对采集到的原始数据所进行的诸如“清洗、填补、平滑、合并、规格化、一致性检验”等一系列操作，旨在提高数据质量，为后期分析工作奠定基础。数据预处理主要包括四个部分：数据清理、数据集成、数据转换、数据规约。 数据清理：指利用ETL等清洗工具，对有遗漏数据(缺少感兴 阅读全文
摘要：
其实想要知道大数据有哪些核心技术很简单，无非三个过程：取数据、算数据、用数据。这么说可能还是有人觉得太空泛，简单来说从大数据的生命周期来看，无外乎四个方面：大数据采集、大数据预处理、大数据存储、大数据分析，共同组成了大数据生命周期里最核心的技术。 大数据采集，即对各种来源的结构化和非结构化海量数据， 阅读全文
摘要：
机器学习最早的发展是Thomas Bayes 在1783年发表的同名理论，贝斯定理发现了给定有关类似事件的历史数据的事件的可能性。这是机器学习的贝叶斯分支的基础，它寻求根据以前的信息寻找最可能发生的事件。换句话说，Bayes定理只是一个从经验中学习的数学方法，是机器学习的基本思想。 几个世纪后，19 阅读全文
摘要：
第二种监督学习是回归。在回归中，机器使用先前的(标记的)数据来预测未来。天气应用是回归的好例子。使用气象事件的历史数据(即平均气温、湿度和降水量)，你的手机天气应用程序可以查看当前天气，并在未来的时间内对天气进行预测。 在无监督学习中，数据是无标签的。由于大多数真实世界的数据都没有标签，这些算法特别 阅读全文
摘要：
机器学习的核心是“使用算法解析数据，从中学习，然后对世界上的某件事情做出决定或预测”。这意味着，与其显式地编写程序来执行某些任务，不如教计算机如何开发一个算法来完成任务。有三种主要类型的机器学习：监督学习、非监督学习和强化学习，所有这些都有其特定的优点和缺点。 监督学习涉及一组标记数据。计算机可以使 阅读全文
摘要：
我认为王老师的教学方式就是相信我们的能力，给我们留各种各样的任务，但是我还是想说有的问题我在查找资料后还是没有找到解决的方法，而且老师有的时候提出要要求不是很明确，有时候今天让我们做这个，但是下一次在上课就改了要求，或者不做这个了重新做，这时候我有可能就已经敲了一部分了，对于这未完成的任务也就放弃了 阅读全文
摘要：
1.课上积极配合老师，去讲台演示过大作业第一阶段，希望老师能给加2分 2.帮助学弟解决问题，截图如下： 希望老师能给加2分 3.按照老师的要求认真完成作业，希望老师能给加2分 阅读全文
摘要：
记录以下去读csv和xlsx的操作： 读取xlsx： public List<List<Object>> ExcelToRowList(String fileP){ Workbook wb = null; Sheet sheet = null; Row row = null; List<List<O 阅读全文