摘要：
1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 62 文章： article/11325 阅读全文
摘要：
本周学习内容 第六章：云数据库 云计算：通过整合、管理、调配分布在网络各处的计算资源，通过互联网以统一界面，同时向大量的用户提供服务。 云数据库：部署和虚拟化在云计算环境中的数据库。 特性：1.动态可扩展 2.高可用性 3.较低的使用代 4.易用性 5.高性能 6.免维护 7.安全 阅读全文
摘要：
本周学习内容： 第五章：Nosql数据库 Nosql数据库是指非关系型数据库，随着Web2.0时代的到来，越来越多的自媒体，社交软件等每天都能产生海量数据，并且这些数据大都没有一定的关系模型，不要求严格的数据库事务，也不要求严格的读写实时性和大量复杂的SQL查询。传统关系型数据库很难横向扩展，灵活性 阅读全文
摘要：
本周学习了教材中的第四章:分布式数据库Hbase 通过学习本章内容学习到HBase跟传统关系数据库有很大的区别， (1)数据类型:关系数据库都是运用了关系模型，主体-属性的方法来找出对应关系来进行存储，而HBase采用了很简单的数据模型，他将数据存储为未解释的字符串。 (2)数据操作:关系数据库有很 阅读全文
摘要：
本周学习了第三章:分布式文件系统HDFS 通过本章的学习:我知道分布式文件系统HDFS其是由很多廉价机器组成，并且其分为名称结点和数据结点，名称结点存储元数据，而数据结点存储文件的内容，名称结点是主结点，数据结点是从结点。HDFS有很多的优良特性，如廉价兼容的硬件设备（机房中的廉价机器）、流数据读写 阅读全文
摘要：
本周我学习了第二章内容:大数据处理架构Hadoop 通过本章的学习，我了解Hadoop基本的功能概念，其在分布式环境下提供海量数据的处理能力，能够对大量数据进行分布式的处理，并且可靠、高效、可伸缩的方式进行的。我了解到他的核心内容是HDFS和MapReduce。例如公司都有一个有很多廉价机器组成的机 阅读全文
摘要：
本周学习了教材中的第一章:大数据概念 通过阅读学习本章的内容，相比之前对大数据的概念有了更深的理解，现在自媒体时代的爆发，像我们平常玩的抖音等自媒体平台，每天都要产生巨大量的短视频内容，其数据量的存储和处理便成为了大数据时代要面临的一个很重要的任务。通过学习，我知道了大数据具有数据量大、数据类型繁多 阅读全文
摘要：
本周按照林子雨老师的教材教程先进行了虚拟机的安装，但是由于我的电脑VirtualBox安装完之后配置Ubuntu的时候提示无法完成新建任务，通过一番的百度还是未能解决（包括升级VirtualBox的版本）仍未能解决，所以通过咨询同学们，我换了一个虚拟机VMware，此虚拟机相比VirtualBox操 阅读全文
摘要：
编程时长：14h 代码行数：760行 发表博客篇数：3 所学知识点： 1.之前做WEB项目的时候显示内容一直用的当初学长的代码思路，将实体放进LIST集合，存进session，在JSP页面中用foreach来循环遍历出来，但是由于调整TOMCAT将jstl包搞坏，严重: Servlet.servic 阅读全文
摘要：
本学期收获最大的三项： 1.思考问题方面：通过每周的学习进度总结，很好的帮助我进行每周的自我反应和知识的巩固复习，并且每周都能看到自己的知识的积累和进步，同时我对于问题的思考也有了更深刻的理解，当自己储备的代码知识量足够多的时候，一个问题就会有很多种解法，对问题的理解也会不一样。当读完《构建之法》、 阅读全文