摘要： Python3.7安装 Python解释器 当我们编写Python代码时，我们得到的是一个包含Python代码的以.py为扩展名的文本文件。要运行代码，就需要Python解释器去执行.py文件。 由于整个Python语言从规范到解释器都是开源的，所以理论上，只要水平够高，任何人都可以编写Python 阅读全文

摘要： 1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 traffic: 62 文章： article/11325 阅读全文

摘要： 《大数据技术原理与应用》暑假学习计划_06 - NoSQL简述 NoSQL概述 没有接触NoSQL时一直不太明白NoSQL的含义，一直以为NoSQL只是一中新型数据库的名称。但直到前几天学习之后我才确实了解到了NoSQL其真正的魅力。 NoSQL → Not noly SQL NoSQL数据库真正兴 阅读全文

摘要： 分布式数据库的安装与配置 相关步骤都在林子雨老师的博客上有非常详细的介绍，我便不再一一赘述本人只在这里整理相关常用命令方便自己记忆学习使用。 http://dblab.xmu.edu.cn/blog/install-hbase/ 启动关闭Hadoop和HBase的顺序一定是：启动Hadoop—>启动 阅读全文

摘要： 《大数据技术原理与应用》暑假学习计划_05 - 分布式文件数据库HBase HBase简介 HBase分布式数据库 → 用来存储非结构化及半结构化松散数据，具有高可靠，高性能，面向列，可伸缩的特性。 底层分布式文件系统存储完全非结构化数据，Hbase通过水平扩展允许上千台服务器存储数据 文件存储系统 阅读全文

摘要： No FileSystem for scheme:file解决方法 今天在测试如上代码时出现了一个错误：eclipse中可以正常运行，“hadoop jar”命令也可以正常运行 但是“java”命令 无法正常运行出现No FileSystem for scheme: hdfs错误。 解决方法：要能正 阅读全文

摘要： Name node is in safe mode解决方法 今天在进行分布式文件系统编程实践的过程中遇到这样一个问题：Name node is in safe mode当时我已经编写好程序，刚刚通过终端将Hadoop启动 刚启动完成我就开始运行程序结果出现这个错误 这是因为在分布式文件系统启动的时候 阅读全文

摘要： 《大数据技术原理与应用》暑假学习计划_04 - 分布式文件系统HDFS 块 块？分布式文件系统HDFS最核心的内容。分布式文件系统HDFS上的文件也被划分为块大小的多个分块作为独立的存储单元。 与通常的磁盘文件系的联系是：都是为了分摊磁盘读写开销也就是在大量数据间分摊磁盘寻址的开销。 与通常的磁盘文 阅读全文

摘要： 《大数据技术原理与应用》暑假学习计划_03 - 安装 Hadoop时遇到的问题总结 可能是之前Linux没有掌握的比较好按装Hadoop时出现了很多令人啼笑皆非的问题，有一些是林子雨老师博客上没有提到的问题，所以记录下来，希望可以帮助到其他同学。 问题一：vim配置JDK如果把.bashrc文件搞坏 阅读全文

摘要： 第一步：下载Virtual Box，下载地址https://www.virtualbox. 第二步：安装Virtual Box，一直默认点过来的...安装好后是这个样子 根据林子雨老师的博客，提示安装的都要安装，否则会出现问题 第三步：中间过程不再赘述，详情请看林子雨老师的博客http://dbla 阅读全文