摘要： 一、ls 二、demsg 问题盘结果： 三、iostat使用 1）、安装 2)、命令使用 重要参数说明 -c 仅显示CPU统计信息 -d 仅显示磁盘统计信息 -k 以K为单位显示每秒的磁盘请求数,默认单位块. -p device | ALL 与-x选项互斥,用于显示块设备及系 统分区 的统计信息.也 阅读全文

摘要： Linux文件系统由三部分组成：文件名、inode、block(真正存数据) 查看inode所有信息 $>>df -i 查看文件发生变动的时间 Linux常见文件系统 ext4:ext3的升级版，大幅度改动 NFS：网络文件系统主要用于远程文件共享 ISO9660：大部分光盘所采用的文件系统 XFS 阅读全文

摘要： 1、spark汇聚失败 出错原因，hive默认配置中parquet和动态分区设置太小 2.hive数据入hbase报错 出现报错原因： executor_memory和dirver_memory太小，在增大内存后还会出现连接超时的报错 解决连接超时：spark.network.timeout=140 阅读全文

摘要： Linux硬件资源管理 PCI设备 CPU信息 通过/proc文件系统查看 $>> cat /proc/cpuinfo 内存信息 $>>free -m 或 cat /proc/meminfo 磁盘分区信息 $>>fdisk -l //分区情况 $>>df -h //大小情况 $>>du -h //使 阅读全文

摘要： 系统维护管理命令date、clear who命令 w //登录到过该系统的用户信息 man uname //用于显操作系统相关的信息 uptime //用于输出系统任务队列信息。输出系统当前时间、系统开机到现在的运行时间、目前有多少用户在 //线和系统平均负载 last命令 //列出目前与过去登入系 阅读全文

摘要： 配置2台机器，发别为ambari01、ambari03。ambari01上部署Ambari-server和Mirror server,另一台机器上部署agent。 一、配置静态IP 运行命令，让配置生效 完成后，测试能否ping通外网 二、配置永久的hostname root用户下执行 $>> /e 阅读全文

摘要： Hadoop的FileSystem类是与Hadoop的某一文件系统进行交互的API，虽然我们主要聚焦于HDFS实例，但还是应该集成FileSystem抽象类，并编写代码，使其在不同的文件系统中可移植，对于测试编写的程序非常重要。可以使用本地文件系统中的存储数据快速进行测试。 一、从Hadoop Fi 阅读全文

摘要： 用到的工具：VMware、hadoop-2.7.2.tar、jdk-8u65-linux-x64.tar、ubuntu-16.04-desktop-amd64.iso 1、 在VMware上安装ubuntu-16.04-desktop-amd64.iso 单击“创建虚拟机”è选择“典型（推荐安装）” 阅读全文

摘要： spark有自己的集群计算技术,扩展了hadoop mr模型用于高效计算，包括交互式查询和 流计算。主要的特性就是内存的集群计算提升计算速度。在实际运用过程中也当然少不了对一些数据集的操作。下面将通过以下练习来深化对spark的理解，所有练习将使用python完成，java、scala版本将后续完成 阅读全文

摘要： 修改hostname bogon 为localhost 查看ip地址 执行结果 此时python 版本为2.7 将python版本升级至3.0及以上 一、 下载欲升级python版本 Python-3.4.5,将包放于本机与虚似机的共享目录下，上传至虚似机的opt目录下 二、 解压 三、阅读READ 阅读全文