玩转大数据 - 博客园

2019年5月7日

摘要： 1.hive的安装解压就完事了配置/etc/profile环境变量启动hdfs启动hivecp $HIVE_HOME/lib/jline.xxxxx $HADOOP_HOME/share/hadoop/yarn/lib2.show databases;查看数据库3.show tables;4.cre 阅读全文

posted @ 2019-05-07 08:23 玩转大数据阅读(153) 评论(0) 推荐(0)

2019年4月11日

集群的高级设定

摘要： 1 时间同步 2 历史服务器 3 日志合并配置 ntp服务器修改配置文件 vim /etc/ntp.conf server 127.127.1.0fudge 127.127.1.0 stratum 10 restrict default ignorerestrict 192.168.10.0 m 阅读全文

posted @ 2019-04-11 20:55 玩转大数据阅读(162) 评论(0) 推荐(0)

2019年4月10日

HDFS命令

摘要： Hdfs dfs -cat path hadoop fs - 等同 1 -ls 查看当前目录的文件和文件夹 2 -lsr 递归查看 3 -du 查看文件的大小 4-dus 查看文件夹中所有的文件大小 5-Count 统计数量文件夹文件文件大小总和 6-Mv:移动改名移动文件夹 7 -cp 阅读全文

posted @ 2019-04-10 20:59 玩转大数据阅读(774) 评论(0) 推荐(0)

hadoop全分布式的搭建

摘要：修改主机名：vim /etc/sysconfig/network 1 修改 hadoop-env.sh 2 修改core-site.xml /hadoop/tmpdir: 产生 namenode中fsimasage 和edits文件合并元数据 3 修改 hdfs-site.xml 4 yarn-s 阅读全文

posted @ 2019-04-10 09:03 玩转大数据阅读(311) 评论(0) 推荐(0)

2019年4月4日

hadoop伪分布式环境搭建

摘要：安装伪分布式流程 1.关防火墙 2.设置IP地址 3.设置network文件hosts映射文件 4.安装jdk 5.安装hadoop 6.配置hadoop: hadoop-env.sh、core-site.xml、hdfs-site.xml、 Mapred-site.xml、yarn-site.xm 阅读全文

posted @ 2019-04-04 16:14 玩转大数据阅读(228) 评论(0) 推荐(0)

2019年4月3日

集群和分布式

摘要：集群是个物理形态，分布式是个工作方式。只要是一堆机器，就可以叫集群，他们是不是一起协作着干活，这个谁也不知道；一个程序或系统，只要运行在不同的机器上，就可以叫分布式，嗯，C/S架构也可以叫分布式。集群一般是物理集中、统一管理的，而分布式系统则不强调这一点。所以，集群可能运行着一个或多个分布式阅读全文

posted @ 2019-04-03 20:10 玩转大数据阅读(186) 评论(0) 推荐(0)

Linux01机和Linux02机的切换和秘钥的配置

摘要：先试一下 01机和02机是否可以切换成功使用 ssh root@ip地址输入密码 ifconfig查看ip是否正确切换回01机 01机配置的秘钥查看隐形文件 01机配置秘钥输入 ssh-copy-id 02机的ip地址输入 ssh-copy-id 03机的ip地址输入 vim /etc 阅读全文

posted @ 2019-04-03 09:03 玩转大数据阅读(189) 评论(0) 推荐(0)

修改Linux克隆的物理地址和 IP地址

摘要：实在不行就重新启动一下才会改成 ech0 完成后文件配置环境变量实在不行就重新启动一下才会改成 ech0 完成后文件配置环境变量作为一个真正的程序员，首先应该尊重编程，热爱你所写下的程序，他是你的伙伴，而不是工具。阅读全文

posted @ 2019-04-03 08:59 玩转大数据阅读(904) 评论(0) 推荐(0)

Linux 配置环境变量的tar

摘要：打开工具连接到Xshell 6 工具里面查看是否配置成功打开工具连接到Xshell 6 工具里面查看是否配置成功作为一个真正的程序员，首先应该尊重编程，热爱你所写下的程序，他是你的伙伴，而不是工具。阅读全文

posted @ 2019-04-03 08:58 玩转大数据阅读(306) 评论(0) 推荐(1)

Linux系统目录结构介绍

摘要： linux目录：一切从“根”开始，“／”是所有目录的起点（定点） linux每个目录可以挂载在不同的设备（磁盘）上。在逻辑上所有目录（包括目录下的子目录）都在最高级别的目录“／”下，根（“／”）目录是linux系统中所有目录的起始点（丁点），根下面的目录及目录的子目录是一个有层次的树状结构，很像一阅读全文

posted @ 2019-04-03 08:46 玩转大数据阅读(2190) 评论(0) 推荐(0)

公告