2022年7月20日
idea中添加jar包
摘要： ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220720223343584-527441647.png) ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220720223336771-399494239.png) 阅读全文
posted @ 2022-07-20 22:49 jsqup 阅读(30) 评论(0) 推荐(0) 编辑
关于本地hadoop的配置
摘要： 由于实训需要，把之前配置的都删掉了 阅读全文
posted @ 2022-07-20 18:30 jsqup 阅读(16) 评论(0) 推荐(0) 编辑
idea中的ctrl+鼠标滚轮进行设置+开机不自启上一次
摘要： ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220720180626651-1648233261.png) ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220720180539544-1747432365.png) ![](https:// 阅读全文
posted @ 2022-07-20 18:11 jsqup 阅读(42) 评论(0) 推荐(0) 编辑
hadoop操作命令
摘要： 两种操作 hadoop fs hdfs dfs 具体的命令查看hdfs dfs --help hdfs和linux本地的命令的操作不同 [root@node1 ~]# hdfs dfs -tail -f /a.txt * ** *** ***** [root@node1 ~]# tail -n 10 阅读全文
posted @ 2022-07-20 18:01 jsqup 阅读(16) 评论(0) 推荐(0) 编辑
关于block大小的修改
摘要： 在/opt/app/hadoop-2.8.5/etc/hadoop目录下，修改hdfs-site.xml文件 <property> <name>dfs.block.size</name> <value>26214400</value> </property> # 如果设置块的大小为250M，则设置2 阅读全文
posted @ 2022-07-20 17:44 jsqup 阅读(112) 评论(0) 推荐(0) 编辑
为什么hadoop2.x以后block大小为128M？
摘要： 注意：寻址时间不能变，寻址时间为传输时间的1%也不能变。 阅读全文
posted @ 2022-07-20 16:54 jsqup 阅读(36) 评论(0) 推荐(0) 编辑
hadoop文档查看
摘要： ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220720160533551-1023057744.png) ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220720160541336-808159821.png) ![](https://i 阅读全文
posted @ 2022-07-20 16:31 jsqup 阅读(16) 评论(0) 推荐(0) 编辑
完全分布式搭建
摘要： 修改ip地址和主机名 修改3台虚拟机的ip地址和主机名 vim /etc/sysconfig/network-scripts/ifcfg-ens33 将IPADDR修改为 192.168.200.81 重新启动网络服务使其生效 systemctl restart network 集群规划 |组件|n 阅读全文
posted @ 2022-07-20 15:38 jsqup 阅读(20) 评论(0) 推荐(0) 编辑
ssh免密登录
摘要： cd /root/.ssh ssh-keygen -t rsa 敲三个回车 执行命令 ssh-copy-id node 阅读全文
posted @ 2022-07-20 11:20 jsqup 阅读(4) 评论(0) 推荐(0) 编辑
Hadoop伪分布环境搭建
摘要： 核心配置文件 hadoop-env.sh: hadoop依赖环境配置; core-site.xml ： hadoop 公共运行配置项配置文件： hdfs-site.xml ： hdfs相关配置项配置文件； mapred-env.sh ： mapreduce运行环境配置 mapred-site.xml 阅读全文
posted @ 2022-07-20 11:06 jsqup 阅读(15) 评论(0) 推荐(0) 编辑