08 2022 档案
摘要：在官网或者网盘资源进行下载（https://pan.baidu.com/s/1bwD9_rvdfqe3dAoDOVO_qQ?pwd=96d7） （1）最好在断网状态下解压压缩包 （2）解压后点击vs_ultimate，右击->以管理员身份打开 （3）修改安装路径->同意许可->下一步->安装->启动
阅读全文
摘要：本周学习Phyton爬虫，又开始装软件啦。 Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。 调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。 URL管理器：包括待爬取的URL地址和已
阅读全文
摘要：重新安装了Eclipse，运行简单的java程序突然报错 解决办法：点击Eclipse ->Window->Preference->Run/Debug->Lunching
阅读全文
摘要：本周开始大数据的学习。 执行Shell脚本主要有两种方式： #第一种： #使用chmod命令，给脚本添加可执行权限 chmod +x ./hello.sh #执行脚本 ./hello.sh #第二种：作为解释器的参数运行脚本呢 /bin/bash hello.sh #或者 /bin/sh hello
阅读全文
摘要：这周继续Hadoop的学习，遇到了许多问题，慢慢学吧。 如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准； 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。 1、需求 已有集群服务器，node01、
阅读全文
摘要：这周继续学习Hadoop的相关内容。 1、创建目录#hdfs dfs -mkidr /test2、查询目录结构#hdfs dfs -ls / 子命令 -R递归查看//查看具体的某个目录：例如#hdfs dfs -ls /test3、创建文件#hdfs dfs -touchz /test/data.t
阅读全文
