随笔分类 - 大二下暑假每周总结
摘要：本周学习Phyton爬虫，又开始装软件啦。 Python 爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。 调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。 URL管理器：包括待爬取的URL地址和已
阅读全文
摘要：本周开始大数据的学习。 执行Shell脚本主要有两种方式： #第一种： #使用chmod命令，给脚本添加可执行权限 chmod +x ./hello.sh #执行脚本 ./hello.sh #第二种：作为解释器的参数运行脚本呢 /bin/bash hello.sh #或者 /bin/sh hello
阅读全文
摘要：这周继续Hadoop的学习，遇到了许多问题，慢慢学吧。 如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准； 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。 1、需求 已有集群服务器，node01、
阅读全文
摘要：这周继续学习Hadoop的相关内容。 1、创建目录#hdfs dfs -mkidr /test2、查询目录结构#hdfs dfs -ls / 子命令 -R递归查看//查看具体的某个目录：例如#hdfs dfs -ls /test3、创建文件#hdfs dfs -touchz /test/data.t
阅读全文
摘要：这周主要是下载安装Hadoop并学习相关知识。 Hadoop目录结构： 1. bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本； 2.etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件； 3.lib目录：存放Hadoop的本地库（对数据进行压缩
阅读全文
摘要：按照网上普遍的教程添加了一遍，还是没有显示 （参考教程：https://blog.csdn.net/boringboo/article/details/124980241） 原因是安装的有一个步骤和教程有异 将红线前的勾取消，一路next即可
阅读全文
摘要：完整报错信息： Port 8080 required by Tomcat v9.0 Server at localhost is already in use. The server may already be running in another process, or a system pro
阅读全文
摘要：这周去把电脑拿去重装了一下，C盘空间太满了，以前下软件没有太注意附带的软件。 又开始新一轮的软件安装，还好以前写了一些安装教程，遇到的困难大部分都得到了解决，以后安装软件一定要多写写博客。 继续看了看Hadoop的相关知识。 Hadoop的三大组件： HDFS Hadoop Distribute F
阅读全文
摘要：这周完工了算法与数据结构第二阶段的小学期，总体比第一阶段要难。 我的选题主要是运用了哈夫曼和队列的知识点。 打开要压缩的文本文件并读出其字符出现的频率，以其为权值构建哈夫曼树。其次要找到构建压缩功能的方法，在构建哈夫曼树的基础上进行编码，改变字符原先的存储结构，以达到压缩文件的目的，以外还有存储相应
阅读全文
摘要：实现一个基于哈夫曼树的文件压缩程序和文件解压程序： 1）求压缩程序读入源文件，分析每种字符的频度，然后建立相应的哈夫曼树，再求出相应哈夫曼编码，根据编码对源文件进行压缩，得到源文件对应的压缩文件。 2） 解压程序读入压缩文件，根据相应的哈夫曼编码解压还原，得到对应的源文件。 3）求出压缩率； //存
阅读全文
摘要：这周完工了数据结构小学期作业。主要是数据库的增删改查和页面设计布局，没有遇到太多的问题。 开始了算法与数据结构第一阶段的小学期，大二上学的知识都有所陌生，温习了一下各种算法知识，但还是遇到了一些问题。 主要用到了KMP模式匹配算法、由遍历序列恢复二叉树、Kruskal算法、关键路径算法、二叉排序树。
阅读全文
摘要：假定一个工程由若干子任务构成，使用一个包含n个顶点、e条边的AOE网表示该工程，顶点编号为1至n，有向边表示该工程的每个子任务，边的权值表示完成该子任务所需的时间，假定网中只含一个源点和一个汇点。请编写程序求出该工程的所有关键活动，并计算完成该工程所需的最短时间。 #include<iostream
阅读全文
摘要：要求在二叉排序树中查找指定的关键字,并在查找过程中输出查找过程中历经的节点。 int SearchBST(BSTNode *bt,KeyType k) { if(bt==NULL) { return 0; } else if(bt->key==k) { printf("%d ",bt->key);
阅读全文
摘要：这周主要在完成了部分数据库小学期作业，巩固了一下数据库增删改查等等基础知识。 初步了解了一下Hadoop，下周准备安装并继续学习。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hado
阅读全文
