公告:    欢迎来到王者★孤傲博客主页,若有问题敬请留言 !     没有大量的积累和感悟,是不会把事情做好的, 只有不停的进取,才能够不丢人! Copyright © 2016-2020 RaodiBlogs. All rights reserved.
摘要: 一、实验目的 1.了解Linux操作系统的启动与登录方法。 2.掌握Red Hat Linux图形用户界面下的基本操作。 3.学会Red Hat Linux基本设置。二、实验内容1. 登录2. 创建用户账号(1) 在图形界面中创建用户账号(2) 在字符状态下创建用户账号3. 运行应用程序4. 退出系统三、实验平台1.实验工具:Vmware。2.实验设备:已安装Red Hat Li... 阅读全文
posted @ 2019-09-06 18:09 王者★孤傲 阅读(2352) 评论(0) 推荐(4) 编辑
摘要: 一、实验目的 1.了解Linux操作系统的发行版本。 2.掌握Red Hat Linux 9.0的安装方法。 (可用Red Hat Linux 5.0版本替代9.0版本) 3.了解Linux其他版本(红旗Linux或Slackware Linux)的安装方法。二、实验内容 1. 安装及配置VMWare(系统已安装,则此步跳过) 1)、完成新建虚拟机向导;... 阅读全文
posted @ 2019-09-06 18:03 王者★孤傲 阅读(2119) 评论(0) 推荐(4) 编辑
摘要: 对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型后,在visio等工具建立数据库实体以及各实体之间关系的过程。一、主要内容 本例实验具体可细分为总体可行性分析、技术可行性分析、经济可行性分析和社会可行性分析,具体详见实验步骤。二、实现平台 系统平台:略三、具体内容 ... 阅读全文
posted @ 2019-09-06 17:57 王者★孤傲 阅读(2002) 评论(0) 推荐(4) 编辑
摘要: 数据流图(DFD)是结构化系统分析方法的主要表达工具,数据流图,主要是为了说明在一个项目中,数据的处理与流动情况。 数据流图的基本组成成分包括了数据流、加工、数据存储和外部实体,用来描绘软件系统逻辑模型的图形工具,它描绘信息和数据从输入到输出的过程中所经历的一切。对于本例实验而言,将大大简化工程研发思维等重要步骤。一、主要内容 本例实验具体包含了系统的顶层数据流图... 阅读全文
posted @ 2019-09-06 17:48 王者★孤傲 阅读(2155) 评论(0) 推荐(4) 编辑
摘要: 可行性分析是通过对项目的主要内容和支配条件,从技术、经济、社会等方面进行调查研究和分析比较,并对项目建成以后可能取得的财务、经济效益及社会环境影响进行预测,从而提出该项目是否值得投资和如何进行建设的咨询意见,为项目决策提供依据的一种综合性的系统分析方法。可行性分析应具有预见性、公正性、可靠性、科学性的特点。 可行性研究的根本目的是实现项目决策的科学化、民主化,减少或避免投资... 阅读全文
posted @ 2019-09-06 17:28 王者★孤傲 阅读(2674) 评论(0) 推荐(4) 编辑
摘要: 需求分析是软件计划阶段的重要活动,也是软件生存周期中的一个重要环节,该阶段是分析系统在功能上需要“实现什么”,而不是考虑如何去“实现”。需求分析的目标是把用户对待开发软件提出的“要求”或“需要”进行分析与整理,确认后形成描述完整、清晰与规范的文档,确定软件需要实现哪些功能,完成哪些工作。 一、主要内 阅读全文
posted @ 2019-09-06 17:09 王者★孤傲 阅读(2674) 评论(0) 推荐(4) 编辑
摘要: Linux内核版本有两种:稳定版和开发版 ,Linux内核版本号由3组数字组成:第一个组数字.第二组数字.第三组数字。第一个组数字:目前发布的内核主版本。第二个组数字:偶数表示稳定版本;奇数表示开发中版本。第三个组数字:错误修补的次数。 如:Linux 2.6.34 major 。 第一个组数字: 阅读全文
posted @ 2019-09-06 15:18 王者★孤傲 阅读(2672) 评论(0) 推荐(4) 编辑
摘要: 执行 impala-shell 即能进入界面操作sql。如果在hive更新了数据之后,而在impala中却无法看到更新后的数据的话,意味着impala里元数据信息还没有刷新,此时在impala操作界面里 执行 invalidate metadata; 命令刷新元数据。 use rimengshe; 阅读全文
posted @ 2019-09-05 20:08 王者★孤傲 阅读(2217) 评论(0) 推荐(4) 编辑
摘要: 一、.hbase与hive的兼容版本: hive0.90与hbase0.92是兼容的,早期的hive版本与hbase0.89/0.90兼容,不需要自己编译。 hive1.x与hbase0.98.x或则更低版本是兼容的,不需要自己编译。 hive2.x与hbase1.x及比hbase1.x更高版本兼容 阅读全文
posted @ 2019-09-05 14:56 王者★孤傲 阅读(2644) 评论(0) 推荐(4) 编辑
摘要: 错误1: ERROR client.RemoteDriver: Failed to start SparkContext: java.lang.IllegalArgumentException: Executor memory 456340275 must be at least 471859200 阅读全文
posted @ 2019-09-05 14:31 王者★孤傲 阅读(3463) 评论(0) 推荐(4) 编辑
摘要: 一、spark的命令行模式 1.第一种进入方式:执行 pyspark进入,执行exit()退出 注意报错信息:java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the (最大阈值)m 阅读全文
posted @ 2019-09-04 19:27 王者★孤傲 阅读(2935) 评论(0) 推荐(4) 编辑
摘要: 1、HDFS的高可用配置 dfs.namenode.edits.dir (NameNode 编辑目录) : 写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。 dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存 阅读全文
posted @ 2019-09-04 18:30 王者★孤傲 阅读(2892) 评论(0) 推荐(4) 编辑
摘要: 每个节点执行ntpstat 和 timedatectl 都显示同步并且时间相同,那么CDH才能正常使用。每次ntp服务同步到外部授时中心都要一段时间(5~10分钟),只有当NTP server(node1)节点和其他的NTP client(node2、node3)节点都显示同步成功之后,CM页面中的每台机器才不会报错。可通过timedatectl查看到当前节点是否同步成功:如果显示... 阅读全文
posted @ 2019-09-04 18:17 王者★孤傲 阅读(2463) 评论(0) 推荐(4) 编辑
摘要: 通过改善IFile阅读器的性能 IFile Reader,进而可改善随机处理程序并减少储备空间,达到MapReduce的配置最佳实践要求。而MapReduce shuffle的处理程序和IFile阅读器的使用通常调用本机Linux的Hadoop本机库。 首先改善IFile阅读器的性能要求启用IFile预读可提高合并操作的性能。要为MRv1或YARN启用此功能,请设置map... 阅读全文
posted @ 2019-09-04 18:09 王者★孤傲 阅读(2667) 评论(0) 推荐(4) 编辑
摘要: 将mysql 安装在单个Linux系统主机,并配置本地或远程(此处可仅单指局域状态下的环境)的无主机登录。谨记的是:操作完mysql 设置时,需以flush privileges进行权限刷新。小编亲测在mysql 数据库变成“砖头”而无法登录时,此法有效!1.安装MySQLyum install mysql-server 安装mysql-server服务端service mysq... 阅读全文
posted @ 2019-09-04 17:54 王者★孤傲 阅读(2080) 评论(0) 推荐(4) 编辑
摘要: 在进行MySQL与CM+CHD之间的应用配置时,发现此前对于MySQL的配置含义过于模糊,所以将CM+CHD集群所涉及MySQL方面的配置含义进行抽取并加以注释,方便此后的配置和使用。一、客户端设置,即客户端默认的连接参数port = 3306#默认连接端口socket = /usr/local/mysql/data/mysql.sock#用于本地连接的socket套接字default... 阅读全文
posted @ 2019-09-04 17:36 王者★孤傲 阅读(2175) 评论(0) 推荐(4) 编辑
摘要: 一、数据分析截图 本例实验,使用Weka 3.7对腾讯招聘官网中网页上所罗列的招聘信息,如:其中的职位名称、链接、职位类别、人数、地点和发布时间等信息进行数据分析,详见如下图: 图1-1 Weka 3.7分析界面图1-2 职位数据ZeroR分析界面图1-3 数据聚类分析界面图1-4 数据Visualize分析界面二、数据分析结论 由图2-1可知,随着应聘人数的不断增加,... 阅读全文
posted @ 2019-07-15 13:11 王者★孤傲 阅读(2043) 评论(0) 推荐(4) 编辑
摘要: 1.tencentSpider.py 2.items.py 3.main.py 4.middlewares.py 5.pipelines.py 6.settings.py 阅读全文
posted @ 2019-07-15 12:52 王者★孤傲 阅读(2224) 评论(1) 推荐(4) 编辑
摘要: 通过使Scrapy框架,进行数据挖掘和对web站点页面提取结构化数据,掌握如何使用Twisted异步网络框架来处理网络通讯的问题,可以加快我们的下载速度,也可深入接触各种中间件接口,灵活的完成各种需求,使得我们的爬虫更强大、更高效。 熟悉掌握基本的网页和url分析,同时能灵活使用Xmind工具对Python爬虫程序(网络爬虫)流程图进行分析。同时,使用Weka 3.7工具,... 阅读全文
posted @ 2019-07-15 12:42 王者★孤傲 阅读(2280) 评论(0) 推荐(4) 编辑
摘要: 一、数据分析截图(weka数据分析截图 ) 本例实验,使用Weka 3.7对豆瓣电影网页上所罗列的上映电影信息,如:标题、主要信息(年份、国家、类型)和评分等的信息进行数据分析,Weka 3.7数据分析如下所示:图1-1 数据分析主界面图1-2 OneR数据分析界面图1-3 ZeroR数据分析界面图1-4 Visualize数据分析界面二、数据分析结论:(将数据之间的关系用文字性描... 阅读全文
posted @ 2019-07-15 11:44 王者★孤傲 阅读(2006) 评论(0) 推荐(3) 编辑
摘要: 一、项目目录结构spiders文件夹内包含doubanSpider.py文件,对于项目的构建以及结构逻辑,详见环境搭建篇。二、项目源码1.doubanSpider.py# -*- coding: utf-8 -*-import scrapyfrom douban.items import DoubanItem#创建爬虫类class DoubanspiderSpider(scrapy.Spider)... 阅读全文
posted @ 2019-07-15 11:30 王者★孤傲 阅读(2006) 评论(0) 推荐(4) 编辑
摘要: 通过使Scrapy框架,掌握如何使用Twisted异步网络框架来处理网络通讯的问题,进行数据挖掘和对web站点页面提取结构化数据,可以加快我们的下载速度,也可深入接触各种中间件接口,灵活的完成各种需求,使得我们的爬虫更强大、更高效。 一、项目分析 豆瓣电影网页爬虫,要求使用scrapy框架爬取豆瓣电影 Top 250网页(https://movie.douban.com... 阅读全文
posted @ 2019-07-15 11:17 王者★孤傲 阅读(2350) 评论(0) 推荐(4) 编辑
摘要: 一、数据分析截图(weka数据分析截图 2-3个图,作业文字描述) 本次将所爬取的数据信息,如:房间数,直播类别和人气,导入Weka 3.7工具进行数据分析。有关本次的数据分析详情详见下图所示: 图1-1 数据分析Preprocess界面对于本例实验,以下将以直播类型为例分别进行分类和聚类运算,具体如下图所示:图1-2 ZeroR分类运算界面图1-3 EM聚类运算界面二、数据分析结... 阅读全文
posted @ 2019-07-15 10:53 王者★孤傲 阅读(2463) 评论(0) 推荐(4) 编辑
摘要: 要求编写的程序可爬取斗鱼直播网站上的直播信息,如:房间数,直播类别和人气等。熟悉掌握基本的网页和url分析,同时能灵活使用Xmind工具对Python爬虫程序(网络爬虫)流程图进行分析。 一、项目分析1. 网页分析 斗鱼直播网站按直播类型明显在网页上划分区域,同时在每一种类型区域中,视频标签框都将具有相同的class名称,如:直播房间的class名称为:ellipsis,... 阅读全文
posted @ 2019-07-15 10:33 王者★孤傲 阅读(2212) 评论(0) 推荐(4) 编辑
摘要: 要求编写的程序可获取任一贴吧页面中的帖子链接,并爬取贴子中用户发表的图片,在此过程中使用user agent 伪装和轮换,解决爬虫ip被目标网站封禁的问题。熟悉掌握基本的网页和url分析,同时能灵活使用Xmind工具对Python爬虫程序(网络爬虫)流程图进行分析。 一、项目分析 1. 网页分析 贴吧页面简洁,所有内容让人一目了然,使用起来也较其他... 阅读全文
posted @ 2019-07-15 09:42 王者★孤傲 阅读(2329) 评论(0) 推荐(4) 编辑
……