09 2019 档案
摘要：为开发和调试SPark应用程序设置的完整的开发环境。这里，我们将使用Java，其实SPark还支持使用Scala, Python和R。我们将使用IntelliJ作为IDE，因为我们对于eclipse再熟悉不过了，这里就使用IntelliJ进行练练手，所以我们也将使用Maven作为构建的管理器。在本篇
阅读全文
摘要：[英文] Bad command or file name [译文] 错误的命令或文件名 错误原因和解决: 这大概是大家最常见到的错误提示了，它的意思是输入的命令无效。当输入的命令既不是DOS内部命令，而且系统在查找路径或指定路径中找不到相应的可执行文件的话，就会出现此错误信息。您可以检查输入的命令
阅读全文
摘要：首先，Git是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。 Git 也是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。 Git 与常用的版本控制工具 CVS, Subversion 等不同，它采用了分布式版本库的方式，不
阅读全文
摘要：卷积神经网络，简称CNN，常用于视觉图像分析的深度学习的人工神经网络。形象地来说，这些网络结构就是由生物的神经元抽象拟合而成的。正如，每个生物神经元可以相互通信一般，CNN根据输入产生类似的通信输出。 若要论CNN的起源，那大概就是1980年代初了，随着最近技术的迅猛进步和计算能力的不断强大，CNN
阅读全文
摘要：在rhel7上，同时支持network.service和NetworkManager.service（简称NM）。默认情况下，这2个服务都有开启，但许多人都会将NM禁用掉。而在rhel8上，已废弃network.service，因此只能通过NM进行网络配置，包括动态ip和静态ip。换言之，在rhel
阅读全文
摘要：一、安装之前 Cloudera管理器的存储空间规划 ClouderaManager跟踪许多后台流程中的服务、作业和应用程序的指标。所有这些指标都需要存储。根据组织的大小，此存储可以是本地的或远程的，基于磁盘的，也可以是数据库中的，由您或其他团队在另一个位置管理。 大多数系统管理员都知道常见的位置，如
阅读全文
摘要：一、.需求分析 ( 可列出方法的署名和参数） 二、画对象联系图 (O-R图) 举例： 三、构建ORDB模式(ORDB模型) ORDB模型举例： 四、对象关系数据创建 1.类型创建 举例如下： 2.继承性创建 举例如下： 3.关系表创建 举例如下： 五、ＯＱＬ数据操作
阅读全文
摘要：实训项目 ： NOSQL数据库设计与应用实训 注释： Redis数据库编程项目示例及练习资源 项目源码获取： https://pan.baidu.com/s/19f0F7cmxHCII--T8arTaTQ 提取码： lmkr 截图：
阅读全文
摘要：Redis数据库之经典考核习题-题目 一、Redis数据库安装 要求每个学生首先对数据库进行安装,并最终能使用客产端进行数据库的登录。 二、数据库启动文件参数调整 假设数据库服务器默认端口6379已经有人使用，要求重新进行调整端口为6380，并将客户端连接超时设为300秒实现自动断开。 三、数据库分
阅读全文
摘要：目的 主要培养对分布式REDIS主从复制架构运用的能力。理解并掌握REPLICATION工作原理的同时，能独立配置Replication ，使数据库运行在主从架格上。针对主从复制架构的运用，着力掌握SLAVEOF端口的修改方法。 操作 1、配置SLAVE。 将SLAVEOF端口改为非默认的6380,
阅读全文
摘要：目的 了解并掌握各种数据类型的命令操作方式，以及各种数据类型值的操作方式。同时，主要培养对KEY的操作命令运用的能力。重点掌握对KEY信息的管理、事务常规管理和事务回滚操作。 KEYS命令的练习,对KEY信息的管理。 KEYS pattern RENAME DEL EXISTS MOVE RENAM
阅读全文
摘要：了解并掌握各种数据类型的命令操作方式，以及各种数据类型值的操作方式。同时，熟练记忆列表、哈希、集合和有序集合等数据类型的常用操作命令。能根据指令格式完成相应的指令操作。 ①string数据类型的练习 APPEND KEY VALUE GETRANGE KEY START END SETRANGE K
阅读全文
摘要：主要培养自我对Redis数据库安装能力, 并且进行个性化的数据库配置。掌握本实验的重点，即在于数据库的安装与启动参数的配置。同时，理解NOSQL数据库的体系结构。 ①下载Redis安装包进行数据库平台的安装 注意分区的空间是否满足数据库安装的最低要求，注意数据库用量的扩展性。（此步略） ②使用Red
阅读全文
摘要：首先，需要你进入你的Redis解压根目录，例如，类似于我下图的这样子： 接着打开你的cmd，使用cd命令切换到该目录，或者直接在上图的地址栏输入“cmd”并回车。这里为什么让你先使用资源管理器找到你的Redis解压根目录呢？目的是为了让你快速打开该目录下的提示符。在cmd中输入如下代码，并按回车：
阅读全文
摘要：一、类的声明 类的声明由简单地三部分组成,就是关键字Class、类的名称、类的特性(property)表: Class <name>{ <list of property> } 同时，在ODL中,类的属性、方法和类之间的联系称为类的特性 二、属性 属性声明也是由三部分组成，即关键字attribute
阅读全文
摘要：对象与文字 文字也是一个对象，有原子文字、构造文字。 类型、类和接口 类型：具有所涉及的方法及该方法的所有实现。 类：具有所涉及方法及该方法的一种或几种实现。 接口：外部说明是对象的抽象行为的详细描述，它指定了用来指定操作名、参敬型和返回值。不具备具体的实现方法。 类的创建(考点) ODMG结构：属
阅读全文
摘要：关系数据库的缺陷 面向对象技术可以对常规面向记录的数据格式进行复杂语义结构描述。在抽象层面上进行结构和行为封装的复杂对象建模，提供可靠的安全性保障。（可以使用类进行封装） 解决阻抗不匹配的方法 问题： ·对象和元组技术转换在类型系统之外进行，会出现转换错误风险及数据安全性问题。 ·对象和元组技术转换
阅读全文
摘要：绪论 最近忙于对微商城用户的数据进行冗余分离，数据处理过程枯燥乏味，于是乎心里便想着能不能适当偷偷懒呢？答案当然是不切实际的，因为分离处理必须要有人员进行跟踪监视，也正是因为数据容易存在析出不彻底的现象，而对于这种现象所导致的结果，却恰恰需要进行人工的二次处理。简直可以称得上是令人焦头烂额、一筹莫展
阅读全文
摘要：实训项目 ： 小型APP系统开发与应用项目实训 项目成品名称： 果乐多商城 项目源码获取： https://pan.baidu.com/s/18Ao3CD6incpu4TKhnj7tlA 提取码：3j56 截图：
阅读全文
摘要：实训项目 ： Android系统开发实务实训 项目成品名称： 绝地坦克 项目源码获取： https://pan.baidu.com/s/1uHwmhxDDm90napWOBL7Lbw 提取码：az55 《绝地坦克》是一款坦克大战类型的javascript网络游戏，本游戏项目运行说明可分为三个方向：说
阅读全文
摘要：实训项目 ： 云平台构架实训 项目源码获取： https://pan.baidu.com/s/1chur51w8FjBzDqphBHOpfQ 提取码：6rr6 可将本运行说明分为三个方向：说明运行的项目是什么、如何运行，以及运行该项目有何意义？其中运行的是什么包括：项目说明与功能分析；如何运行主要包
阅读全文
摘要：中软国际《分布式计算框架》机试题 实训项目 ： 数据挖掘——流数据分析实训 项目源码获取： https://pan.baidu.com/s/1glq3tKyl3InURMrjeVCa7g 提取码：zaj5 注意事项：考试时间120分钟，满分100分。请创建以自己姓名命名的文件夹，并创建以题号命名的子
阅读全文
摘要：1.正则规则： 1.String regex = "[1-9]" 表示单个字符的取值范围是 1~9，注意是单个字符的取值范围 2.String regex = "\\d" "\d"表示单个字符的类型是整型数字，注意是单个字符的取值范围 String regex = "\\D" "\D...
阅读全文
摘要：1、窗体（Form）1、常用属性（1）Name 属性：用来获取或设置窗体的名称，在应用程序中可通过Name 属性来引用窗体。（2） WindowState 属性： 用来获取或设置窗体的窗口状态。取值有三种： Normal （窗体正常显示）、Minimized（窗体以最小化形式显示）和Maximized（窗体以最大化形式显示）。（3）StartPosition 属性：用来获取或设置运行时窗体的起始位...
阅读全文
摘要：角色安装hdfs配置yarn配置hdfs 格式化启动yarn服务启动hdfs服务masteryum install hadoop-hdfs-namenodeyum install hadoop-yarn-resourcemanagercore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlhdfs>hdfs namenode -formatroo...
阅读全文
摘要：0.1 安装python软件 32位机的电脑安装python-3.6.3.exe 64位机的电脑安装python-3.6.3-amd64.exe 0.1.1 python环境搭建 执行安装程序 选择Add Python 3.6 to PATH，然后点击Customize installation 确保所有的选项都被...
阅读全文
摘要：一、实验目的1．掌握Linux下网络参数的查看方法并理解网络参数的含义。2．掌握Linux下网络参数的配置二、实验内容1．查看当前网络配置的参数。2．在Linux主机中将网络参数按以下要求设置： IP地址：192.168.10.x（x为2～254） 子网掩码：255.255.255.0 网关：192.168.10.1 3．定义系统启动时启动该网络接口。4．定义用户是否可以启动该网络接口三、实验平台...
阅读全文
摘要：一、实验目的1．了解Webmin管理工具的功能。2．掌握Webmin的安装。3．掌握Webmin管理工具的使用二、实验内容1．下载Webmin安装包。2．在Linux主机中安装Webmin管理工具。3．启动Webmin服务并登录到管理界面。4．设置中文支持，并通过Webmin管理用户和硬件资源。三、实验平台1．实验工具： Vmware。2． 实验设备： 已安装Red Hat Linux 5.0（ ...
阅读全文
摘要：一、实验目的1．理解虚拟内存、磁盘缓存的概念。2．掌握基本的内存管理知识。3．掌握查看实时查看内存、内存回收的方法二、实验内容1． 监控内存使用情况2． 检查和回收内容三、实验平台1．实验工具： Vmware。2． 实验设备： 已安装Red Hat Linux 5.0（ 或红旗Linux、 Slackware Linux） 的微型计算机。四、实验步骤 1． 监控内存使用情况用“free”命令监控内...
阅读全文
摘要：一、实验目的1．熟悉和理解进程和进程树的概念，掌握有关进程的管理机制。2．了解进程与程序、并行与串行执行的区别。3．掌握使用Linux命令管理和操作进程的方法二、实验内容1. 用ps命令观察Linux正在运行的进程2. 用kill命令删除进程3. 设置和更改进程的优先级4. 定时执行程序5. 在GNOME图形用户界面下监视系统的进程三、实验平台1．实验工具： Vmware。2． 实验设备： 已安装...
阅读全文
摘要：一、实验目的1．掌握为root用户修改密码的方法。2．掌握创建新用户的方法。3．掌握用户组的管理方法。4．掌握为用户授权的方法。二、实验内容1．Linux的用户管理（1）创建新用户创建新用户命令：useradd。（2）删除用户2．Linux的用户组管理（1） 创建组在Linux 中可以创建一个组，然后将成员添加到这个组的列表中。可以以组为单位来分配资源。隶属于同一个组的成员可以访问同一资源。创建组...
阅读全文
摘要：一、实验目的1．学会不同Linux用户登录的方法。2．掌握常用Linux命令的使用方法。3．了解Linux命令中参数选项的用法和作用。二、实验内容1． 文件操作命令（1） 查看文件与目录（2） 显示文件内容命令（cat）（3） 文件复制命令（cp）（4） 文件改名命令（mv）（5） 删除文件命令（rm）（6） 文件查询命令用 grep 命令在2． 目录操作命令的使用（1）改变当前目录命令（cd）和...
阅读全文
摘要：一、实验目的 1．了解Linux操作系统的启动与登录方法。 2．掌握Red Hat Linux图形用户界面下的基本操作。 3．学会Red Hat Linux基本设置。二、实验内容1． 登录2． 创建用户账号（1） 在图形界面中创建用户账号（2） 在字符状态下创建用户账号3. 运行应用程序4. 退出系统三、实验平台1．实验工具：Vmware。2．实验设备：已安装Red Hat Li...
阅读全文
摘要：一、实验目的 1．了解Linux操作系统的发行版本。 2．掌握Red Hat Linux 9.0的安装方法。 （可用Red Hat Linux 5.0版本替代9.0版本） 3．了解Linux其他版本（红旗Linux或Slackware Linux）的安装方法。二、实验内容 1. 安装及配置VMWare(系统已安装，则此步跳过) 1)、完成新建虚拟机向导；...
阅读全文
摘要：对现实世界各类数据的抽象组织，确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。将经过系统分析后抽象出来的概念模型转化为物理模型后，在visio等工具建立数据库实体以及各实体之间关系的过程。一、主要内容 本例实验具体可细分为总体可行性分析、技术可行性分析、经济可行性分析和社会可行性分析，具体详见实验步骤。二、实现平台 系统平台：略三、具体内容 ...
阅读全文
摘要：数据流图（DFD）是结构化系统分析方法的主要表达工具，数据流图，主要是为了说明在一个项目中，数据的处理与流动情况。 数据流图的基本组成成分包括了数据流、加工、数据存储和外部实体，用来描绘软件系统逻辑模型的图形工具，它描绘信息和数据从输入到输出的过程中所经历的一切。对于本例实验而言，将大大简化工程研发思维等重要步骤。一、主要内容 本例实验具体包含了系统的顶层数据流图...
阅读全文
摘要：可行性分析是通过对项目的主要内容和支配条件，从技术、经济、社会等方面进行调查研究和分析比较，并对项目建成以后可能取得的财务、经济效益及社会环境影响进行预测，从而提出该项目是否值得投资和如何进行建设的咨询意见，为项目决策提供依据的一种综合性的系统分析方法。可行性分析应具有预见性、公正性、可靠性、科学性的特点。 可行性研究的根本目的是实现项目决策的科学化、民主化，减少或避免投资...
阅读全文
摘要：需求分析是软件计划阶段的重要活动，也是软件生存周期中的一个重要环节，该阶段是分析系统在功能上需要“实现什么”，而不是考虑如何去“实现”。需求分析的目标是把用户对待开发软件提出的“要求”或“需要”进行分析与整理，确认后形成描述完整、清晰与规范的文档，确定软件需要实现哪些功能，完成哪些工作。 一、主要内
阅读全文
摘要：Linux内核版本有两种：稳定版和开发版 ，Linux内核版本号由3组数字组成：第一个组数字.第二组数字.第三组数字。第一个组数字：目前发布的内核主版本。第二个组数字：偶数表示稳定版本；奇数表示开发中版本。第三个组数字：错误修补的次数。 如：Linux 2.6.34 major 。 第一个组数字:
阅读全文
摘要：执行 impala-shell 即能进入界面操作sql。如果在hive更新了数据之后，而在impala中却无法看到更新后的数据的话，意味着impala里元数据信息还没有刷新，此时在impala操作界面里 执行 invalidate metadata; 命令刷新元数据。 use rimengshe;
阅读全文
摘要：一、.hbase与hive的兼容版本： hive0.90与hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容，不需要自己编译。 hive1.x与hbase0.98.x或则更低版本是兼容的，不需要自己编译。 hive2.x与hbase1.x及比hbase1.x更高版本兼容
阅读全文
摘要：错误1： ERROR client.RemoteDriver: Failed to start SparkContext: java.lang.IllegalArgumentException: Executor memory 456340275 must be at least 471859200
阅读全文
摘要：一、spark的命令行模式 1.第一种进入方式：执行 pyspark进入，执行exit()退出 注意报错信息：java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the (最大阈值)m
阅读全文
摘要：1、HDFS的高可用配置 dfs.namenode.edits.dir (NameNode 编辑目录) : 写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。 dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存
阅读全文
摘要：每个节点执行ntpstat 和 timedatectl 都显示同步并且时间相同，那么CDH才能正常使用。每次ntp服务同步到外部授时中心都要一段时间(5~10分钟)，只有当NTP server(node1)节点和其他的NTP client(node2、node3)节点都显示同步成功之后，CM页面中的每台机器才不会报错。可通过timedatectl查看到当前节点是否同步成功：如果显示...
阅读全文
摘要：通过改善IFile阅读器的性能 IFile Reader，进而可改善随机处理程序并减少储备空间，达到MapReduce的配置最佳实践要求。而MapReduce shuffle的处理程序和IFile阅读器的使用通常调用本机Linux的Hadoop本机库。 首先改善IFile阅读器的性能要求启用IFile预读可提高合并操作的性能。要为MRv1或YARN启用此功能，请设置map...
阅读全文
摘要：将mysql 安装在单个Linux系统主机，并配置本地或远程(此处可仅单指局域状态下的环境)的无主机登录。谨记的是：操作完mysql 设置时，需以flush privileges进行权限刷新。小编亲测在mysql 数据库变成“砖头”而无法登录时，此法有效！1.安装MySQLyum install mysql-server 安装mysql-server服务端service mysq...
阅读全文
摘要：在进行MySQL与CM+CHD之间的应用配置时，发现此前对于MySQL的配置含义过于模糊，所以将CM+CHD集群所涉及MySQL方面的配置含义进行抽取并加以注释，方便此后的配置和使用。一、客户端设置，即客户端默认的连接参数port = 3306#默认连接端口socket = /usr/local/mysql/data/mysql.sock#用于本地连接的socket套接字default...
阅读全文
