10 2019 档案
摘要：Mac下使用IDEA远程连接Hadoop调试MapReduce程序，参考网上博客，总会出现如题报错，下面是我在mac下的一种解决办法，可以参考。 前期准备 如果想远程调试，需要做一些准备工作，简单罗列下。 （1）在本地准备一份了hadoop(有博主直接从集群中copy一份)，设置环境变量。 （2）I
阅读全文
摘要：Linux下可以添加一次性计划任务和长期性计划任务，下面简单了解下，后面对构建自己的云主机上的项目可能会有帮助。 一次性计划任务 使用at 时间命令来设置一次性计划任务，at -l命令可以查看任务，atrm 任务序号可以删除任务。 交互式方式添加任务 默认就是交互式的方式，使用at 时间命令，在at
阅读全文
摘要：Shell是人和计算机之间交流的''翻译官''，通过Shell终端解释器，可以访问到系统内核的服务，Shell执行需要脚本解释器，以及一个编写脚本的工具，一般解释器使用/bin/bash，脚本工具使用vim。Shell跟其他编程语言一样，也支持参数和变量、流程控制、分支等特性，下面简单了解一下。 脚
阅读全文
摘要：参考博主''迹忆''的文章，对linux下命令判断的使用有了初步的认识，命令执行判断是使用&&和||将多条命令联系到一起，执行的时候会通过判断上一条命令的执行结果，来决定下一条命令的执行'命运'。 ?即上一条命令执行后的回传值，如果执行正确则返回0，如果执行错误则返回一个非0的数字。 &&和
阅读全文
摘要：Linux下将本来应该在屏幕输出的内容保存在其他的地方，如保存在硬盘中，这就是数据流重定向。 正确输出错误输出 执行一个命令正确后返回的即为标准正确输出，错误则为标准错误输出。 数据重导向 将正确输出和错误输出保存到文件为输出，将用户输入信息保存到文件为标准输入。 （1）标准输出，对应编号1，>为覆
阅读全文
摘要：Linux下使用rpm和yum都可以实现的软件的安装，一般rpm用于安装只有单个离线安装包的软件，yum用于安装有很多依赖的软件，它们的具体细节这里离暂时没做记录，先记录基本用法。 rpm rpm是redhat package manager的缩写，是红帽开发的一款包管理工具，它的前身是Debian
阅读全文
摘要：Linux下使用tar命令来进行打包和解压的操作，再搭配常见压缩算法，可以实现对文件的压缩打包解压缩，常见的压缩算法有gzip，bzip2，还有deflate、snappy等其他的，这里不做记录。 压缩 通过算法，将文件尺寸进行相应缩小，同时不损失文件内容。常用压缩算法如gzip和bzip2，使用压
阅读全文
摘要：Vim是Linux中一种重要的文本编辑工具，它有三种模式，有的分为命令模式、编辑模式和底行模式，也有分为一般模式，编辑模式和命令模式，其中后者的一般模式就相当于前者的命令模式，都是通过vim命令进入，后者的命令模式相当于前者的底行模式，都是通过: ? /三种方式进入的，下面按照后者划分方式整理下，以
阅读全文
摘要：Linux下有一些命令是可以用来查看计算机运行状态的，包括进程、CPU、内存、网络状态等，下面记录一下。 进程相关 程序被加载到内存中，需要有一个标识用来区分和其他程序的区别，这个东西叫做PID即进程id。除了PID外还有程序执行权限，程序执行需要的材料等信息也保存在了内存中，在linux中进程分为
阅读全文
摘要：linux有免密登录，这个功能在搭建hadoop集群时很有用，因为有了它远程启动集群或做其他操作就不需要一遍遍的输入密码了，参考博文下面记录一下。 公钥私钥对 linux下通过ssh-keygen -t rsa命令可以在本机生成一对公钥私钥对(使用的是rsa非对称加密算法，rsa是三个数学家的名字首
阅读全文
摘要：Linux下可以通过远程连接，访问另外一台服务器。出了在当前服务器内部拷贝文件外还可以跨服务器进行拷贝，最后了解下常用的下载工具wget。 远程连接 远程连接语法为ssh 用户名@被连接服务器ip，如下图使用node01(centos6.5)远程连接node03(centos7)，如果是第一次连接会
阅读全文
摘要：在使用VMware搭建linux虚拟机时，有三种网络连接方式可以选择，关于此类的博文特别多，自己结合理解简单记录下。 虚拟设备 首先是虚拟网卡，如下图所示是在win7→控制面板→网络和 Internet→网络连接下查看，前面两个就是虚拟网卡。 （1）VMware Network Adapter VM
阅读全文
摘要：Linux有用户和用户组的概念，为了区分不同用户和用户组对资源的利用管理''范围''，还需要配合Linux权限管理，下面简单记录下，以下操作全部基于centos6.5。 权限及其操作 权限一般有逻辑权限、物理权限，以及用户root权限的说法。 逻辑权限 随便打开一个文件或文件夹，使用ll命令后可以查
阅读全文
摘要：Linux是多用户操作系统，即多个用户可以在自己的权限范围内执行对系统资源的使用，多个用户之间互不干扰。window系统从win7以后也是多用户操作系统，直观上来看win7好像只是单用户，但是切换到guest用户后执行关机发现提示其他用户正在使用，这就是多用户的直观感受。 用户和用户组概念 与win
阅读全文
摘要：最近由于学习需要，需要在mac上安装linux，因此搜刮博客资料，选择Parallels+iTerm来安装连接centos7。其中Parallels是vmstation在mac上的替代，而iTerm则是xshell的替代，下面简单的配置一下。 Parallels安装centos7 （1）Parall
阅读全文
摘要：在整合SSM后测试事务，发现添加到service层的事务没有生效，后面参考博文，发现是是扫描包的时候，springmvc配置文件里也扫描了，然后spring配置文件中也扫描了，下面参考博文说springmvc扫描后的包事务会失效，验证是有这个影响。 只在SpringMVC中配置包扫描 测试只在Spr
阅读全文
摘要：IDEA整合SSM，有很多坑，这里记录一下，新建项目首先采用的普通Java Enterprise项目，后面使用Maven项目。 创建SSM项目前期搭建 （1）先创建一个Java Enterprise项目，一般是选择Spring来创建，并且会自动导包，这里使用另外一种方式来实现。 （2）创建完成后需要
阅读全文
摘要：调度器scheduler是yarn中重要角色之一，它负责分配container资源给application，有如下三种调度器可供配置选择，分别是FIFO Scheduler，Capacity Scheduler和Fair Scheduler，可以通过yarn site.xml配置自己的调度器。 FI
阅读全文
摘要：以MapReduce为例，提交一个MapReduce application的大致流程如下，其中Resource Manager简写为RM，Node Manager简写为NM，Application Master简写为AM。 提交application大致流程 （1）首先client里执行一个Map
阅读全文
