04 2017 档案
摘要：1、NAT模式； NAT模型:地址转换类型，主要是做地址转换，类似于iptables的DNAT类型，它通过多目标地址转换，来实现负载均衡； 特点和要求： 1、LVS（Director）上面需要双网卡：DIP(内网)和VIP（外网） 2、内网的Real Server主机的IP必须和DIP在同一个网络中
阅读全文
摘要：linux开启启动的程序一般放在/etc/rc.d/init.d/里面，/etc/init.d/是其软连接 mysql设为linux服务cp /usr/local/mysql5/share/mysql/mysql.server /etc/init.d/mysqldchkconfig --add mysqldchkconfig --level 2345 mysqld onchown mysql:my...
阅读全文
摘要：echo $PATHvar =aecho $varexport var1=11echo $var访问关系：whereis yum file /usr/bin/yumvi /usr/bin/python脚本：创建一个sh.sh #!/bin/bash 下面的语句用什么来解析echo $varvar1=12echo $var1sleep 10echo "hello"echo $var1sle...
阅读全文
摘要：yum通过仓库拉取，同时解决了依赖的问题。有仓库的都是通过社区来维护的，不同的发行版会有不同的社区来维护此时就是客户端和服务器的关系的问题了，yum会依赖一个配置文件，yum 的理念是使用一个中心仓库(repository)管理一部分甚至一个distribution 的应用程序相互关系，根据计算出来的软件依赖关系进行相关的升级、安装、删除等等操作，减少了Linux 用户一直头痛的dependenc...
阅读全文
摘要：重定向管道： ps -ef | grep bash 管道作为命令衔接的两个都写 ，一个到文件，一个到屏幕 tee null
阅读全文
摘要：jdk安装 yum install lrzsz -y1 上传：rz 2 解压：rpm -ivh jdk-7u67-linux-x64.rpm 3 配置环境变量： vi /etc/profile export JAVA_HOMR=/usr/java/jdk1.7.0_67 export PATH=$PATH:%JAVA_HOME%/bin 4 配...
阅读全文
摘要：wget wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。外文名wget类 别下载工具命令格式 [options] [URL]解 释从网络上自动下载文件的自由工具启动参数这一类参数主要提供软件的一些基本信息。-V,--...
阅读全文
摘要：1、树状目录结构图2、/目录目录描述/第一层次结构的根、整个文件系统层次结构的根目录。/bin/需要在单用户模式可用的必要命令（可执行文件）；面向所有用户，例如：cat、ls、cp，和/usr/bin类似。/boot/引导程序文件，例如：kernel、initrd；时常是一个单独的分区[6]/dev/必要设备, 例如：, /dev/null./etc/特定主机，系统范围内的配置文件。关于这个名称目...
阅读全文
摘要：•1945~1946 第一台电子计算机ENIAC–冯·诺依曼起草ENIAC(电子离散变量自动计算机)设计报告初稿，确定计算机的结构，采用存储程序以及二进制编码等，至今仍为电子计算机设计者所遵循。（广岛原子弹）•UNIX–1965~1969：贝尔实验室、通用电气、麻省理工学院开发MULTICS操作系统，多用户、多任务、多层次（美国登月，5次！）（1964我国第一颗原子弹！珠算！）–1970~197...
阅读全文
摘要：主引导记录主引导记录（Master Boot Record，缩写：MBR），又叫做主引导扇区，是计算机开机后访问硬盘时所必须要读取的首个扇区，它在硬盘上的三维地址为（柱面，磁头，扇区）＝（0，0，1）。在深入讨论主引导扇区内部结构的时候，有时也将其开头的446字节内容特指为“主引导记录”（MBR），其后是4个16字节的“磁盘分区表”（DPT），以及2字节的结束标志（55AA）。因此，在使用“主引导...
阅读全文
摘要：用户语 法：usermod [-LU][-c ][-d ][-e ][-f ][-g ][-G ][-l ][-s ][-u ][用户帐号]补充说明：usermod可用来修改用户帐号的各项设定。参 数： -c 修改用户帐号的备注文字。 -d登入目录> 修改用户登入时的目录。 -e 修改帐号的有效期限。 -f 修改在密码过期后多少天即关闭该帐号。 -g 修改用户所属的群组。 ...
阅读全文
摘要：需要折行时需要用转译符，转译回车，回车是提交命令 \ 如果你的命令中有单引号也可以 awk 支持C语言awk '{name[$1]=name[$1]+$2} END{for (i in name)print i "\t" name[i]}' awk.txt-F 分隔符BEGIN{cmd1;cmd2}{cmd1;cmd2}END{cmd1;cmd2}c语法格式：子定义...
阅读全文
摘要：1 在vm上面安装Linux系统1 以管理员的身份运行VMware: 点击VM图标然后右键属性 ，点兼容性 ---特权 等级 选择 以管理员的身份运行此软件 2 . 添加一个虚拟机 ：选择自定义 3 一直默认到安装客户机操作系统 4. 按照以下的界面选择 Linux 版本选择CentOS 64 位 5 ...
阅读全文
摘要：任何程序都是先写代码，拿到源码去编译得到一个目标程序。1 编译的过程复杂有需要准备编译的环境，和硬件有关，32位64位，内核的不同等等所以需要编译多次 Java特殊但是他需要安装jvm,2 各种版本的都编译了放那就是rpm（官网） windows上面是exe的文件 还是不够好,但是也会有一些失败,让你安装一些其他的软件,它有一定的依赖,比如依赖的库3 解决依赖用yum（仓库）y...
阅读全文
摘要：在父进程中fork一个子进程，在子进程中调用exec函数启动新的程序。exec函数一共有六个，其中execve为内核级系统调用，其他（execl，execle，execlp，execv，execvp）都是调用execve的库函数。 #include<unistd.h> 函数定义 int execve
阅读全文
摘要：HQL学习 1.hive的数据类型 2.hive_DDL 2.1创建、删除、修改、使用数据库 2.hive_DDL 2.1创建、删除、修改、使用数据库 Default数据库，默认的，优先级相对于其他数据库是最高的 2.2重点：创建表_内部表_外部表 hive通过sql来分析hdfs上结构化的数据，将
阅读全文
摘要：TF-IDF 1. 概念 2. 原理 3. java代码实现思路 数据集： 三个MapReduce 第一个MapReduce：（利用ik分词器，将一篇博文，也就是一条记录中的content进行词的拆分） 第一个MapReduce最终运行的结果： 1. 得到数据集中微博的总数； 2. 得到每个词在当前
阅读全文
摘要：ItemCF_基于物品的协同过滤 1. 概念 2. 原理 如何给用户推荐？ 给用户推荐他没有买过的物品--103 3. java代码实现思路 数据集： 第一步：构建物品的同现矩阵 第二步：构建用户的得分矩阵 第三步：同现矩阵*评分矩阵 第四步：拿到最终结果，排序，得到给用户的推荐列表 问题一：物品同
阅读全文
摘要：hbase性能调优案例 1、人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 1、人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 设计思路 person表
阅读全文
摘要：性能优化王道就是给更多资源！机器更多了，CPU更多了，内存更多了，性能和速度上的提升，是显而易见的。基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后， 进行性能调优的时候，首先第一步，我觉得，就是要来调节最优的资源配置；在这个基础之上， 如果说你的spar
阅读全文
摘要：Spark数据本地化-->如何达到性能调优的目的 1.Spark数据的本地化：移动计算，而不是移动数据 2.Spark中的数据本地化级别： TaskSetManager 的 Locality Levels 分为以下五个级别： PROCESS_LOCAL NODE_LOCAL NO_PREF RACK
阅读全文
摘要：Spark性能调优之合理设置并行度 1.Spark的并行度指的是什么？ spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！ 当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉
阅读全文
摘要：Spark Core 资源调度与任务调度（standalone client 流程描述） Spark集群启动： 集群启动后，Worker会向Master汇报资源情况（实际上将Worker的资源写入到Master的HashSet数据机构中） 一个 Worker 默认给一个 Application 启动
阅读全文
摘要：一、fork入门知识 一个进程，包括代码、数据和分配给进程的资源。fork（）函数通过系统调用创建一个与原来进程几乎完全相同的进程，也就是两个进程可以做完全相同的事，但如果初始参数或者传入的变量不同，两个进程也可以做不同的事。 一个进程调用fork（）函数后，系统先给新的进程分配资源，例如存储数据和
阅读全文
摘要：简介 strace常用来跟踪进程执行时的系统调用和所接收的信号。 在Linux世界，进程不能直接访问硬件设备，当进程需要访问硬件设备(比如读取磁盘文件，接收网络数据等等)时，必须由用户态模式切换至内核态模式，通 过系统调用访问硬件设备。strace可以跟踪到一个进程产生的系统调用,包括参数，返回值，
阅读全文
摘要：stat命令文件权限属性设置 stat命令用于显示文件的状态信息。 stat命令的输出信息比ls命令的输出信息要更详细。 语法 stat(选项)(参数) 选项 -L：支持符号连接； -f：显示文件系统状态而非文件状态； -t：以简洁方式输出信息； --help：显示指令的帮助信息； --versio
阅读全文
摘要：df 命令： linux中df命令的功能是用来检查linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。 1．命令格式： df [选项] [文件] 2．命令功能： 显示指定磁盘文件的可用空间。如果没有文件名被指定，则所有当前被挂载的文件系统
阅读全文
摘要：发现一台用户的电脑，df检查出来的/磁盘空间占用了16G，比用du查看得到的磁盘空间大的多，du查看/下所有程序目录加起来还不到5G。这是什么原因呢？ 即便是有隐藏文件，查了也很小啊。 因为df和du的统计机制不一样。 du会把指定目录下所有文件、目录、目录下的文件都统计。是建立在文件系统能看到的的
阅读全文
摘要：一般情况下，type命令被用于判断另外一个命令是否是内置命令，但是它实际上有更多的用法。 1.判断一个名字当前是否是alias、keyword、function、builtin、file或者什么都不是： type ls 的输出是 ls 是 `ls --color=auto' 的别名 type if
阅读全文
摘要：/binbin是binary的缩写。这个目录沿袭了UNIX系统的结构，存放着使用者最经常使用的命令。例如cp、ls、cat，等等。 /boot这里存放的是启动Linux时使用的一些核心文件。 /devdev是device（设备）的缩写。这个目录下是所有Linux的外部设备，其功能类似DOS下的.sy
阅读全文
摘要：主引导记录（Master Boot Record，缩写：MBR），又叫做主引导扇区，是计算机开机后访问硬盘时所必须要读取的首个扇区，它在硬盘上的三维地址为（柱面，磁头，扇区）＝（0，0，1）。在深入讨论主引导扇区内部结构的时候，有时也将其开头的446字节内容特指为“主引导记录”（MBR），其后是4个
阅读全文
