随笔分类 - [702]Linux
基础知识
摘要：今天在公司使用LS调度系统（百度内部的工具），执行远程脚本的时候，每次都失败。 脚本内容比较简单，其实就是将HDFS（AFS）中的数据插入到Palo（Doris）数据库中，脚本如下： 我开始一直以为是我脚本的问题，一直在远程开发机测试这段脚本，发现可以正确执行，但是通过调度系统调度就会失败。 开始没
阅读全文
摘要：准备： CentOS 6.4系统 Python-3.6.5.tgz 下载地址： 官网：https://www.python.org/downloads/release/python-365/ 镜像：http://npm.taobao.org/mirrors/python/ 第一步：解压 tar -z
阅读全文
摘要：如果Nginx没有仅仅只能代理一台服务器的话，那它也不可能像今天这么火，Nginx可以配置代理多台服务器，当一台服务器宕机之后，仍能保持系统可用。具体配置过程如下： 1. 在http节点下，添加upstream节点。 upstream linuxidc { server 10.0.6.108:708
阅读全文
摘要：问：epoll 或者 kqueue 的原理是什么？为什么 epoll 和 kqueue 可以用基于事件的方式，单线程的实现并发？我没看过 linux 内核，对这方面一直有疑问…… 必须从很多基础的概念开始构建这个答案，并且可能引申到很多别的问题。 首先我们来定义流的概念，一个流可以是文件，socke
阅读全文
摘要：Windows: 以端口8080为例： 1.查找对应的端口占用的进程：netstat -aon|findstr "8080" ，找到占用8080端口对应的程序的PID号： 2.根据PID号找到对应的程序：tasklist|findstr "PID号" ，找到对应的程序名 3.结束该进程：taskki
阅读全文
摘要：在做Hadoop数据挖掘项目的时候，我们第一步是源数据的获取，即把相应的数据放置到HDFS中，以便Hadoop进行计算，手动将文件上传到HDFS中，未免太费时费力，所以我们可以采取像Flume一样的框架，或者采用Shell脚本进行文件的上传。下面主要提供Shell脚本的大致写法，仅供参考，可以根据不
阅读全文
摘要：Linux 中经常使用到一个命令，如 make && make install，这里也可以使用 make ; make install，那么在 Linux 中执行命令 ; 和 && 有何区别？ 同时执行多条命令，我们通过多重命令方式进行处理。多命令执行包括';'和'&&'命令，这样shell就可以一
阅读全文
摘要：在实际项目中，我们经常用到需要自动化部署软件的情况，这种情况下，我们就不能人为地在命令行下敲击命令了，一切都需要通过shell脚本自动化完成。所谓自动化完成，其实也就是通过写shell程序，模拟人为敲击linux指令，这样一来，所有的指令一气呵成，方便自动化部署。 我们以一个简单的例子进行说明： 需
阅读全文
摘要：作为一个计算机专业的科班，不会玩Linux怎么能行呢？玩Linux用可视化界面显得太low了，为了效（zhuang）率（bi），当然要用什么都用指令啊，可是指令太多了啊，现在就把平时遇到的高频的指令做一个小结吧。 1. 常用命令 1.进入到用户根目录cd ~ 或 cd 2.查看当前所在目录pwd 3
阅读全文
摘要：突然，想搭建一个个人博客，所以就在网上搜了搜相关内容，好多人推荐wordpress，那么就打算光荣地采用wordpress了。以下是安装过程中遇到的所有的坑，现在总结如下，希望给安装wordpress的人一点参考。 推荐阿里云的建站步骤详解：阿里云wordpress教程 1. 安装步骤详解 环境 服
阅读全文
摘要：参考百度经验：http://jingyan.baidu.com/article/b907e627b0e3b846e7891cc9.html 首先看报错窗口。 首先看报错窗口。 经查阅，错误原因是：本地IP（xxx.xxx.xxx.xxx）没有访问远程数据库的权限。 于是下面开启本地IP（xxx.xx
阅读全文
摘要：1、添加用户，首先用adduser命令添加一个普通用户，命令如下： #adduser tommy //添加一个名为tommy的用户#passwd tommy //修改密码Changing password for user tommy.New UNIX password: //在这里输入新密码Ret
阅读全文
摘要：一般来说著名的linux系统基本上分两大类： 1.RedHat系列：Redhat、Centos、Fedora等 2.Debian系列：Debian、Ubuntu等 RedHat 系列 1 常见的安装包格式 rpm包,安装rpm包的命令是“rpm -参数” 2 包管理工具 yum 3 支持tar包 D
阅读全文
摘要：安装MySQL主要有两种方法：一种是通过源码自行编译安装，这种适合高级用户定制MySQL的特性，这里不做说明；另一种是通过编译过的二进制文件进行安装。二进制文件安装的方法又分为两种：一种是不针对特定平台的通用安装方法，使用的二进制文件是后缀为.tar.gz的压缩文件；第二种是使用RPM或其他包进行安
阅读全文
摘要：1. 前提 部署全分布式环境，我们肯定不能在一台服务器上了，这里我用了7台服务器，在VMware上开了7个虚拟机，如下图所示： 我基本配置了一晚上才搞定，第一次配置一般都有错，这时候不妨去到hadoop的logs文件夹下查看日志，如果实在找不出来，索性把所有hadoop文件删掉，重新安装。 hado
阅读全文
摘要：进入vi的命令 vi filename :打开或新建文件,并将光标置于第一行首 vi n filename ：打开文件,并将光标置于第n行首 vi filename ：打开文件,并将光标置于一行首 vi /pattern filename：打开文件,并将光标置于第一个与pattern匹配的串处 vi
阅读全文
摘要：1. 准备Linux环境 提示：我用的系统是CentOS 6.4。 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -
阅读全文
摘要：修改myeclipse.ini文件， -Xmx512m-XX:MaxPermSize=512m-XX:ReservedCodeCacheSize=256m-Dosgi.nls.warnings=ignore 把内存分配调大一些，不要担心myeclipse真的会使用过多内存，这个软件是十分负责的，不是
阅读全文
摘要：Linux下执行.sh文件有两种情况： 一、直接./加上文件名.sh，如运行hello.sh为./hello.sh【hello.sh必须有x权限】 二、直接sh 加上文件名.sh，如运行hello.sh为sh hello.sh【hello.sh可以没有x权限】 Linux下的执行程序路径是由$PAT
阅读全文
摘要：当有多个网卡的时候，我们需要进行相关的配置。 一、如何改变网卡的名字？ 修改/etc/udev/rules.d/70-persistent-net.rules 进去之后的效果是 根据mac地址，把没用的删掉就行，NAME改成你想要的。重启之后网卡名称就改过来了。 二、如何配置/etc/sysconf
阅读全文