随笔分类 -  Linux or 工具功能

摘要:不太理解为何中文技术博客搜不到这个问题的答案。。 其实 crontab 可以直接指定使用什么 shell 因为会用到 source 的关系所以我们可以先制定 shell 为 bash SHELL=/bin/bash 既不需要自己去建 shell 脚本指定 #!/bin/sh 也不需要在要执行的命令前 阅读全文
posted @ 2022-03-07 15:53 piperck 阅读(968) 评论(0) 推荐(0) 编辑
摘要:前言¶ 相同目标 ip 和相同目标端口下的端口数量限制¶ 相同目标 ip 不同目标端口¶ 多个目标 ip 相同目标端口¶ 多个目标 ip 不同目标端口¶ 总结¶ 参考资料¶ 前言 网上关于 net.ipv4.ip_local_port_range 的值的效果众说纷纭(下面所说的连接都假定使用的是相同 阅读全文
posted @ 2020-06-10 19:31 piperck 阅读(4868) 评论(0) 推荐(0) 编辑
摘要:今天继续拜读「深入浅出计算机组成原理」专栏,觉得讲 IO_WAIT 这篇很有意思,正好可以结合前面的一篇讲物理硬件存速度的一块儿看。 现在我们看硬盘厂商出品的性能报告,通常会看到两个指标,一个是响应时间(Response Time) 另外一个是 数据传输速率 (Data Transfer Rate) 阅读全文
posted @ 2019-09-26 15:32 piperck 阅读(1991) 评论(0) 推荐(1) 编辑
摘要:本文探讨Linux中主要的几种零拷贝技术以及零拷贝技术适用的场景。为了迅速建立起零拷贝的概念,我们拿一个常用的场景进行引入: 引文## 在写一个服务端程序时(Web Server或者文件服务器),文件下载是一个基本功能。这时候服务端的任务是:将服务端主机磁盘中的文件不做修改地从已连接的socket发 阅读全文
posted @ 2019-07-02 19:31 piperck 阅读(438) 评论(0) 推荐(0) 编辑
摘要:常用命令 使某服务自动启动 systemctl enable httpd.service 使某服务不自动启动 systemctl disable httpd.service 检查服务状态 systemctl status httpd.service (服务详细信息) systemctl is-act 阅读全文
posted @ 2019-05-30 18:20 piperck 阅读(1792) 评论(0) 推荐(0) 编辑
摘要:事故的起因是因为当我访问某个数据库的某个表的时候,MySQL 立即出现崩溃并且去查看 MySQL 的错误日志出现类似信息 可以注意到这里就是 MySQL innodb 的数据发生了损坏。可以看到日志的最下面其实这里就是给出的是可能造成崩溃的 query 这里我们可以看到是要因为对 desktop_d 阅读全文
posted @ 2019-05-10 15:55 piperck 阅读(1299) 评论(0) 推荐(0) 编辑
摘要:为什么要用xargs,问题的来源 在工作中经常会接触到xargs命令,特别是在别人写的脚本里面也经常会遇到,但是却很容易与管道搞混淆,本篇会详细讲解到底什么是xargs命令,为什么要用xargs命令以及与管道的区别。为什么要用xargs呢,我们知道,linux命令可以从两个地方读取要处理的内容,一个 阅读全文
posted @ 2019-03-20 16:26 piperck 阅读(308) 评论(0) 推荐(0) 编辑
摘要:Linux下的文件权限 在linux下每一个文件和目录都有自己的访问权限,访问权限确定了用户能否访问文件或者目录和怎样进行访问。最为我们熟知的一个文件或目录可能拥有三种权限,分别是读、写、和执行操作,在这里不做详细说明。我们创建一个文件后系统会默认地赋予所有者读和写权限。当然我们也可以自己修改它,添 阅读全文
posted @ 2019-03-14 11:53 piperck 阅读(416) 评论(0) 推荐(0) 编辑
摘要:集群搭建完成之后其实还有很多配置工作要做,这里我列举一些我去做的一些。 首先是去把 zk 的角色重新分配一下,不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点。去将 zk 角色调整到三个节点。 上一张目前的角色图 下面我将分别列出各应用的各个简写代表的意义: Hbase 阅读全文
posted @ 2018-11-14 12:05 piperck 阅读(606) 评论(0) 推荐(0) 编辑
摘要:这次搭建我使用的机器 os 是 Centos7.4 RH 系的下面以流的方式纪录搭建过程以及注意事项 Step1: 配置域名相关,因为只有三台机器组集群,所以直接使用了 hosts 的方法: Step2: 关闭防火墙 Step3: 启动 NTP 服务 所有机器完成上面配置之后,我们开始进入安装的步骤 阅读全文
posted @ 2018-11-12 01:58 piperck 阅读(11309) 评论(0) 推荐(2) 编辑
摘要:从这一篇文章开始会有三篇文章依次介绍集群搭建 「Before install」 「Process」 「After install」 继上一篇使用 docker 部署单机 CDH 的文章,当我们使用 docker 评估完相关组件和一些功能之后,接下来就是使用 CDH express 版本来搭建集群。 阅读全文
posted @ 2018-11-11 17:21 piperck 阅读(1852) 评论(0) 推荐(0) 编辑
摘要:想用 CDH 大礼包,于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用。其实操作的流和使用到的命令差不多就一并说了: 首先前往官方下载包: https://www.cloudera.com/downloads/quickstart_vms/5-13.html 如果使用 mac 并 阅读全文
posted @ 2018-11-06 18:38 piperck 阅读(22702) 评论(7) 推荐(0) 编辑
摘要:在 UNIX® 环境中,文件无处不在,这便产生了一句格言:“任何事物都是文件”。通过文件不仅仅可以访问常规数据,通常还可以访问网络连接和硬件。在有些情况下,当您使用 ls 请求目录清单时,将出现相应的条目。在其他情况下,如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字,不存在相应的目 阅读全文
posted @ 2018-10-22 21:55 piperck 阅读(497) 评论(0) 推荐(0) 编辑
摘要:自从从使用 debian 系的 apt-get 转到使用 yum 工具之后一直不是很习惯,也没有去看过很多工具包安装的时候到底影响到了哪些文件等。这次借这次社区版 MySQL 安装来一并梳理一下。 首先我们前往 https://dev.mysql.com/downloads/repo/yum/ 下载 阅读全文
posted @ 2018-10-10 17:50 piperck 阅读(10290) 评论(0) 推荐(0) 编辑
摘要:目前我们在使用 Maxwell 在读线上机器的 binlog 同步我们的离线数据库。 这次错误定位上,首先线要确定问题是发生在生产者 还是队列 还是消费者。经过查看各机器上任务的运行日志,定位到了问题出在了任务的生产者上。 于是我试图去调看生产者上的 Maxwell 日志。之前一直跑得好好的 Max 阅读全文
posted @ 2018-06-04 20:33 piperck 阅读(2662) 评论(9) 推荐(0) 编辑
摘要:Postfix 可以很方便的在一台机器上部署 smtp 服务,在 centos 上来说的话可以使用: 可以通过访问 cd /etc/postfix/ 查看配置下面有些什么东西: 主要需要去配置一下 main.cf 我们需要关注: 这里配置 hostname 需要配下另外还需要配置一下主域名: 将接收 阅读全文
posted @ 2018-06-02 22:38 piperck 阅读(1451) 评论(0) 推荐(0) 编辑
摘要:来到了新公司上班,首先就是得把自己的环境给搭起来。知乎使用了buildout作为python项目的构建工具。 那么什么是 buildout ? buildout的是一款自动化构建工具。由Zope团队开发维护。包名为zc.buildout。 buildout可以为应用构建独立的依赖环境。类似于virt 阅读全文
posted @ 2017-11-20 16:47 piperck 阅读(8277) 评论(0) 推荐(1) 编辑
摘要:先备份一波这个配置。 首先为服务器设置监听端口,然后是服务的域名。 location的具体用法在这里要展开说一下,因为实在太常用到了。 这里分别是4个语法 1. 精确匹配。 2. 正则表达式匹配。 3. 正则表达式不区分大小写匹配。 4. ^~ 开头表示uri以某个常规字符串开头,理解为匹配url路 阅读全文
posted @ 2017-06-22 17:39 piperck 阅读(56506) 评论(4) 推荐(1) 编辑
摘要:这里分两种情况,这两种情况都涉及到公钥加密的概念。 由于公钥加密概念作为基础就不在本文进行讨论了。 使用ssh对远程服务器进行密码登录发生了什么: 客户端通过ssh连接服务器 1. 首先服务器把自己的公钥发给客户端,客户端将自己的登录密码通过服务器发给自己的公钥进行加密。然后发送给服务器。 2. 服 阅读全文
posted @ 2017-06-05 15:33 piperck 阅读(536) 评论(0) 推荐(0) 编辑
摘要:在benchmarked写的服务器的时候就遇到了too many file open 这个报错。 由于遇到过很多次了,所以知道应该是单机fd打满了。 首先来看看 机器最多支持多少fd 通过上面的命令可以看到机器现在一个session 最多可以支持打开多少fd。我的机器上现在能看到的最大值是6w多个 阅读全文
posted @ 2017-02-24 23:44 piperck 阅读(548) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示