随笔分类 - linux
摘要：查看磁盘 [ops@stock_kline_database ~]$ sudo fdisk -l 磁盘 /dev/sda：42.9 GB, 42949672960 字节，83886080 个扇区 Units = 扇区 of 1 * 512 = 512 bytes 扇区大小(逻辑/物理)：512 字节
阅读全文
摘要：查看一下pssh命令的帮助文档： -h：参数指定主机的文件，主机文件格式如下： -A： 交互输入密码， -i命令，上面的解释不太清楚，测试如下： 批量修改密码： pscp.pssh命令与pslurp命令，一个把本地文件传送到远程主机，一个是把远程主机文件垃下来。 pnuke kill远程机器的进程
阅读全文
摘要：再说复制Kafka 的复制机制和分区的多副本架构是Kafka 可靠性保证的核心。把消息写入多个副本可以使Kafka 在发生崩愤时仍能保证消息的持久性。Kafka 的主题被分为多个分区，分区是基本的数据块。分区存储在单个磁盘上，Kafka 可以保证分区里的事件是有序的，分区可以在线（可用），也可以离线
阅读全文
摘要：摘自： 《kafka权威指南》 集群间成员关系 Kafka 使用Zoo keeper 来维护集群成员的信息。每个broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker 启动的时候，它通过创建临时节点把自己的ID 注册到Zookeeper 。Kafka 组件订
阅读全文
摘要：在上一篇文章中说明了kafka-python的API使用的理论概念，这篇文章来说明API的实际使用。 在官方文档详细列出了kafka-python的API接口https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html
阅读全文
摘要：kafka系列文章之python-api的使用。 在使用kafka-python时候需要注意，一定要版本兼容，否则在使用生产者会报 无法更新元数据的错误。 在本片测试中java版本为如下，kafka版本为0.10.0，kafka-python版本为1.3.1，目前最新的版本为1.4.4 从官网下载k
阅读全文
摘要：在使用kafka时，有时候为验证应用程序，需要手动读取消息或者手动生成消息。这个时候可以借助kafka-console-consumer.sh和kafka-console-producer.sh 这两个工具，它们包装了java客户端，让用户不需要编写整个应用程序就可以与kafka主题发生交互。 生产
阅读全文
摘要：盗链是一种损害原有网站合法权益，给原网站所在服务器造成额外负担的非法行为。 盗链的实现原理： 客户端向服务器请求资源时，为了减少网络带宽，提高响应时间，服务器一般不会一次将所有资源完整地传回给客户端。比如在请求一个网页时，首先会传回该网页的文本内容。当客户端浏览器在解析文本的过程中发现有图片存在时，
阅读全文
摘要：首先这片博客没有任何理论性的东西，只是详细说明kafka与zookeeper集群的搭建过程，需要三台linux服务器。 java环境变量设置 zookeeper集群搭建 kafka集群搭建 java环境变量设置 在每台服务器上都有设置java环境变量 这里使用java源码安装的方式： 下载源码包解压
阅读全文
摘要：虚拟机上一台主机，之前一直在用，可以通过xshell连接，但是忽然发现ping百度失败了！ 检查这个失败感觉很麻烦，检查了配置文件，修改了ip结果都不可以！但是发现ping ip地址是可以的！ 感觉应该是域名解析的问题，检查了/etc/resolv.conf配置文件，发现文件是空的（不晓得为啥？）在
阅读全文
摘要：现有如下的web架构（简化之后的），需要把原来的http访问修改到https访问！ haproxy的认证有两种方式： 第一种：haproxy提供ssl证书，后面的nginx访问使用正常的http。 第二种：haproxy做正常的代理，后面的nginx提供ssl证书！ 总共下面三种的组合方式： 第一种
阅读全文
摘要：1）HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。2）HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。3）HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运
阅读全文
摘要：负载均衡用的很多，这里对负载均衡做一个总结吧，总共包含下面几片博文。 LVS负载均衡 keepalived负载均衡+高可用 haproxy负载均衡 nginx负载均衡 LVS负载均衡 LVS是章文嵩博士开发的一个基于linux内核的项目，国内有着比较清晰中文描述http://www.linuxvir
阅读全文
摘要：shell脚本中的一些函数参数说明如下： 然后执行上面脚本结果如下： 在使用echo打印的时候，使用色彩打印 文字颜色的数字代码： 重置为0 black 30 red 31、 green 32 yellow 33 blue 34 洋红 35 青色 36 white 37 背景颜色数字代码：和文字颜色
阅读全文
