Modest-Hamilton

摘要： 使用Kubernetes部署storm集群后，发现Supervisor在运行过程中不断重启，十分奇怪。 因此新开一个窗口追踪Supervisor的日志supervisor.log。最终发现每次storm在rebalance的时候，Supervisor需要kill掉本节点上的进程。但由于storm:1 阅读全文

摘要： Docker安装 信任Docker的GPG公钥: curl -fsSL https://repo.huaweicloud.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add - 添加软件仓库: sudo add-apt-repository "deb 阅读全文

摘要： Kubernetes是一个支持弹性运行的分布式系统框架，因此在部署storm时想让Supervisor的数目支持动态变化。那么对于持久化存储就不能像zookeeper和kakfa那样直接静态创建nfs目录并挂载。 **首先需要配置一个nfs目录，可参考前面两节的nfs目录创建与配置。** #### 阅读全文

摘要： 与前面的zookeeper一样需要持久化存储，因此还是先创建PV，然后再部署kafka。 ##### 2、配置nfs **创建需要作为nfs共享的目录** `mkdir /home/nfs/kafka-0` **添加权限** `chmod 777 /home/nfs/kafka-0` **编辑配置* 阅读全文

摘要： 由于pod退出后数据就消失了，因此需要持久化存储。首先需要搭建nfs服务。nfs（Network File System）是一个网络文件系统，使用该文件系统可以将数据存储在特定存储服务器上，以便pod重启后恢复原来的数据。 #### NFS搭建 ##### 1、安装nfs `sudo apt-get 阅读全文

摘要： **背景**：虽然学校同时提供了windows及linux操作系统的网络登录客户端，但是由于学校网络账号只允许在一台设备上登录。因此如果需要在linux上安装插件或者是其他需要网络的场景，就会导致本地windows机器的账号被强制下线，非常麻烦。 **思路**：在windows机器上安装Fiddle 阅读全文

摘要： # Docker资源隔离与限制机制 ## 资源隔离Namespace Namespace是 Linux 内核一个强大的特性。每个容器都有自己单独的Namespace，运行在其中的应用都像是在独立的操作系统中运行一样。Namespace保证了容器之间彼此互不影响。 ### PID Namespace 阅读全文

摘要： 由于从Windows主机往Unbuntu Server传输文件时，无论是使用SCP命令、SFTP还是FTP等方式，速度都奇慢，仅有几十kB/s。但是通过iperf发现网络连接速率是正常的，定位了很久都没有办法找出问题，最后只能通过在Windows与Ubuntu之间设置共享文件夹的方式解决文件传输的问 阅读全文

摘要： docker部署Zookeeper+Storm+Kafka 安装docker 信任Docker的GPG公钥: curl -fsSL https://repo.huaweicloud.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add - 添加软件仓库: 阅读全文

摘要： # Storm多节点部署 ### 环境准备 三台已安装Centos7的虚拟机 hadoop001 192.168.188.145 hadoop002 192.168.188.146 hadoop003 192.168.188.147 ##### 配置hosts 在每台机器的`/etc/hosts`末 阅读全文