摘要：
环境： linux ：内核3.0以上 同步工具： rsync&sersync 资料：https://rsync.samba.org/examples.html 要求：须以root实现一下操作，否则容易失败 rsync是文件或目录同步的常用工具，尤其在分布式系统下进行同步，可以通过自写脚本调用该命令的 阅读全文
摘要：
HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。 HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。 它是Hadoop的生态系统，提供对数据的随机实时读/写访 阅读全文
摘要：
要学习linux的命令，我们需要先了解linux系统是如何工作的，这里我们先了解linux是如何在一台电脑上启动加载的！！ linux系统启动过程 第一步、 BIOS初始化 1. BIOS检测所有的外置设备，查看有哪些外围设备在活动区 2. 开始寻找启动磁盘--根据BIOS的设置导找启动文件存放的位 阅读全文
摘要：
ls是list的缩写，list--清单 ls 是显示文件 如查看root下的所有信息 如果要以列表的形式显示文件详细信息可使用ls -all或ls -al(包括以“.“开头的隐藏文件) 如果你想查看某个文件信息，需先进入root根目录，在用ls -al | grep filename 的方式查看 l 阅读全文
摘要：
mkdir 是make directory [dɪˈrɛktəri, daɪ-]的缩写，directory--目录的意思 mkdir在linux中是指新建文件目录 例如：mkdir test3 如果要创建多级目录，可在mkdir后边加上参数p，如mkdir -p test/test1/test2/t 阅读全文
摘要：
import os.path,pymysql,os,shutilfrom sqlalchemy import create_engineimport pandas as pd 同一用户同一地址使用该类 class Pandas_DB: # 同一用户同一地址使用该类 def __init__(self 阅读全文
摘要：
最近测试机器学习，需要用到虚拟环境的，记录于此 Python2 的配置 通常情况，linux自带Python2.75 ，因此，可以自己建立独立的虚拟环境，不受干扰。 在开发服务器上执行virtualenv env 激活虚拟环境： source activate --在bin目录下 然后可以通过pyc 阅读全文
摘要：
-v, --verbose 详细模式输出-q, --quiet 精简输出模式-c, --checksum 打开校验开关，强制对文件传输进行校验-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD-r, --recursive 对子目录以递归模式处理- 阅读全文
摘要：
参数说明： log file = /var/log/rsyncd.log #日志文件位置，启动rsync后自动产生这个文件，无需提前创建 pidfile = /var/run/rsyncd.pid #pid文件的存放位置 lock file = /var/run/rsync.lock #支持max 阅读全文
摘要：
安装版本：Python3.74 系统版本：centos7 系统默认安装Python2.7，保留。 安装/usr/bin/Python3 安装需要root权限。 安装Python3的准备工作： 1、安装编译python3所用到的相关依赖包： yum install zlib-devel bzip2-d 阅读全文
摘要：
版本：2019最新专业版 阅读全文
摘要：
1.1 flume（日志收集系统） 1.1.1 flume介绍 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flu 阅读全文
摘要：
1.1 kafka（分布式发布订阅消息系统） 1.1.1 产品介绍 流媒体平台有三个关键功能: 发布和订阅记录流，类似于消息队列或企业消息系统。 以容错的持久方式存储记录流。 在记录发生时处理记录流。 Kafka通常用于两大类应用程序: 构建实时流数据管道，在系统或应用程序之间可靠地获取数据 构建实 阅读全文
摘要：
1.1 mesos（分布式资源管理器） Mesos是一个开源的资源管理系统，可以对集群中的资源做弹性管理。 Mesos中包含四类主要的服务（实际上是一个socketserver—服务端口），它们分别是Mesos Master，Mesos Slave(从服务)，SchedulerProcess(调度进 阅读全文