摘要:
1.dnspython模块介绍: dnspython(http://www.dnspython.org/)是Python实现的一个DNS 工具包,它支持几乎所有的记录类型,可以用于查询、传输并动态更新 ZONE信息,同时支持TSIG(事务签名)验证消息和EDNS0(扩展 DNS)。在系统管理方面,我 阅读全文
摘要:
1.安装 IP地址规划是网络设计中非常重要的一个环节,规划的好坏会直 接影响路由协议算法的效率,包括网络性能、可扩展性等方面,在这个 过程当中,免不了要计算大量的IP地址,包括网段、网络掩码、广播地 址、子网数、IP类型等。Python提供了一个强大的第三方模块 IPy(https://github 阅读全文
摘要:
1.模块简介 psutil是一个跨平台库(http://code.google.com/p/psutil/),能够轻 松实现获取系统运行的进程和系统利用率(包括CPU、内存、磁盘、网 络等)信息。它主要应用于系统监控,分析和限制系统资源及进程的管 理。它实现了同等命令行工具提供的功能,如ps、top 阅读全文
摘要:
在互联网时代,对于每一家公司,软件开发和发布的重要性不言而喻,目前已经形成一套标准的流程,最重要的组成部分就是持续集成(CI)及持续部署、交付(CD)。本文基于Jenkins+Docker+Git实现一套CI自动化发布流程。 1.布流程设计 传统工作流程: 在互联网时代,对于每一家公司,软件开发和发 阅读全文
摘要:
tcpdump 是一款灵活、功能强大的抓包工具,能有效地帮助排查网络故障问题。 tcpdump 是一个命令行实用工具,允许你抓取和分析经过系统的流量数据包。它通常被用作于网络故障分析工具以及安全工具。 tcpdump 是一款强大的工具,支持多种选项和过滤规则,适用场景十分广泛。由于它是命令行工具,因 阅读全文
摘要:
hbase版本 2.0.4 与hadoop兼容表http://hbase.apache.org/book.html#hadoop 我的 hadoop版本是3.1 1.单机版hbase 1.单机版hbase 1.1解压安装包 tar xf hbase-2.0.4-bin.tar.gz -C /opt/ 阅读全文
摘要:
1.hadoop生态系统 2.hbase简介 非关系型数据库知识面扩展 cassandra、hbase、mongodb、redis couchdb,文件存储数据库 Neo4j非关系型图数据库 3.hbase概念 hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式 阅读全文
摘要:
Hive 优化 1.核心思想: 把Hive SQL 当做Mapreduce程序去优化 以下SQL不会转为Mapreduce来执行 select仅查询本表字段 where仅对本表字段做条件过滤 Explain 显示执行计划 EXPLAIN [EXTENDED] query 2.Hive运行方式: 本地 阅读全文
摘要:
1.Hive运行方式: 命令行方式cli:控制台模式 脚本运行方式(实际生产环境中用最多) JDBC方式:hiveserver2 web GUI接口 (hwi、hue等) 1.1Hive在CLI模式中与hdfs交互 执行执行dfs命令 例:dfs –ls / 1.2与Linux交互 !开头 例: ! 阅读全文
摘要:
1.架构图 3.地址规划 主机名 内网ip 外网ip lvs-master 192.168.137.111(仅主机)eth1 172.16.76.111(桥接)eth0 lvs-slave 192.168.137.112(仅主机)eth1 172.16.76.112(桥接)eth0 realserv 阅读全文