12 2018 档案
摘要：1.需求 推荐好友的好友 图1： 2.解决思路 3.代码 3.1MyFoF类代码 说明： 该类定义了所加载的配置，以及执行的map，reduce程序所需要加载运行的类 3.2FMapper类代码 说明： 该类的作用是编写map阶段的代码，对文本数据做一个预处理，按照规划比较每组的kv 做比较，这里面
阅读全文
摘要：1.需求 2.思路 3.代码实现 3.1MyWeather 类代码： 这个类主要是用来定义hadoop的配置，在执行计算程序时所需加载的一些类。 3.2Tmapper类代码 该类继承Mapper类他的主要作用是对输入的文件做一些预处理工作。 3.3TQ类代码 该类实现WritableComparab
阅读全文
摘要：1.MyWordCount代码： package com.hadoop.mr; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; imp
阅读全文
摘要：1.角色分配 2.配置 cd /opt/hadoop-3.1.1/etc/hadoop 2.配置 cd /opt/hadoop-3.1.1/etc/hadoop 修改如下配置： 2.1配置mapred-site.xml <configuration> <!-- 指定mr框架为yarn方式 --> <
阅读全文
摘要：1.开发环境配置 1.1eclipse导入插件 1.2.配置hadoop的引用路径 1.2.配置hadoop的引用路径 window 》preference 》 1.3创建hadoop的location 与网页上active节点显示的一致即可 默认是空文件夹 测试连接的location，创建一个ha
阅读全文
摘要：1.资源角色规划 官网ha配置： https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Configuration_details 2.配置 2.1
阅读全文
摘要：1.环境准备 Centos7.5系统 hadoop版本3.1 1.1资源分配 主机名 地址 角色 node01 10.10.0.11 namenode node02 10.10.0.12 secondarynamenode datanode node03 10.10.0.13 datanode no
阅读全文
摘要：1.环境准备 系统版本：CentOS7.5 主机名：node01 hadoop3.1 的下载地址： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz jdk8 rpm包下载地址：https:/
阅读全文
摘要：1. QEMU/KVM 迁移的概念 迁移（migration）包括系统整体的迁移和某个工作负载的迁移。系统整理迁移，是将系统上所有软件包括操作系统完全复制到另一个物理机硬件机器上。虚拟化环境中的迁移，可分为静态迁移（static migration，或者 冷迁移 cold migration，或者离
阅读全文
摘要：本文将梳理 QEMU/KVM 快照相关的知识，以及在 OpenStack Nova 中使用 libvirt 来对 QEMU/KVM 虚机做快照的过程。 1. QEMU/KVM 快照 1.1 概念 QEMU/KVM 快照的定义： 磁盘快照：磁盘的内容（可能是虚机的全部磁盘或者部分磁盘）在某个时间点上被
阅读全文
摘要：1. Libvirt 在 OpenStack 架构中的位置 在 Nova Compute 节点上运行的 nova-compute 服务调用 Hypervisor API 去管理运行在该 Hypervisor 的虚机。Nova 使用 libvirt 管理 QEMU/KVM 虚机，还使用别的 API 去
阅读全文
摘要：1. Libvirt 是什么 为什么需要Libvirt？ Libvirt提供了什么？ 目前，libvirt 已经成为使用最为广泛的对各种虚拟机进行管理的工具和应用程序接口（API），而且一些常用的虚拟机管理工具（如virsh、virt-install、virt-manager等）和云计算框架平台（如
阅读全文
摘要：（4）：I/O 设备直接分配和 SR-IOV 本文将分析 PCI/PCIe 设备直接分配（Pass-through）和 SR-IOV， 以及三种 I/O 虚拟化方式的比较。 1. PCI/PCI-E 设备直接分配给虚机 （PCI Pass-through） 设备直接分配 （Device assign
阅读全文
摘要：在 QEMU/KVM 中，客户机可以使用的设备大致可分为三类： 1. 模拟设备：完全由 QEMU 纯软件模拟的设备。 2. Virtio 设备：实现 VIRTIO API 的半虚拟化设备。 3. PCI 设备直接分配 （PCI device assignment） 。 1. 全虚拟化 I/O 设备
阅读全文
摘要：1. 为什么需要 CPU 虚拟化 X86 操作系统是设计在直接运行在裸硬件设备上的，因此它们自动认为它们完全占有计算机硬件。x86 架构提供四个特权级别给操作系统和应用程序来访问硬件。 Ring 是指 CPU 的运行级别，Ring 0是最高级别，Ring1次之，Ring2更次之…… 就 Linux+
阅读全文
摘要：KVM： kvm，x86支持硬件辅助虚拟化技术（hvm） grep -E "(vmx|svm)" /proc/cpuinfo [root@dmsag ~]# ll /dev/kvm crw-rw-rw- 1 root kvm 10, 232 Dec 4 19:14 /dev/kvm 查看内核模块信息
阅读全文
摘要：1. KVM 介绍 1.0 虚拟化简史 其中，KVM 全称是 基于内核的虚拟机（Kernel-based Virtual Machine），它是一个 Linux 的一个内核模块，该内核模块使得 Linux 变成了一个 Hypervisor： 它由 Quramnet 开发，该公司于 2008年被 Re
阅读全文
摘要：1.最常见的内置函数是print 2.数学运算 3.类型转换 4.序列操作 5.类，对象，属性 6.编译，执行 在Python教程中，我们已经提到下面一些内置函数: 基本数据类型 type() 反过头来看看 dir() help() len() 词典 len() 文本文件的输入输出 open() 循
阅读全文
