11 2018 档案
摘要：基础知识 1.const const 修饰的数据类型是指常类型，常类型的变量或对象的值是不能被更新的。 const定义常量从汇编的角度来看，只是给出了对应的内存地址，而不是像#define一样给出的是立即数，所以，const定义的常量在程序运行过程中只有一份拷贝，而#define定义的常量在内存中有
阅读全文
摘要：第一章HDFS课程内容 1-1课程内容 第二章 Maven 2-1 Java开发环境搭建说明 1.安装JDK和JRE：开发使用工具和JAVA运行环境 2.IntelliJ IDEA安装：比eclipse，内存更少一些，较新的工具使用比较灵活。 2-2 JAVA开发环境搭建（Windows） 1.JD
阅读全文
摘要：VM三种联网方法和原理 （1）Bridged桥接 使用VMnet0虚拟交换机，此时虚拟机相当与网络上的一台独立计算机与主机一样，拥有一个独立的IP地址，所有机器均可互访，可以联网。使用桥接方式，A，A1，A2，B可互访。 在桥接的作用下，类似于把物理主机虚拟为一个交换机，所有桥接设置的虚拟机连接到这
阅读全文
摘要：在配置Centos7网络的时候，可能出出现虚拟机、本地以及外网三者之间ping不通的问题，可以从以下的几个方面排查： 1、确定需要管理员权限才能修改配置网络，如下图： 需要点下更改设置，然后出现下面的图片才是正确的： 2、仔细核对你的ifcfg-en333的配置文件的内容 几个关键的单词，比如：IP
阅读全文
摘要：如何在保证存储量的情况下，又能保证数据的检索速度。 HBase提供了完善的海量数据存储机制，Solr、SolrCloud提供了一整套的数据检索方案。 使用HBase搭建结构数据存储云，用来存储海量数据；使用SolrCloud集群用来搭建搜索引擎，将要查找的结构化数据的ID查找出来，只配置它存储ID。
阅读全文
摘要：1.操作系统选择 Hadoop产品是由Java语言开发的，所以推荐的是Linux操作系统，理由很简单开源免费，推荐的操作系统CentOS。 CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。 CentOS两年发行一次新版本，每个版本都会
阅读全文
摘要：1.Sqoop是什么 Sqoop:SQL-to-Hadoop，传统数据库与Hadoop间数据同步工具。（MySQL、Oracle <==> HDFS、HBase、Hive） Sqoop 的核心设计思想是利用 MapReduce 分布式批处理，加快了数据传输速度，保证了容错性。也就是说 Sqoop 的
阅读全文
摘要：使用参考：Teradata自定义函数UDF(chs_instr) 源码下载：百度网盘链接
阅读全文
摘要：“下一代大数据处理引擎王者” Apache Flink 它既能保证数据一致性“Exactly Once"，又能实时快速的处理海量数据。与生俱来的 Watermark 功能让它能对复杂数据乱序场景应对自如，它充分体现了“批”、“流”一体的完美结合同时又代表着“流”、“表”二象性的和谐统一。 两种数据集
阅读全文
摘要：MapReduce MapReduce程序从磁盘读取输入数据，把数据分解成键/值对，经过混洗、排序、归并等数据处理后产生输出，并将最终结果保存在磁盘。Map阶段和Reduce阶段的结果均要写磁盘，这大大降低了系统性能。也是由于这个原因，MapReduce大都被用于执行批处理任务。Map阶段和Redu
阅读全文
摘要：1.gcc安装 2.基本语法 gcc最基本的用法是：gcc [options] [filenames] 说明：如果已经为最新的目标文件，则不重新编译。使用示例test.c源码如下： （1）编译-c （2）链接-o （3）编译链接-o （4）代码优化-O和引用头文件目录-I （5）函数库引用-lnam
阅读全文
摘要：软件包管理是指系统中一种安装和维护软件的方法。通常软件以包的形式存储在仓库（repository）中，能满足许多人所有需要的软件。 在GNU/Linux(以下简称Linux)操作系统中，RPM和DPKG为最常见的两类软件包管理工具，他们分别应用于基于RPM软件包的Linux发行版本和DEB软件包的L
阅读全文
摘要：1.关于程序的编译和链接 一般来说，无论是C、C++首先要把源文件编译成中间目标文件即 Object File（windows为.obj文件，unix为.o文件），这个动作叫做编译（compile）。然后再把大量的Object File合成执行文件，这个动作叫作链接（link）。 1.1编译 编译时
阅读全文
摘要：Windows PowerShell 是专为系统管理员设计的新 Windows 命令行脚本环境，主要实现系统和应用程序管理自动化。 1.发展历史 在2002年，微软开始研究一个新的产品叫做”Monad”，第一个公开测试版本是在2005年6月发布的，到2006年4月，微软把它重新命名为Windows
阅读全文
摘要：1.材料准备 根据对图片的内容表达，粗略的“计划”，每张图片摆放位置及尺寸。C与D等高，C/D与B叠高后与A等高。C与D叠宽后与B等宽。 2.记录每张图片原始大小 （1）双击工作区，打开待拼接图片 （2）Ctrl+Alt+i 查看图片大小，并记录像素数。 3.处理图片 （1）确定图片最终宽高 组合拼
阅读全文
摘要：常用概念 1.画布大小与图像大小 画布大小是图像背景的大小，即画纸。图像大小是当前编辑的图层的所有对象大小，即画纸上的画。 常用功能操作 1.打开和新建功能 打开图片：Ctrl+O或双击工作区 图片垂直平铺：Alt+W,A,V 新建图像文件：Ctrl+N 新建图层：Ctrl+Shift+N 2.图片
阅读全文
摘要：RAID磁盘阵列（Redundant Arrays of Inexpensive Disks） 一个基本思想：将多个容量较小、相对廉价的磁盘进行有机组合，从而以较低的成本获得与昂贵大容量磁盘相当的容量、性能、可靠性。 两个关键目标：高 I/O 性能（多磁盘并发读写）和高数据可靠性（数据校验和镜像）。
阅读全文
摘要：1.人生苦短，我用Python。 目前在大数据的行业中有3种语言： Java 》 用于大数据工程 Scala 》 用于大数据工程和数据科学 Python 》 用于数据科学 Python是一种面向对象、解释型计算机程序设计语言。 1989年Guido van Rossum于圣诞节期间，在阿姆斯特丹（荷
阅读全文
摘要：1.打开PS，直接拖拽图片。 2.点击【滤镜==>扭曲==>镜头校正】，出现校正对话框。 3.点击拉直工具，从右向左滑一条直线。 参考文档： 在Photoshop中如何校正倾斜的图片？
阅读全文
