上下求索suo

摘要： 一、什么是Hive 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将SQL语句转换为 MapReduce 任务 阅读全文

摘要： 一、mapreduce简介 MapReduce执行流程 Client: 用来提交MapReduce作业。 JobTracker: 用来协调作业的运行。 TaskTracker: 用来处理作业划分后的任务。 MapReduce原理 MapReduce的执行过程： 1、Map任务处理 第一阶段是把输入文 阅读全文

摘要： 一、介绍 kafka是一个分布式流处理平台，kafka提供了类似于JMS的特性，但在设计实现上又完全不同，它并不是基于JMS规范实现的（kafka的实现不包含事务特性性）。kafka对消息的保存时以Topic进行归类的，向Topic发送消息的称谓Producer,从Topic接受消息的称谓Consu 阅读全文

摘要： 1、ls命令 就是list的缩写，通过ls 命令不仅可以查看linux文件夹包含的文件，而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等 常用参数搭配： ls -a 列出目录所有文件，包含以.开始的隐藏文件 ls -A 列出除.及..的其它文件 ls -r 反序排列 ls -t 阅读全文

摘要： 在使用VMware Workstation(以下简称：VMware)创建虚拟机的过程中，配置虚拟机的网络连接是非常重要的一环，当我们为虚拟机配置网络连接时，我们可以看到如下图所示的几种网络连接模式：桥接模式、NAT模式、仅主机模式、自定义网络连接模式。那么这几种网络连接模式都各自有什么主要用途，它们 阅读全文

摘要： MySQL锁概述 相对其他数据库而言，MySQL的锁机制比较简单，其最 显著的特点是不同的存储引擎支持不同的锁机制。比如，MyISAM和MEMORY存储引擎采用的是表级锁（table-level locking）；BDB存储引擎采用的是页面锁（page-level locking），但也支持表级锁； 阅读全文

摘要： 1.什么是hdfs HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 优点： 支持超大文件 支持超大文件。超大文件在这里指的是几百M，几百GB，甚至几T 阅读全文

摘要： 方式一、 通过yum install mysql-server安装mysql服务器。chkconfig mysqld on设置开机启动，并service mysqld start启动mysql服务，并根据提示设置root的初试密码：mysqladmin -u root password 'xxxx' 阅读全文