摘要: 本系列为SQL SERVER自动化运维的一些操作技巧点,所有内容都是根据日常运维过程中最经常遇到的问题,并为此形成了一些自动化运维的方式,皆为原创.... 供部分DBA和开发人员浏览借鉴,所应用平台基于微软server平台,所利用技术为Power Shell,所关注的点为SQL Server. 1、 阅读全文
posted @ 2015-11-27 16:47 指尖流淌 阅读(3086) 评论(0) 推荐(3) 编辑
摘要: 这是关于SQL Server调优系列文章,以下内容基本涵盖我们日常中所写的查询运算的分解以及调优内容项,皆为原创........第一个基础模块注重基础内容的掌握,共分7篇文章完成,内容涵盖一系列基础运算算法,详细分析了如何查看执行计划、掌握执行计划优化点,并一一列举了日常我们平常所写的T-SQL语句... 阅读全文
posted @ 2015-03-29 21:13 指尖流淌 阅读(10771) 评论(4) 推荐(25) 编辑
摘要: 本系列文章主要是涉及内容为微软商业智能(BI)中一系列数据挖掘算法的总结,其中涵盖各个算法的特点、应用场景、准确性验证以及结果预测操作等,所采用的案例数据库为微软的官方数据仓库案例(AdventureWorksDW2008R2),数据库基于Microsoft SQL Server 2008,主要涉及... 阅读全文
posted @ 2014-10-20 10:27 指尖流淌 阅读(11748) 评论(4) 推荐(11) 编辑
摘要: 本系列文章主要是结合书籍,加上自己的总结,整理出来的一系列读书笔记,涉及微软SQL Server2008中商务智能开发中的多维分析模块,先把目录整理如下:《分析服务从入门到精通读书笔记》第一章、数据分析基础(1)《分析服务从入门到精通读书笔记》第一章、数据分析层次结构(2)《分析服务从入门到精通读书... 阅读全文
posted @ 2012-03-07 08:47 指尖流淌 阅读(4202) 评论(1) 推荐(9) 编辑

前言

有一段时间没写文章了,最近事情挺多的,现在咱们回归正题,经过前面四篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,相关的两款软件VSFTP和SecureCRT也已经正常安装了。

本篇主要介绍在大数据应用中比较常用的一款软件Mysql,我相信这款软件不紧紧在大数据分析的时候会用到,现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用,而且现在正慢慢的壮大中。

在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是:1、写程序利用mapper-Reducer的算法平台进行分析;2、利用Hive组件进行书写Hive SQL进行分析。

第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了,这也是本篇最主要讲解的。

闲言少叙,进入本篇的内容。

技术准备

VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++

软件下载

我们需要从Mysql官网上选择相应版本的安装介质,官网地址如下:

MySQL下载地址:http://www.mysql.com/downloads/

默认进入的页面是企业版,这个是要收费的,这里一般建议选择社区开源版本,土豪公司除外。

然后选择相应的版本,这里我们选择通用的Server版本,点击Download下载按钮,将安装包下载到本地。

下载完成,上传至我们要安装的系统目录。

 

这里,需要提示下,一般在Linux系统中大型公用的软件安装在/opt目录中,比如上图我已经安装了Sql Server On linux,默认就安装在这个目录中,这里我手动创建了mysql目录。

将我们下载的MySQL安装介质,上传至该目录下。

安装流程

1、首先解压当前压缩包,进入目录

cd /opt/mysql/

 

tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar 

这样,我们就完成了这个安装包的解压。

2、创建MySql超级管理用户

这里我们需要单独创建一个mySQL的用户,作为MySQL的超级管理员用户,这里也方便我们以后的管理。

groupadd mysql

添加用户组

useradd -g mysql mysql

添加用户

id mysql

查看用户信息。

3、安装mysql RPM安装包,详细的过程如下

rpm -ivh *.rpm

这里报了一个错误,错误明细如下:

之前装的时候应该不会出现这个错误,我查了一下,这个错误的原因是因为我现在装的OS版本为7.0,在CentOS7.0版本中已经嵌入了自带的数据系统mariadb。

以前的linux系统中大部分的数据库采用的都是Mysql,但是MYSQL这货自从被sun收购之后,sun公司叫嚣着要收费服务等措施,所以在以后的CentOS系统中就没有再集成它了,并且又搞出了一个新的数据库mariadb.所以这里我们安装mysql会有冲突,这里我们就需要先卸载这个。

卸载过程如下:

<1>列出所有的被安装的rpm package

 rpm -qa | grep mariadb

就是上面这货,我们需要先卸载它。

<2>卸载mariadb软件

rpm -e mariadb-libs-5.5.37-1.el7_0.x86_64

 结果报错,丫的不让你卸载,报错如下:

这里我们忽视掉这个错误信息,采用强制卸载的这个软件

 rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

这里,可以看到我们已经强制卸载了这个软件,下面的步骤就是安装Mysql了。

安装过程要按照如下顺序(必须)进行:

  •  mysql-community-common-5.7.9-1.el7.x86_64.rpm
  •  mysql-community-libs-5.7.9-1.el7.x86_64.rpm             --(依赖于common)
  •  mysql-community-client-5.7.9-1.el7.x86_64.rpm          --(依赖于libs)
  •  mysql-community-server-5.7.9-1.el7.x86_64.rpm         --(依赖于client、common)

按照以上顺序进行一个个的安装,脚本如下:

rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm

但是,安装的过程中有可能出现以下错误

这个错误的提示的是,这里的Server版本需要perl组件进行安装,所以这里我们需要先将这个组件安装上去

yum install perl

 可以看到这里已经安装成功了。

下面,我们继续安装MYSQL的Server包。

rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm

安装完上面的rpm包之后,我们就需要配置相关权限,然后启动serve。
这里需要提示下:

mysql安装软件在/usr/share/mysql目录下

Mysql数据库创建在/var/lib/mysql目录下
 
我们进入到mysql这个目录中,更改一下权限:
cd /usr/share/mysql/
chown -R mysql:mysql .

下面,我们来启动这个Server,来查看一下。

这里需要提示一下,应该避免以root用户启动,要用我们新建的mysql用户进行启动。 

service mysqld restart

这时候我们连接之后需要添加上权限。

在/ect/my.cnf 的最后面加上一行:skip-grant-tables
然后重启服务器就行了。

service mysqld restart

至此,我们完成了MySQL的安装过程。

结语

此篇先到此吧,关于Hadoop大数据集群的搭建后续依次介绍,比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等,有兴趣的童鞋可以提前关注。

本篇主要介绍了Mysql数据库的安装,本来打算分析hive的安装的,下一篇我们继续。

 

有问题可以留言或者私信,随时恭候有兴趣的童鞋加大数据平台深入研究。共同学习,一起进步。 

 

文章的最后给出之前几篇的基础篇:

大数据系列(1)——Hadoop集群坏境搭建配置 

大数据系列(2)——Hadoop集群坏境CentOS安装

大数据系列(3)——Hadoop集群完全分布式坏境搭建

大数据系列(4)——Hadoop集群VSFTP和SecureCRT安装配置

 

如果您看了本篇博客,觉得对您有所收获,请不要吝啬您的“推荐”。

更有激动者,为您开辟了右侧打赏的功能。

posted @ 2016-11-22 14:22 指尖流淌 阅读(10055) 评论(3) 推荐(3) 编辑
摘要: 前言 经过前三篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,当然,我相信安装的过程肯定遇到或多或少的问题,这些都需要自己解决,解决的过程就是学习的过程,本篇的来介绍几个Hadoop环境中需要用到的软件,确切的说是两款:VSFTP和SecureCRT。 闲言少叙,进入本篇的正题。 背 阅读全文
posted @ 2016-08-29 13:31 指尖流淌 阅读(2416) 评论(2) 推荐(2) 编辑
摘要: 前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 我们先来回顾 阅读全文
posted @ 2016-08-11 22:45 指尖流淌 阅读(12344) 评论(5) 推荐(15) 编辑
摘要: 前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 因为我的笔记本是Window7操作系统,然 阅读全文
posted @ 2016-08-04 23:12 指尖流淌 阅读(7510) 评论(5) 推荐(17) 编辑
摘要: 前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案,更有很多数据相关的项目比如弄几张报表,写几个T-SQL语句就被冠以“大数据项目”,当然了,时下热 阅读全文
posted @ 2016-08-03 13:09 指尖流淌 阅读(18142) 评论(9) 推荐(17) 编辑
摘要: 本篇源自Hadoop官网,先将中文翻译如下。 目标 本文章主要是描述如何安装和配置几个节点的Hadoop clusters,甚至于数以千计的节点数。为了了解详细的安装步骤,需要先了解如何安装在单台机器上。 本文档不包含高级的设置点,比如:安全性或者高可用性。 准备 需要安装Java环境 从Apach 阅读全文
posted @ 2016-07-06 21:20 指尖流淌 阅读(2197) 评论(1) 推荐(2) 编辑
摘要: 添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上,启动服务 4.均衡block 1)如果不balance,那么cluster会把新的数据都存放在新的nod 阅读全文
posted @ 2016-06-10 14:49 指尖流淌 阅读(2607) 评论(1) 推荐(3) 编辑
摘要: 需求描述 一般在生产环境中,在投产的情况下,需要批量的来执行SQL脚本文件,来完成整个投产,如果投产文件比较多的情况下,无疑这是一个比较痛苦的过程,所以本篇通过PowerShell脚本来批量完成。 监控脚本 其中涉及到几个参数需要配置: 1、批量文件的根目录路径 2、此脚本支持两种验证方式:用户验证 阅读全文
posted @ 2016-04-01 17:04 指尖流淌 阅读(9185) 评论(0) 推荐(3) 编辑
摘要: 前言本篇主要总结一下MySQL数据库的几种日志,用于日常维护过程中问题解决和性能优化等,稍显基础,日常积累之用。文章的部分内容会将MySQL数据库和SQL Server数据库部分内容做一个对比,非抨击孰优孰劣,只叙述技术,权做学习之用。闲言少叙,直接进入本篇的正题。技术准备宿主于Ubuntu14.0... 阅读全文
posted @ 2015-12-18 16:37 指尖流淌 阅读(3329) 评论(2) 推荐(3) 编辑
摘要: 经典版的MapReduce所谓的经典版本的MapReduce框架,也是Hadoop第一版成熟的商用框架,简单易用是它的特点,来看一幅图架构图:上面的这幅图我们暂且可以称谓Hadoop的V1.0版本,思路很清晰,各个Client提交Job给一个统一的Job Tracker,然后Job Tracker将... 阅读全文
posted @ 2015-12-15 14:30 指尖流淌 阅读(2544) 评论(1) 推荐(3) 编辑
点击右上角即可分享
微信分享提示