流量分析系统---启动流程

killall -9 java

zookeeper:

每台机子都要执行
#启动
zkServer.sh start
#查看状态
zkServer.sh status
#停止
zkServer.sh stop 

kafka

每台机子都要执行
#启动
nohup kafka-server-start.sh /export/servers/kafka/config/server.properties &
#停止
kafka-server-stop.sh

　创建一个topic(如果直接创建过，可以跳过) 

kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 4 --topic myOrderTest

在mini1启动kafka consumer窗口

kafka-console-consumer.sh --zookeeper mini1:2181 --from-beginning --topic myOrderTest

flume

#在mini1启动flume客户端
 ./bin/flume-ng agent -n a1 -c conf -f conf/myconf/exec.conf -Dflume.root.logger=INFO,console

storm

1、master中启动nimbus和ui:（mini1）
nohup storm nimbus &
nohup storm ui &
2、supervis机器上启动:(mini2\mini3)
nohup storm supervisor &
3、列出正在运行的拓扑及其状态。语法如下
storm list
4、杀死名为topology-name的拓扑。语法如下：
storm kill topology-name [-w wait-time-secs]  

storm jar 20180111.jar logMonitor.LogMonitorTopologyMain kafka4storm（这是storm topology的名字，可以任意起名。作为main方法的arg[0]参数）
java -jar 0309_OK_app.jar (运行转储程序)
提前准备：
　　1、将storm程序用maven打包导出
　　2、将app程序(每隔一分钟转储数据到mysql)导出为runnable包
　　3、将web程序导出为war包，部署到tomcat
最新
storm jar mini2_MyLogMonitor-1.0-SNAPSHOT-jar-with-dependencies.jar logMonitor.LogMonitorTopologyMain kafka4storm
java -jar mini2_app.jar

redis

#启动
service redis start  
#启动redis客户端
redis-cli
#关闭
service redis stop

#查看所有key
keys *
#删除当前选择的数据库中的key 
flushdb

遇到问题：执行命令service redis star

/var/redis/run/redis_6379.pid exists, process is already running or crashed

引起这类问题一般都是强制关掉电源或断电造成的，也是没等linux正常关机

解决方法：可用安装文件启动  执行 redis-server /etc/redis/redis.conf

 mysql

启动
service mysql start
mysql -u root -proot
use database

delete from 表名;删除表中的数据

停止 service mysql stop

存在的问题及解决方案：
-------------------------------------------------------------------------------------------------------
数据库连接：

1、jedis 与 mysql 的连接都要写192.168.223.201 而不是127.0.0.1

2、storm连接mysql数据库报异常

连接远程mysql数据库时报如下错误：

1	message from server:"Host FILTER" is not allowed to connect to this MySQL server

问题分析：可能是没有给其IP访问Mysql数据库权限导致

问题解决：登录mysql数据库，执行如下命令：

1	grant all on *.* to root@'%' identified by "123456";

此操作是给任意IP地址赋予访问权限（命令中*.*是通配任何IP，可指定IP 用户名：root 密码：123456）

------------------------------------------------------------------------------------------------------------
关于mysql数据库编码格式

1、创建数据库命令： CREATE DATABASE `test2` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci

2、 以下内容是把mysql数据库的格式改成utf8
 

Linux下用rpm包安装的MySQL是不会安装/etc/my.cnf文件的，

至于为什么没有这个文件而MySQL却也能正常启动和作用，在点有两个说法，

第一种说法，my.cnf只是MySQL启动时的一个参数文件，可以没有它，这时MySQL会用内置的默认参数启动，

第二种说法，MySQL在启动时自动使用/usr/share/mysql目录下的my-medium.cnf文件，这种说法仅限于rpm包安装的MySQL，

解决方法，只需要复制一个/usr/share/mysql目录下的.cnf文件到/etc目录，并改名为my.cnf即可
[root@mini1 etc]# cp /usr/share/mysql/my-medium.cnf /etc/my.cnf
[root@mini1 etc]# vi /etc/my.cnf

报错：The server quit without updating PID file（无法正常登陆）
解决方法：用命令“ps -ef|grep mysqld”查看是否有mysqld进程，如果有使用“kill -9  进程号”杀死，然后重新启动mysqld！
-------------------------------------------------------------------------------------------
导入导出.sql文件

一、导出数据库用mysqldump命令（注意mysql的安装路径，即此命令的路径）：
1、导出数据和表结构：
mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/   mysqldump -uroot -p abc > abc.sql
敲回车后会提示输入密码

2、只导出表结构
mysqldump -u用户名 -p密码 -d 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/   mysqldump -uroot -p -d abc > abc.sql

注：/usr/local/mysql/bin/  --->  mysql的data目录

二、导入数据库
1、首先建空数据库
mysql>create database abc;

2、导入数据库
方法一：
（1）选择数据库
mysql>use abc;
（2）设置数据库编码
mysql>set names utf8;
（3）导入数据（注意sql文件的路径）
mysql>source /home/abc/abc.sql;
方法二：
mysql -u用户名 -p密码 数据库名 < 数据库名.sql
#mysql -uabc_f -p abc < abc.sq