实时电商数仓（五）之数据采集（四）搭建日志采集系统的集群（四）日志采集模块打包部署--- (部署到服务器)

2 日志采集模块打包部署--- (部署到服务器)

2.1 修改logback中的配置文件

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property name="LOG_HOME" value="/opt/applog/gmall0105" />
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%msg%n</pattern>
        </encoder>
    </appender>

    <appender name="rollingFile" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_HOME}/app.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LOG_HOME}/app.%d{yyyy-MM-dd}.log</fileNamePattern>
        </rollingPolicy>
        <encoder>
            <pattern>%msg%n</pattern>
        </encoder>
    </appender>


    <!-- 将某一个包下日志单独打印日志 -->
    <logger name="com.atguigu.gmall0105.logger.controller.LoggerController"
            level="INFO" additivity="false">
        <appender-ref ref="rollingFile" />
        <appender-ref ref="console" />
    </logger>

    <root level="error" additivity="false">
        <appender-ref ref="console" />
    </root>

</configuration>

 

2.2 把打好的jar包拷贝到Linux 路径下  放入hadoop103中

 

2.3 启动jar包

1）首先启动

gmall0105-logger-0.0.1-SNAPSHOT.jar

java -jar  /app/gmall0105/gmall0105-logger-0.0.1-SNAPSHOT.jar   

如果出现权限问题，是因为Linux默认不允许非root账号使用1024以下的端口，所以改换为8082端口

java -jar  /app/gmall0105/gmall0105-logger-0.0.1-SNAPSHOT.jar –server.port=8082 >/dev/null 2>&1 &

2）然后启动gmall2020-mock-log-2020-05-10.jar

修改

application.properties

# 外部配置打开
# logging.config=./logback.xml
#业务日期
mock.date=2020-05-16

#模拟数据发送模式
mock.type=http
#http模式下，发送的地址
mock.url=http://hadoop103:8082/applog

#启动次数
mock.startup.count=10000
#设备最大值
mock.max.mid=50
#会员最大值
mock.max.uid=500
#商品最大值
mock.max.sku-id=10
#页面平均访问时间
mock.page.during-time-ms=20000
#错误概率 百分比
mock.error.rate=3
#每条日志发送延迟 ms
mock.log.sleep=10
#商品详情来源  用户查询，商品推广，智能推荐, 促销活动
mock.detail.source-type-rate=40:25:15:20

启动

java -jar gmall2020-mock-log-2020-05-10.jar

2.4 再次测试kafka消费

/bigdata/kafka_2.11-0.11.0.2/bin/kafka-console-consumer.sh --bootstrap-server  hadoop1:9092,hadoop2:9092,hadoop3:9092 --topic  GMALL_STARTUP