摘要: DStream接收socket数据统计 安装并启动生产者 #在linux系统上安装nc工具,利用它向某个端口发送数据 yum -y install nc #执行发送数据命令 nc -lk port 执行streaming依赖 <dependency> <groupId>org.apache.spar 阅读全文
posted @ 2020-04-30 18:28 牛皮糖比 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-04-30 18:04 牛皮糖比 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 一、练习目标 1.Flume.监控/tmp/logs/update.log文件 2.创建日志生成的脚本,写入/tmp/logs/update.log。 3.Flume捕获数据 4.将捕获的数据,推送到消息队列kafka 5.在Kafka模拟数据消费 二、流程 1.解压并安装flume tar -zx 阅读全文
posted @ 2020-04-29 12:23 牛皮糖比 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 1.上传文件到3台服务器 下载路径:http://kafka.apache.org/downloads 2.添加环境变量 vi /etc/profileKAFKA_HOME=/opt/software/kafka_2.11-0.10.1.0PATH=$PATH:$KAFKA_HOME/binsour 阅读全文
posted @ 2020-04-28 19:24 牛皮糖比 阅读(258) 评论(0) 推荐(0) 编辑
摘要: 日志数据样式 101.226.167.227 - - [18/Sep/2013:19:49:10 +0000] "GET /29171365/ HTTP/1.1" 302 161 "http://www.leonarding.com/29171365/" "Mozilla/4.0 (compatib 阅读全文
posted @ 2020-04-23 17:38 牛皮糖比 阅读(280) 评论(0) 推荐(0) 编辑
摘要: 对接公众号的功能在后台有 1.后台->系统->微信公众号设置 根据自己的信息修改,并点击确定 2.打开https://mp.weixin.qq.com/,登录,点击开发->基本配置 url:域名/weixin/ token:weixin 3.启动 参考: http://www.buyunw.com/ 阅读全文
posted @ 2020-04-18 17:46 牛皮糖比 阅读(486) 评论(0) 推荐(0) 编辑
摘要: 1.设置缓冲广告 播放视频前的广告 准备内容,放在模板的同一个文件夹中 gif动态图缓冲广告html模板 缓冲html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <link rel="stylesheet" type 阅读全文
posted @ 2020-04-17 22:13 牛皮糖比 阅读(763) 评论(0) 推荐(0) 编辑
摘要: scala安装 下载地址 https://www.scala-lang.org/download/ 下载msi,点击安装,指定安装目录,安装完毕 验证 cmdscala -v 使用 #进入scalascala#退出:q idea上的第一个scala程序 准备工具 ideascala插件 插件链接 h 阅读全文
posted @ 2020-04-16 19:34 牛皮糖比 阅读(204) 评论(0) 推荐(0) 编辑
摘要: 1. es基础 1.1 es定义 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口 es相当于数据库,没有数据格式约束。 1.2 ES数据架构的主要概念(与关系数据库Mysql对比) (1)关系型数据库中的数据库 阅读全文
posted @ 2020-04-15 22:52 牛皮糖比 阅读(763) 评论(0) 推荐(0) 编辑
摘要: 以ik中文分词为例 ik:中文分词的插件,帮助查询,提高数据匹配的关联性 进入es的插件安装目录,和ik插件配置目录 新建一个xxx.dic文件,并保存 中 文 打开ik.cfg.xml,添加指定文件 <entry key="ext_dict">xxx.dic</entry> 重启es即可 文件说明 阅读全文
posted @ 2020-04-14 20:46 牛皮糖比 阅读(293) 评论(0) 推荐(0) 编辑