摘要： https://blog.csdn.net/weixin_44188501/article/details/107392089 阅读全文

摘要： 错误信息： END 阅读全文

摘要： 还在为解决jar包依赖冲突痛苦??? 那就好好看看下面的文章吧! 目前大多公司的java项目都以Maven项目为主,最近也通过Maven Helper解决了一些生产问题，在这里分享一下安装和基本使用方法! 安装方法： File-Settings-Plugins 点击“Browse repositor 阅读全文

摘要： 1、查看是否开启了binlog：show binary logs; 默认情况下是不开启的。 2、开启binlog：修改mysql的配置文件my.ini。添加如下配置： 该文件默认不允许修改，需要右键“管理员取得所有权”之后才能保存修改。 另外，需要注意的是图中的my.ini位于：C:\Program 阅读全文

摘要： 思维导图 文章已收录Github精选，欢迎Star：https://github.com/yehongzhi/learningSummary 前言 我们都知道一个系统最重要的是数据，数据是保存在数据库里。但是很多时候不单止要保存在数据库中，还要同步保存到Elastic Search、HBase、Re 阅读全文

摘要： 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 第一种: 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下：./spark-submit --class com.learn.s 阅读全文

摘要： 本文旨在实践把mysql已有的数据同步到elasticsearch中，使用的版本是6.4.3，对于其它6.x版本理应是一样的处理方式。 本文目录： 1.初始化Elasticsearch 6.4.3 1.1 下载Elasticsearch 6.4.3 1.2 配置Elasticsearch 6.4.3 阅读全文

摘要： 一、ELASTICSEARCH 数据结构 操作Elasticsearch6.4.3 类似于jpa 操作数据库一样，使用Crud 方式Elasticsearch6.4.3 是基于文档保存数据，mysql是基于行列保存数据 关系数据库 ⇒ 数据库 ⇒ 表 ⇒ 行 ⇒ 列(Columns) Elastic 阅读全文

摘要： 推荐系统的在线部分往往使用spark-streaming实现，这是一个很重要的环节。 在线流程的实时数据一般是从kafka获取消息到spark streaming spark连接kafka两种方式在面试中会经常被问到，说明这是重点，下面为大家介绍一下这两种方法： 第一种方式：Receiver模式 又 阅读全文

摘要： spark.streaming.kafka.maxRatePerPartition设定对目标topic每个partition每秒钟拉取的数据条数。 假设此项设为1，批次间隔为10s，目标topic只有一个partition，则一次拉取的数据量为1*10*1=10。 若有不对的地方，请指正。 转载于： 阅读全文