摘要:
定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用与大数据实时处理领域。 消息队列 Kafka 本质上是一个 MQ(Message Queue),使用消息队列的好处?(面试会问) 解耦:允许我们独立的扩展或修改队列两边的处理过程。 可恢复性:即使一个 阅读全文
摘要:
java.io.NotSerializableException: scala.collection.convert.Wrappers$MapWrapperSerialization stack: - object not serializable (class: scala.collection. 阅读全文
摘要:
当前时间: long currentime= System.currentTimeMillis();本周第一天0时: Long weekstart = current.withDayOfWeek(1).withMillisOfDay(0).getMillis();今天0时 Long todaysta 阅读全文
摘要:
加班一时爽,一直加班~一直爽~ 欢迎收看http://www.996.icu/ 今天弄了下MySQL中两表合并的并且要处理一列数据,这列数据原来都是小写字母,处理时将这列数据改成驼峰命名的~~ 基本操作:(比如处理列2) insert into (目标表名) 指定列1,指定列2,指定列3,指定列4. 阅读全文
摘要:
开会讨论了一个问题,就是我们平台从终端获取到数据,经过我们的处理后,传输给另一个平台做展示,这个是实时的(要求必须经过我们平台,所以杠精住嘴~~),在这个传输过程中,给出了一下三个方案来传输数据, tcp: websocket: API: 最后还是选取了API的方式,不太了解这几个,需要考虑的问题是 阅读全文
摘要:
最近在写接口的时候老遇见从mysql中获取近几天数据的需求,获取日期这块不是很熟,网上看了很多但是代码量都太大,还是问了下别人,写了三行代码就解决了,不多说 贴代码了 下面是我获取近十天,每天的日期: List<String> dayList = new ArrayList<String>(); l 阅读全文
摘要:
package sqlspark.Day04import java.langimport org.apache.spark.sql.{DataFrame, Dataset, SparkSession}object UdafText05 { def main(args: Array[String]): 阅读全文