侧边栏
摘要: broadcast 官方文档描述: Broadcast a read-only variable to the cluster, returning a [[org.apache.spark.broadcast.Broadcast]] object for reading it in distrib 阅读全文
posted @ 2019-06-01 20:31 泡代码的小二黑 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 1.在Scala中声明private变量,Scala编译器会自动生成get,set方法 2.在Scala中变量需要初始化3.在Scala中没有静态修饰符,在object下的成员全部都是静态的,如果在类中声明了与该类相同名字的object则该object是该类的”伴生对象”,所以对于一个class来说 阅读全文
posted @ 2019-06-01 11:45 泡代码的小二黑 阅读(6435) 评论(0) 推荐(2) 编辑
摘要: 问题描述: org.apache.ibatis.builder.IncompleteElementException: Could not find parameter map 说明: 配置参数类型有两种选择,即:parameterType和parameterMap 不管参数是否是基本数据类型还是m 阅读全文
posted @ 2019-05-28 11:31 泡代码的小二黑 阅读(1443) 评论(0) 推荐(0) 编辑
摘要: 前言 今天在访问公司代理服务器时无法访问,并且根本ping不通,因为是本地启动程序,想测试一遍,发现设置了防火墙,我知道我们的程序是使用的nginx反向代理服务器,以前了解过,也玩过,但是程序猿是属鱼的,所以我决定重新梳理一下相关知识; 1、Nginx是什么? Nginx就是反向代理服务器。tomc 阅读全文
posted @ 2019-05-20 19:23 泡代码的小二黑 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 小demo: 需求:将user id归类到同一组map集合中 阅读全文
posted @ 2019-05-06 20:59 泡代码的小二黑 阅读(233) 评论(0) 推荐(0) 编辑
摘要: 【注】本文转自https://blog.csdn.net/z15732621582/article/details/79439359博文,如有冒犯,请联系博主; 问题描述: 最近在调试代码并进行本地测试,发现每次启动时间都很长,浪费时间; 最近调试代码需要起服务并修改代码这就导致重复工作,目前是修改 阅读全文
posted @ 2019-04-28 14:27 泡代码的小二黑 阅读(1380) 评论(0) 推荐(0) 编辑
摘要: 问题描述: 好久不写博客了,今天遇到一个问题,那就是post请求时,参数接收不到,当时我很纳闷,看代码: 就是这样几个参数,我使用postman请求时无法获取参数: 报错信息: "msg":"Optional int parameter 'tableId' is present but cannot 阅读全文
posted @ 2019-04-27 17:15 泡代码的小二黑 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 问题描述:在开发过程中,如果你开发的代码与其他人造成冲突,在不处理的情况下会无法拉取,并且提交容易造成代码丢失; 解决方法: 【此方法是同事郭富城的分享】 1,由于冲突,我们每次拉取都会失败,这时我们选中所有工程右键 > git > repository > stash changes 【存放自己改 阅读全文
posted @ 2019-04-09 08:59 泡代码的小二黑 阅读(2366) 评论(0) 推荐(0) 编辑
摘要: 今天经理遇到一个很奇怪的问题: 在使用idea时,就是包真实存在,但是包中的实体类却无法智能提示,也无法导入成功; 我推荐的解决办法是重新导入,但是没有用,经理在网上找了很多解决方式,依然无效; 最后解决办法:找到idea的空间目录,删除.idea文件夹,然后重新导入项目即可; 阅读全文
posted @ 2019-04-08 16:54 泡代码的小二黑 阅读(4459) 评论(1) 推荐(1) 编辑
摘要: 之前看了视频学习第一个flink word count使用,但是对于socket发送数据作为数据源我这里有点忘记了,加上最近有个项目要发布,一直在忙,所以迟迟无法完成; 1、首先我们要有数据源,因为不论是流计算处理还是批次处理,都需要数据源,然后经过transformation转换成我们想要的数据输 阅读全文
posted @ 2019-02-27 15:39 泡代码的小二黑 阅读(3814) 评论(2) 推荐(0) 编辑
摘要: 一、IDEA集成git方法 首先idea集成git我们需要先下载一个小软件,git bash 地址:https://git-scm.com/downloads 。下载好了之后直接下一步下一步傻瓜试安装。安装好后回在你指定的文件夹下有个git文件夹,文件结构如下: 当然如果你对git命令比较熟悉,用这 阅读全文
posted @ 2019-02-27 12:18 泡代码的小二黑 阅读(1609) 评论(0) 推荐(0) 编辑
摘要: 实际项目开发中,我们经常会用一些版本控制器来托管自己的代码 目的:通过git管理github或者公司自己平台的github托管项目代码,我的公司自己封装了大数据的bdgit.公司域名 一,下载安装git 1、下载Git 官方地址为:https://git-scm.com/download/win 2 阅读全文
posted @ 2019-02-26 21:16 泡代码的小二黑 阅读(276) 评论(0) 推荐(0) 编辑
摘要: Git是什么? Git是目前世界上最先进的分布式版本控制系统(没有之一)。 Git有什么特点?简单来说就是:高端大气上档次! 那什么是版本控制系统? 如果你用Microsoft Word写过长篇大论,那你一定有这样的经历: 想删除一个段落,又怕将来想恢复找不回来怎么办?有办法,先把当前文件“另存为… 阅读全文
posted @ 2019-02-26 20:57 泡代码的小二黑 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-02-18 11:04 泡代码的小二黑 阅读(273) 评论(0) 推荐(0) 编辑
摘要: 先看看效果图吧 就是这种,鼠标点击粒子可以聚集 首先添加一个文件, https://blog-static.cnblogs.com/files/xiaokang01/js.js 这个是我上传到博客园的js代码 然后在 博客园的后台管理中,找到设置这一栏 在页脚这里添加代码调用js 阅读全文
posted @ 2019-02-18 11:03 泡代码的小二黑 阅读(547) 评论(0) 推荐(0) 编辑
摘要: https://flink.apache.org/ 使用谷歌浏览器进入官网后,点击页面右键,使用谷歌翻译,翻译准确率很高; 常用部分: 阅读全文
posted @ 2019-02-13 17:17 泡代码的小二黑 阅读(651) 评论(0) 推荐(0) 编辑
摘要: Apache beam中的便携式有状态大数据处理 目标: 一、什么是 apache beam? 上面两个图片一个是正面切图,一个是横向切图; 这里只是大数据对于批量处理和流处理的一些生态圈的各个工具的发展前后历程,我觉着不够具体,总之,flink是beam的一种体现: Apache Beam本身不是 阅读全文
posted @ 2019-02-13 16:56 泡代码的小二黑 阅读(574) 评论(0) 推荐(0) 编辑
摘要: 术语 Apache Beam:谷歌开源的统一批处理和流处理的编程模型和SDK。 Beam: Apache Beam开源工程的简写 Beam SDK: Beam开发工具包 **Beam Java SDK: Beam Java开发工具包 Trigger: 触**发器 Event Time: 事件时间,事 阅读全文
posted @ 2019-02-13 14:53 泡代码的小二黑 阅读(1912) 评论(0) 推荐(1) 编辑
摘要: Apache Beam 的前世今生 1月10日,Apache软件基金会宣布,Apache Beam成功孵化,成为该基金会的一个新的顶级项目,基于Apache V2许可证开源。 2003年,谷歌发布了著名的大数据三篇论文,史称三驾马车:Google FS、MapReduce、BigTable。虽然谷歌 阅读全文
posted @ 2019-02-12 19:42 泡代码的小二黑 阅读(1104) 评论(0) 推荐(0) 编辑
摘要: 1.问题描述 在使用双重for循环进行封装数据时出现一个问题,就是有的数据封装上了,有的数据未封装上,找了很久原因: 2.解决问题 关于上面的代码,乍一看没什么问题,关键在于在每次循环ListA的时候,如果某一个元素A一一与LIstB中元素去匹配,会发现每次都会对其元素的某一个字段进行更改,造成逻辑 阅读全文
posted @ 2019-01-24 19:52 泡代码的小二黑 阅读(429) 评论(0) 推荐(0) 编辑
script src="https://files.cnblogs.com/files/fenggwsx/clipboard.min.js"/script script src="https://files.cnblogs.com/files/fenggwsx/cp.js"/script