摘要: spark支持语言: scala、paython、java 1:2:4 使用spark sql(中间的过滤、筛选) 三种性能一样。 spark 比 mapReduce快 cpu与内存比为1:2,或者1:4 RDD:弹性数据分布集 5个特性 对RDD测操作:1、transformation 2、Act 阅读全文
posted @ 2018-05-08 14:41 js王 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 数据来源:1、主动获取 2、被动获取 技术选择:1、storm (官方的、淘宝的):过来的数据要及时处理 2、flume :缺陷:处理流数据非常慢,优势:对流可以实施多层过滤 3、kafka :包括了flume的基本功能,对流的处理更快,缺陷:不能加过滤器(解决方案:flume+kafka) 4、s 阅读全文
posted @ 2018-05-08 11:04 js王 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 语法: 关键字 val(表示:值) 不可变 ex: val a:Int=1 或者 val a=1(会自动识别类型,无基本类与包装类之分) 输出:a:Int=1 关键字var ex: var a:Int=1 输出: a:Int=1 方法(API)定义:def 方法名(参数:类型,...,参数:类型): 阅读全文
posted @ 2018-05-07 17:02 js王 阅读(722) 评论(0) 推荐(0) 编辑
摘要: 1.sleep()方法 在指定时间内让当前正在执行的线程暂停执行,但不会释放“锁标志”。不推荐使用。 sleep()使当前线程进入阻塞状态,在指定时间内不会执行。 2.wait()方法 在其他线程调用对象的notify或notifyAll方法前,导致当前线程等待。线程会释放掉它所占有的“锁标志”,从 阅读全文
posted @ 2018-03-12 10:59 js王 阅读(389) 评论(0) 推荐(0) 编辑
摘要: sudo netstat -antupkill -s 9 50713netstat -n | grep 61616netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 阅读全文
posted @ 2017-12-14 14:41 js王 阅读(2327) 评论(0) 推荐(0) 编辑
摘要: <T>让static方法拥有泛型的能力。 泛型还可以用于内部类与匿名内部类 擦除的神秘之处: 在泛型代码内部,无法发获得任何有关泛型参数类型的信息。(泛型的实现基于擦除机制) 泛型中的边界:example:<? extends 类型> 阅读全文
posted @ 2017-12-07 10:10 js王 阅读(1257) 评论(0) 推荐(0) 编辑
摘要: 下载地址 [plain] view plain copy 本次使用版本:http://sourceforge.net/projects/json-lib/files/json-lib/json-lib-1.1/ 最新版本:http://sourceforge.net/projects/json-li 阅读全文
posted @ 2017-11-30 09:14 js王 阅读(16146) 评论(0) 推荐(2) 编辑
摘要: 1、首先需要访问https://ngrok.cc/,注册帐号,登录以后 在添加隧道里配置本地服务器映射信息在开通隧道里配置映射的二级域名,比如bjxxx(替换成自己的)和映射本地服务器的信息,http验证用户名\和密码可以不填,点击确认添加发布 2.在隧道管理里,可以查看配置的外网地址为http:/ 阅读全文
posted @ 2017-11-29 08:49 js王 阅读(0) 评论(0) 推荐(0) 编辑
摘要: 原因很简单因为微信公共号存在用户关注微信公共号,但是微信开放平台是跟网页进行关联就不存在关注公共号这个说法,所以如果在网页端应用调用公共号关注获取用户的api 必然会出现40001的错误就是不存在或者提示你的token有误。 1. https://api.weixin.qq.com/sns/user 阅读全文
posted @ 2017-11-27 16:56 js王 阅读(381) 评论(0) 推荐(0) 编辑
摘要: 泛型有什么限制?边界在哪里? 一个元组类库 元组:是将一组对象直接打包存储于其中的一个单一对象。 泛型中的类型推断只对赋值操作有效。泛型方法的返回值直接传递给方法的参数,这时编译期并不会执行类型判断。 阅读全文
posted @ 2017-11-27 13:24 js王 阅读(444) 评论(0) 推荐(0) 编辑