摘要: 1,java.lang.ClassNotFoundException Unknown pair 1.Please try to turn on isStoreKeepBinary in cache settings - like this; please note the last line: do 阅读全文
posted @ 2018-12-03 22:44 堕落门徒 阅读(4961) 评论(1) 推荐(1) 编辑
摘要: 简介 ​ 服务网格本质上还是远程方法调用(RPC),而在ignite中注册的服务本质体现还是以cache的形式存在,集群中的节点可以相互调用部署在其它节点上的服务,而且ignite集群会负责部署服务的容错和负载均衡,并且服务可以在集群节点间传播(前提是节点类路径中包含服务类),并且给服务的部署方式提 阅读全文
posted @ 2018-11-15 22:31 堕落门徒 阅读(2347) 评论(0) 推荐(0) 编辑
摘要: 服务端 在golang中,实现一个普通的http接口可以处理get请求和 类型的post请求,而如果想实现处理json数据的post请求,则需要用另外的方式实现,接收的参数要从 中读取: go package main import ( "net/http" "encoding/json" "log 阅读全文
posted @ 2018-09-01 22:41 堕落门徒 阅读(13435) 评论(0) 推荐(2) 编辑
摘要: 目录1,安装selenium和配置chromedriver2,调用chromedriver打开网页获取网页内容3,模拟登陆百度云4, 异常问题附录(webdriver版本兼容列表) 通过selenium库,python可以调用chrome打开指定网页并获取网页内容或者模拟登陆获取网页内容 1,安装s 阅读全文
posted @ 2018-08-29 09:27 堕落门徒 阅读(10723) 评论(0) 推荐(0) 编辑
摘要: 首先添加相关依赖: 需要注意的是依赖中排除掉的日志模块,以及特殊的打包方式 定义配置类: 启动类: 执行方式: 参考链接: "https://stackoverflow.com/questions/45189701/submitting spring boot application jar to 阅读全文
posted @ 2018-08-24 16:00 堕落门徒 阅读(17186) 评论(2) 推荐(0) 编辑
摘要: ignite分布式计算 在ignite中,有传统的MapReduce模型的分布式计算,也有基于分布式存储的并置计算,当数据分散到不同的节点上时,根据提供的并置键,计算会传播到数据所在的节点进行计算,再结合数据并置,相关联的数据存储在相同节点,这样可以避免在计算过程中涉及到大量的数据移动,有效保证计算 阅读全文
posted @ 2018-08-23 23:29 堕落门徒 阅读(3721) 评论(0) 推荐(0) 编辑
摘要: 静态分区: 在hive中创建表可以使用 脚本: 注意,分区字段不能与表中的字段重复,不然会执行出错 执行 脚本: 手动添加分区: 创建好分区后,hive会在HDFS存储中创建相应的路径: 或者使用 使用 脚本导入数据: 在使用sqoop导入数据的时候可以指定分区,但是 和` hive partiti 阅读全文
posted @ 2018-08-23 18:12 堕落门徒 阅读(8427) 评论(4) 推荐(1) 编辑
摘要: 1.使用pip命令安装cx_Oracle 2.安装oracle客户端,并添加到path 下载路径: "http://www.oracle.com/technetwork/database/database technologies/instant client/downloads/index.htm 阅读全文
posted @ 2018-08-21 15:15 堕落门徒 阅读(1573) 评论(0) 推荐(0) 编辑
摘要: 在windows下换行符是 ,表示回到行首并换到下一行 而unix系统中换行符是 这样就存在一个问题,在windows上的文档到了unix上可能就无法使用了 针对这个情况有几种解决办法: 1.用vim修改文档的文本格式(fileformat) 2.使用ide修改文本格式 notepad++: 右下角 阅读全文
posted @ 2018-08-20 21:12 堕落门徒 阅读(1903) 评论(0) 推荐(0) 编辑
摘要: ignite持久化与固化内存 1.持久化的机制 ignite持久化的关键点如下 : ignite持久化可防止内存溢出导致数据丢失的情况; 持久化可以定制化配置,按需持久化; 持久化能解决在大量缓存数据情况下ignite节点启动缓慢的问题; 使用持久化后,ignite能存储海量的数据; 使用持久化之后 阅读全文
posted @ 2018-08-20 11:16 堕落门徒 阅读(9040) 评论(6) 推荐(2) 编辑