会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
堕落门徒
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
7
下一页
2018年11月15日
apache ignite系列(六): 服务网格
摘要: 简介 服务网格本质上还是远程方法调用(RPC),而在ignite中注册的服务本质体现还是以cache的形式存在,集群中的节点可以相互调用部署在其它节点上的服务,而且ignite集群会负责部署服务的容错和负载均衡,并且服务可以在集群节点间传播(前提是节点类路径中包含服务类),并且给服务的部署方式提
阅读全文
posted @ 2018-11-15 22:31 堕落门徒
阅读(2492)
评论(0)
推荐(0)
2018年9月1日
golang实现get和post请求的服务端和客户端
摘要: 服务端 在golang中,实现一个普通的http接口可以处理get请求和 类型的post请求,而如果想实现处理json数据的post请求,则需要用另外的方式实现,接收的参数要从 中读取: go package main import ( "net/http" "encoding/json" "log
阅读全文
posted @ 2018-09-01 22:41 堕落门徒
阅读(13790)
评论(0)
推荐(2)
2018年8月29日
python+selenium调用chrome打开网址获取内容
摘要: 目录1,安装selenium和配置chromedriver2,调用chromedriver打开网页获取网页内容3,模拟登陆百度云4, 异常问题附录(webdriver版本兼容列表) 通过selenium库,python可以调用chrome打开指定网页并获取网页内容或者模拟登陆获取网页内容 1,安装s
阅读全文
posted @ 2018-08-29 09:27 堕落门徒
阅读(11194)
评论(0)
推荐(0)
2018年8月24日
spring-boot集成spark并使用spark-sql
摘要: 首先添加相关依赖: 需要注意的是依赖中排除掉的日志模块,以及特殊的打包方式 定义配置类: 启动类: 执行方式: 参考链接: "https://stackoverflow.com/questions/45189701/submitting spring boot application jar to
阅读全文
posted @ 2018-08-24 16:00 堕落门徒
阅读(17465)
评论(2)
推荐(0)
2018年8月23日
apache ignite系列(五):分布式计算
摘要: ignite分布式计算 在ignite中,有传统的MapReduce模型的分布式计算,也有基于分布式存储的并置计算,当数据分散到不同的节点上时,根据提供的并置键,计算会传播到数据所在的节点进行计算,再结合数据并置,相关联的数据存储在相同节点,这样可以避免在计算过程中涉及到大量的数据移动,有效保证计算
阅读全文
posted @ 2018-08-23 23:29 堕落门徒
阅读(3906)
评论(0)
推荐(0)
sqoop导oracle数据到hive中并动态分区
摘要: 静态分区: 在hive中创建表可以使用 脚本: 注意,分区字段不能与表中的字段重复,不然会执行出错 执行 脚本: 手动添加分区: 创建好分区后,hive会在HDFS存储中创建相应的路径: 或者使用 使用 脚本导入数据: 在使用sqoop导入数据的时候可以指定分区,但是 和` hive partiti
阅读全文
posted @ 2018-08-23 18:12 堕落门徒
阅读(8655)
评论(4)
推荐(1)
2018年8月21日
python使用cx_Oracle连接oracle
摘要: 1.使用pip命令安装cx_Oracle 2.安装oracle客户端,并添加到path 下载路径: "http://www.oracle.com/technetwork/database/database technologies/instant client/downloads/index.htm
阅读全文
posted @ 2018-08-21 15:15 堕落门徒
阅读(1606)
评论(0)
推荐(0)
2018年8月20日
将dos格式文件转换为unix格式
摘要: 在windows下换行符是 ,表示回到行首并换到下一行 而unix系统中换行符是 这样就存在一个问题,在windows上的文档到了unix上可能就无法使用了 针对这个情况有几种解决办法: 1.用vim修改文档的文本格式(fileformat) 2.使用ide修改文本格式 notepad++: 右下角
阅读全文
posted @ 2018-08-20 21:12 堕落门徒
阅读(1986)
评论(0)
推荐(0)
apache ignite系列(四):持久化
摘要: ignite持久化与固化内存 1.持久化的机制 ignite持久化的关键点如下 : ignite持久化可防止内存溢出导致数据丢失的情况; 持久化可以定制化配置,按需持久化; 持久化能解决在大量缓存数据情况下ignite节点启动缓慢的问题; 使用持久化后,ignite能存储海量的数据; 使用持久化之后
阅读全文
posted @ 2018-08-20 11:16 堕落门徒
阅读(9606)
评论(6)
推荐(2)
apache ignite系列(三):数据处理(数据加载,数据并置,数据查询)
摘要: 使用ignite的一个常见思路就是将现有的关系型数据库中的数据导入到ignite中,然后直接使用ignite中的数据,相当于将ignite作为一个缓存服务,当然ignite的功能远不止于此,下面以将ignite集成进java服务的方式进行演示ignite的数据存储和查询相关的功能。由于个人习惯,
阅读全文
posted @ 2018-08-20 08:51 堕落门徒
阅读(11414)
评论(0)
推荐(2)
上一页
1
2
3
4
5
6
7
下一页
公告