随笔分类 - Database
数据库编程
摘要：elastic4s是elasticsearch一个第三方开发的scala语言终端工具库（Elastic4s is a concise, idiomatic, reactive, type safe Scala client for Elasticsearch.）。scala用户可以用elastic4
阅读全文
摘要：上篇谈到：elasticsearch本身是一个完整的后台系统，对其的操作使用是通过终端api进行的。elasticsearch本身提供了多种编程语言的api，包括java的esjava。而elastic4s是一套基于esjava之上的scala api。 先看看scala 终端 ElasticCli
阅读全文
摘要：农历年最后一场scala-meetup听刘颖分享专业软件开发经验，大受启发。突然意识到一直以来都没有完全按照任何标准的开发规范做事。诚然，在做技术调研和学习的过程中不会对规范操作有什么严格要求，一旦技术落地进入应用阶段，开始进行产品开发时，只有严格按照专业的软件开发规范才能保证软件产品的质量。刘颖在
阅读全文
摘要：学习函数式编程初衷是看到自己熟悉的oop编程语言和sql数据库在现代商业社会中前景暗淡，准备完全放弃windows技术栈转到分布式大数据技术领域的。但是在现实中理想总是不如人意，本来想在一个规模较小的公司展展拳脚，以为小公司会少点历史包袱，有利于全面技术改造。但现实是：即使是小公司，一旦有个成熟的产
阅读全文
摘要：对于akka-cluster这样的分布式软件系统来说，选择配套的数据库类型也是比较讲究的，最好也是分布式的，如cassandra，能保证良好的HA特性。前面的例子里示范akka-persistence时已经使用了cassandra作为journal和snapshot-store。一直以来基本上都在一
阅读全文
摘要：在一个akka-cluster环境里，从数据调用的角度上，JDBC数据库与集群中其它节点是脱离的。这是因为JDBC数据库不是分布式的，不具备节点位置透明化特性。所以，JDBC数据库服务器必须通过服务方式来向外提供数据操。在这种场景里服务端是JDBC服务，其它节点，包括其它的JDBC数据库节点都是这个
阅读全文
摘要：根据上篇关于MongoDB-Engine的功能设计方案，我们将在这篇讨论里进行功能实现和测试。下面是具体的功能实现代码：基本上是直接调用Mongo-scala的对应函数，需要注意的是java类型和scala类型之间的相互转换： 注意：以上所有函数都返回Future[T]结果。下面我们来试运行这些函数
阅读全文
摘要：为了让前面规划的互联网+数据平台能有效对电子商务数据进行管理及实现大数据统计功能，必须在平台上再增加一个MongDB-Engine：数据平台用户通过传入一种Context来指示MongoDB-Engine运算。与前面JDBC-Engine和Cassandra-Engine通过文本式传递指令不同的是：
阅读全文
摘要：MongoDB是一种文件型数据库，对数据格式没有硬性要求，所以可以实现灵活多变的数据存储和读取。MongoDB又是一种分布式数据库，与传统关系数据库不同的是，分布式数据库不支持table-join，所以在设计数据库表结构方面与关系数据库有很大的不同。分布式数据库有一套与传统观念不同的数据模式，在设计
阅读全文
摘要：akka在alpakka工具包里提供了对cassandra数据库的streaming功能。简单来讲就是用一个CQL-statement读取cassandra数据并产生akka-stream的Source。这是一个支持reactive-stream协议的流： CassandraSource.apply
阅读全文
摘要：再有两天就进入2018了,想想还是要准备一下明年的工作方向。回想当初开始学习函数式编程时的主要目的是想设计一套标准API給那些习惯了OOP方式开发商业应用软件的程序员们，使他们能用一种接近传统数据库软件编程的方式来实现多线程，并行运算，分布式的数据处理应用程序，前提是这种编程方式不需要对函数式编程语
阅读全文
