上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 124 下一页

2024年1月12日

dremio jdbc 插件时间增量处理的一些问题

摘要： dremio 支持一些增量数据处理能力，同时可以选择增量字段，目前dremio 是提供了一些实现，比如反射数据基于iceberg对于增量 可以是不同的数据源（jdbc 的，文件系统的，iceberg 的），日常大家可能选择基于时间戳的（尤其业务系统是基于时间标识的append 类型的） 对于时间类型 阅读全文

posted @ 2024-01-12 14:39 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

2024年1月11日

dremio 反射刷新时间的一些简单说明

摘要： dremio 的反射是可以创建的view 以及table （datasource 中的表) 上的，默认物化反射的调度频率最小是1小时，view 上的反射频率是不能调整的（只能创建，不能配置频率），物理表可以进行配置调整，以下是一些测试说明 几个方便观测反射效果的sql 以下是提供的几个系统表可以方便 阅读全文

posted @ 2024-01-11 20:14 荣锋亮 阅读(53) 评论(0) 推荐(0) 编辑

dremio+nessie+dbt+ cube.js 实现简单数据服务

摘要： 以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能 阅读全文

posted @ 2024-01-11 15:22 荣锋亮 阅读(84) 评论(0) 推荐(0) 编辑

2024年1月10日

maven extension 简单说明

摘要： 按照说明maven 是3.3.1 发布了maven extension，功能很强大，以前没太注意，在看dremio 关于telemetry 集成的时候发现是一个很强大的 功能，尤其在我们需要提高maven 构建性能的时候，以下是一个简单的说明 配置说明 一般包含了核心扩展以及构建扩展 核心扩展 ja 阅读全文

posted @ 2024-01-10 17:17 荣锋亮 阅读(250) 评论(0) 推荐(0) 编辑

2024年1月9日

dremio nessie 元数据sql查询简单说明

摘要： 以前我简单介绍过关于dremio 与nessie 集成的，基本可以分为两大类，一类是完全使用nessie 做为元数据以及iceberg 的操作，还有就是nessie 做为其他外部工具的元数据存储，同时dremio 专门也开发了相关的sql 操作，这样并不需要使用ui 进行操作 nessie元数据操作 阅读全文

posted @ 2024-01-09 16:42 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

onyxlang 简单包创建&使用

摘要： onyxlang 支持包，提供了基于git 的模式，以下是一个简单试用 创建包 初始化 onyx package init 添加配置 按照官方的介绍，一个包需要包含代码（git repo），onyx-pkg.kdl 文件，module.onyx 文件 onyx-pkg.kdl 上边初始化的时候已经创 阅读全文

posted @ 2024-01-09 12:15 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

onyxlang 简单试用

摘要： 以前简单说过onyxlang 是一个基于webassembly 的新编程语言，以下是一个简单试用 安装 sh <(curl https://get.onyxlang.io -sSfL) 效果 注意安装完成之后需要配置环境变量（有提示） 包含的cli Onyx toolchain version v0 阅读全文

posted @ 2024-01-09 09:31 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2024年1月8日

swoosh elixir 方便的邮件发送&测试客户端

摘要： swoosh提供了多中邮件平台的adapter ，可以方便的进行邮件的测试，发送，还包含了对于phoenix 的集成同时还包含了一个方便的本地邮箱预览服务 参考资料 https://github.com/swoosh/swooshhttps://hexdocs.pm/swoosh 阅读全文

posted @ 2024-01-08 10:16 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

ssh3 基于http3 的安全shell 实现

摘要： ssh3 基于http3 的安全shell 实现，基于golang 开发 包含的特性 快速会话建立 支持基于http 的认证，oauth，openid 规避端口扫描，可以实现隐藏能力（零信任经常使用的玩法） udp 端口转发以及经典的tcp 端口转发支持 基于quic 协议 说明 前段时间opens 阅读全文

posted @ 2024-01-08 09:28 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

biscuit 委托&去中心化&基于功能的授权令牌

摘要： 基于token 的认证在微服务，以及api 安全中是比较常见的，大家使用比较多的是jwt，但是目前大家对于jwt 吐槽的地方是越来越多了（核心还是和安全有一些关系） 包含的特性 去中心化的校验 基于了公钥模式 离线减弱 核心是可以基于一个校验过的key，生成新的权限小的key（适合权限委托） dat 阅读全文

posted @ 2024-01-08 09:19 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

pluto lua 的超集

摘要： pluto 是lua 的超集（5.4 版本的），同时还提供了一些新的特性，以及语法，当然也支持与lua 的兼容模式包含了语法以及bbytecode 说明 lua 这个小语法在实际应用中还是很多的，比如移动端，游戏，waf，nginx，framework 中，以后可以试用下Pluto 参考资料 htt 阅读全文

posted @ 2024-01-08 08:47 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

onyxlang 基于webassembly 的新编程语言

摘要： onyxlang 基于webassembly 的新编程语言，目前已经包含了包管理，语言server，编译器支持，同时包含了基于wasmer 以及wasix 的跨平台部署 onyxlang 可以做的事情 包含了http server video 游戏 说明 目前基于webassembly 的平台以及框 阅读全文

posted @ 2024-01-08 08:42 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年1月6日

nerves 基于elixir 开发嵌入式系统

摘要： nerves 可以使我们基于elixir 开发嵌入式系统，而且基于erlang 强大的虚拟机能力实现可靠，高效的系统 说明 nerves 包含了不少子系统，都可以加速系统的开发，值得学习下 参考资料 https://nerves-project.org/#featureshttps://github 阅读全文

posted @ 2024-01-06 20:15 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

tsx nodejs 增强支持执行typescript 以及esm

摘要： tsx 属于一个nodejs的增强 包含的特性 快速的按需ts 以及esm 编译 支持commonjs 以及esm 包 支持下一代ts 扩展（.cts, .mts） 隐藏体验特性警告 ts repl 解析tsconfig.json 适用的场景 可以执行运行ts 而不需要进行配置 更好的与esm，cj 阅读全文

posted @ 2024-01-06 09:45 荣锋亮 阅读(88) 评论(0) 推荐(0) 编辑

2024年1月5日

elixir erlang 简单调用学习

摘要： 实际上基于elixir 的mix 进行erlang 以及elixir 的互调用开发处理是很方便的，mix 直接就包含了构建erlang代码 同时对于代码的互调用，只要使用符合语言格式要求就行了，以下是一个简单的互调用学习 项目准备 项目结构 ├── README.md ├── lib │ ├── a 阅读全文

posted @ 2024-01-05 17:09 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

datavault4dbt Scalefree的dbt datavault2.0 包

摘要： 基于基于dbt 的datavault 2.0 实现还是不少的，可以加速模型的创建，以前简单介绍的automate-dv 也是一个类似的dbt包 包含的maccro Staging Area (For Hashing, prejoins and ghost records) Hubs, Links & 阅读全文

posted @ 2024-01-05 14:28 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

基于macro 仿写一个简单的ecto schema dsl

摘要： ecto 的schema macro 是一个很方便的功能，可以用来定义表的schema 信息，以下是一个简单的仿写（只是行像，但是功能不一样） 项目代码 macro 定义 e.ex defmodule E do # 方便use 使用 defmacro __using__(_options) do q 阅读全文

posted @ 2024-01-05 13:48 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

rabbitmq 集群docker玩法

摘要： 属于一个简单测试玩的，rabbitmq 实际最近几年变化还是挺大的（主要是一些新特性，核心amqp 是一致的） 环境准备 测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container 阅读全文

posted @ 2024-01-05 10:10 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

2024年1月4日

erlang 多版本管理工具

摘要： 对于日常开发中，多版本还是比较重要的，erlang 多版本管理工具也包含不少 包含的工具 asdf 多用途的软件多版本管理工具 kerl 核心是处理erlang 多版本的 kiex 基于了kerl 以及ruby 的一些工具，目前似乎缺少维护了 说明 目前比较推荐的是kerl 以及asdf，当然还得看 阅读全文

posted @ 2024-01-04 18:03 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

elixir config 简单说明

摘要： elixir 的config 模块，实际上就是标准的方法，只是mix 项目中在使用的时候使用了dsl 模式的，没有使用包含括号的模式调用 给人一种似乎觉得有点怪的调用模式 参考代码 只说明config 方法，实际上Config 模块还包含了其他方法 mix 中的调用 import Config co 阅读全文

posted @ 2024-01-04 17:29 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

elixir 模块名一些参考资料

摘要： elixir 的模块名实际上是一个atom 类型的数据,以下是一些参考资料 参考使用 比如一个mix sup 项目 defmodule EctoDemo.Application do use Application @impl true def start(_type, _args) do chil 阅读全文

posted @ 2024-01-04 15:31 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

elixir mix 自定义任务

摘要： elixir 的mix 比较灵活，同时也比较强大，很多时候我们可以自己定义一个任务，方便运行以及构建，不少 三方框架会提供一些方便的cli ，一般也会使用此方法比如ecto orm 框架，以下是一个简单的自定义task 学习 参考开发 目录位置 这个实际上都f放那里可以，只是有一个简单的约定，建议放 阅读全文

posted @ 2024-01-04 13:09 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

elixir mix observer 工具的使用

摘要： 默认elixir mix 没有添加observer 工具的依赖直接运行会提示找不到方法 解决方法 添加几个额外的依赖 主要是observer,:wx,:runtime_tools 这几个 def application do [ extra_applications: [:logger,:obser 阅读全文

posted @ 2024-01-04 12:02 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

elixir defdelegate 使用

摘要： delegate 模式，在不少语言都支持，有些是隐式的（一些早期语言），有些是显式的（新语言，kotlin，swift等） elixir 也支持delegate 处理，还是比较方便的，以下是一个简单的使用 定义原始方法 default.ex defmodule Default do def logi 阅读全文

posted @ 2024-01-04 09:25 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年1月3日

absinthe dataloader 简单说明

摘要： dataloader 核心是为了解决graphql 对于后段服务的频繁调用，absinthe 基于graphql的dataloader 实现了elixir 版本的 参考使用 代码 source = Dataloader.Ecto.new(MyApp.Repo) # setup the loader 阅读全文

posted @ 2024-01-03 19:45 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

absinthe elixir 的graphql 框架简单试用

摘要： absinthe elixir 的graphql 框架 包含的特性 graphql 草案的完整实现 插件化设计 异步字段解析以及批量解析，同时支持插件化的解析支持 安全 包含了基于GraphiQL 的playground 项目测试 基于了phoenix 框架 创建phoenix 项目 mix phx 阅读全文

posted @ 2024-01-03 19:15 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

elixir macro defoverridable 功能

摘要： 基于macro 的包装函数可以使用defoverridable 可以方便进行方法的重写 参考使用 app.ex defmodule App do defmacro __using__(_options) do quote do def init do IO.puts "do init" end de 阅读全文

posted @ 2024-01-03 17:47 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

elixir apply 结合 macro 一个方便的开发技巧

摘要： 此玩法实际在Phoenix elixir 项目中使用比较多，以下是一个简单的示例 示例代码 login.ex defmodule Login do def demoapp do quote do import unquote(__MODULE__) end end def dalong do IO. 阅读全文

posted @ 2024-01-03 15:08 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

nova erlang web 框架

摘要： nova erlang web 框架，提供了cli ，使用比较方便，web 处理基于了 cowboy （erlang 常用） 依赖的三方包 可以看出，依赖了cowboy（web 处理） {deps, [ {cowboy, "2.10.0"}, {uuid, "2.0.7", {pkg, uuid_e 阅读全文

posted @ 2024-01-03 09:42 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

2024年1月2日

wasmex webassenbly elixir 运行时

摘要： wasmex 是基于wasmtime 以及rust nif 开发的方便elixir 运行webassembly 的框架 与rust 的集成 与rust 集成使用的三方包 与mjml 工具类似使用了rustler_precompiled 以及rustler rust 使用的三方包 前边也说了是基于了w 阅读全文

posted @ 2024-01-02 14:19 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

oban简单学习试用

摘要： 以前简单介绍过oban 一个强大的elixir任务框架，支持不少类型模式的job 处理，以下是一个简单的试用 环境准备 数据库使用了pg，oban 使用了ecto 这个强大的orm 框架，添加了oban 依赖之后就可以使用包含的mix ecto 命令进行 表的创建了，数据库使用docker-comp 阅读全文

posted @ 2024-01-02 11:12 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

2024年1月1日

oban elixir 强大的任务处理框架

摘要： oban elixir 强大的任务处理框架，后端存储基于了sqlite 或者pg 包含的特性 Isolated Queues Queue Control Resilient Queues Job Canceling Triggered Execution Unique Jobs Scheduled 阅读全文

posted @ 2024-01-01 13:57 荣锋亮 阅读(34) 评论(0) 推荐(0) 编辑

2023年12月31日

johnny-five 开发框架

摘要： johnny-five 是一个支持机器人以及IOT编程的开发框架，基于nodejs，核心是支持对于arduino兼容的设备，但是对于其他非arduino 的设备可以通过IO Plugins 解决 说明 对于想使用nodejs 开发arduino硬件的同学来说是一个不错的选择，同时还有一些相关的参考书 阅读全文

posted @ 2023-12-31 10:58 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

2023年12月30日

dremio nessie 集成玩法

摘要： 昨天我简单写了dremio 集成nessie 的玩法， 实际上dremio 与nessie 的集成可以分为两大类，一类是使用nessie 做为catalog 服务 （当然也是支持写入iceberg 的），一类是基于外部工具（spark，flink） 使用nessie 做为metadata stora 阅读全文

posted @ 2023-12-30 13:55 荣锋亮 阅读(82) 评论(0) 推荐(0) 编辑

2023年12月29日

dremio nessie数据源集成简单说明

摘要： nessie 是一个强大的支持类似git 分之特性的apache iceberg 智能元数据存储, 主要测试下基于nessie dremio 元数据存储（catalog） 集成参考架构 环境准备 docker-compose 文件 version: "3" services: minio: imag 阅读全文

posted @ 2023-12-29 20:04 荣锋亮 阅读(41) 评论(0) 推荐(0) 编辑

rustler-precompiled rustler 扩展工具简单说明

摘要： 已经简单说过mjml_nif使用了rustler+rustler-precompiled 进行nif 的构建，同时官方也写了一篇相关的博客进行介绍 使用说明 配置依赖 def deps do [ {:rustler_precompiled, "~> 0.7"} ] end 配置native 使用 可 阅读全文

posted @ 2023-12-29 11:12 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

rustler 简单试用

摘要： 昨天简单说了基于mrml 包装的elixir mjml_nif 模块，其中使用了rustler 进行elixir 与rust 的构建集成（基于了nif） 以下是一个简单的rustler 学习试用 项目准备 基于mix 初始化 初始化项目 mix new dalong 添加依赖 mix.exs def 阅读全文

posted @ 2023-12-29 10:49 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

java调用rust 共享库的一些方法简单说明

摘要： java 与rust 的调用，核心还是基于jni 进行处理，rust社区实现了不少方便的工具可以提供rust 到c 的处理（比如生成头文件）以下是整理的一些资料，方便学习 几个不错的包 jni-rs 目前还在活跃更新中，同时github 的start 也比较多，同时不少开源软件在用，比如questd 阅读全文

posted @ 2023-12-29 10:17 荣锋亮 阅读(187) 评论(0) 推荐(0) 编辑

2023年12月28日

mrml 使用中的一些问题

摘要： mrml 对于mjml 的兼容还是很不错的，目前是一些问题 问题 mjml version 问题 这个属于早期版本的问题了，目前使用方法已经不包含此参数了 <mjml version="3.3.3"> 应该去掉version 其他配置参数 mrml 的实现与mjml 的配置参数基本一致，有几个参数我 阅读全文

posted @ 2023-12-28 21:20 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

elixir mjml_nif 试用

摘要： mjml_nif 是使用rustler 包装的mrml 基于了erlang 的nif 接口实现的elixir 模块，同时为了方便预编译nif的使用，使用了 rustler_precompiled，以下是一个简单的试用 项目试用 添加依赖 defp deps do [ {:mjml, "~> 3.0" 阅读全文

posted @ 2023-12-28 20:35 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 124 下一页

导航