08 2015 档案
摘要:gen是gorm官方推出的一个GORM代码生成工具 官方文档:https://gorm.io/zh_CN/gen/ 1.使用gen框架生成model和dao 安装gorm gen go get -u gorm.io/gen 假设有如下用户表 CREATE TABLE user ( `id` bigi
阅读全文
摘要:MySQL的架构可以分成连接层,Server层和存储引擎层。 undo log 和 redo log 是 MySQL InnoDB 存储引擎管理的数据日志类型,它们主要用于支持事务的 ACID 特性,即原子性、一致性、隔离性和持久性。 1.Undo Log(回滚日志) undo log 用于支持事务
阅读全文
摘要:可以使用postman创建一个mock server用于临时测试API,参考官方文档:Configure and use a Postman mock server 选择Mock servers,点击+号创建一个mock server 创建 最后会得到一个URL,这就是mock server请求的U
阅读全文
摘要:1.获取元素 通过a标签的文本筛选 driver.find_element(By.LINK_TEXT, 'xx').click() 通过css筛选 driver.find_element(By.CSS_SELECTOR, "input[type='email']").send_keys("xxx")
阅读全文
摘要:使用parquet-tools的方法有2种 1.在安装了CDH的机器上,会自动有parquet-tools命令 lintong@master:/opt/cloudera/parcels/CDH/bin$ ls| grep parquet-tools parquet-tools lintong@mas
阅读全文
摘要:avro-protobuf项目提供ProtobufDatumReader类,可以用于从protobuf定义生成的java class中获得avro schema 使用方法如下: 1.引入依赖 <dependency> <groupId>org.apache.avro</groupId> <artif
阅读全文
摘要:Amazon EMR是Amazon提供的托管大数据套件,可选的组件包括Hadoop,Hive,Hue,Hbase,Presto,Spark等 使用Amazon EMR的好处是快速伸缩,版本升级也较为方便,如果配合S3存储,可以做到计算和存储分离,这样对于运维的压力会小一些,存储的稳定性交给S3,计算
阅读全文
摘要:在使用grafana的filter的时候,其支持一些语法用于对指标进行过滤,如下 literal_or : tagv的过滤规则: 精确匹配多项迭代值,多项迭代值以'|'分隔,大小写敏感 iliteral_or: tagv的过滤规则: 精确匹配多项迭代值,多项迭代值以'|'分隔,忽略大小写 wildc
阅读全文
摘要:HAProxy1.9.0及其以上版本支持了Data Plane API功能,可以使用API的方式来管理HAProxy 官方网址 https://github.com/haproxytech/dataplaneapi 以及 https://ci-jie.github.io/2020/10/25/HAP
阅读全文
摘要:1.webstorm开发环境调试 配置npm,然后run start command+shift,并点击url 这时webstorm会自动添加JavaScript debug 此时在浏览器点击页面,产生的日志就会在webstorm的console中显示 2.react动态路由 3.react hoo
阅读全文
摘要:1.oplog MongoDB副本集由一组服务器组成,这些服务器都具有相同数据的副本,复制可确保客户端对副本集主副本集上的文档所做的所有更改都正确应用于其他副本集的服务器,称为secondaries副本。 MongoDB 复制的工作原理是让主节点在其操作日志(或操作日志)中记录更改,然后每个从节点读
阅读全文
摘要:给spark任务添加jar包的方式 spark中使用的jar分成2种,一种是用户自行添加的jar,另一种是spark环境依赖的jar 1.spark环境依赖的jar 其添加的方式有有下面几种 1. --conf spark.driver.extraClassPath=... or --driver-
阅读全文