06 2019 档案
摘要：import java.util.concurrent.{ExecutorService, Executors, TimeUnit} import akka.actor.{Actor, ActorSystem, Props} import akka.util.Timeout import scala
阅读全文
摘要：logstash input插件之mongodb是第三方的，配置如下： input { mongodb { uri => 'mongodb://mongo_server:27017/db' placeholder_db_dir => '/path/to/db_dir/' placeholder_db
阅读全文
摘要：官方：https://www.sqlite.org/index.html 简介 SQLite is a C-language library that implements a small, fast, self-contained, high-reliability, full-featured,
阅读全文
摘要：查看当前时区 > show variables like '%time_zone%'; + + + | Variable_name | Value | + + + | system_time_zone | UTC | | time_zone | SYSTEM | + + + 2 rows in se
阅读全文
摘要：官方：https://mesos.github.io/chronos/ mesos集群中替换crontab Chronos A fault tolerant job scheduler for Mesos which handles dependencies and ISO8601 based sc
阅读全文
摘要：logrotate logrotate ‐ rotates, compresses, and mails system logs logrotate is designed to ease administration of systems that generate large numbers o
阅读全文
摘要：https://drill.apache.org/ 一 简介 Drill is an Apache open-source SQL query engine for Big Data exploration. Drill is designed from the ground up to suppo
阅读全文
摘要：1 proxy_ignore_headers 1.1 Set-Cookie By default, nginx does not caches requests with Set-Cookie. 默认情况下：Nginx不会缓存response中带有Set-Cookie的请求； If a header
阅读全文
摘要：官方：https://www.nginx.com/products/nginx-amplify/ NGINX Amplify is a SaaS‑based monitoring tool for the open source NGINX software and NGINX Plus. With
阅读全文
摘要：ETL ETL is an abbreviation of Extract, Transform and Load. In this process, an ETL tool extracts the data from different RDBMS source systems then tra
阅读全文
摘要：java应用中经常需要用到jvm工具来进行一些操作，如果java应用部署在docker容器中，如何使用jvm工具？ 首先要看使用的docker镜像， 比如常用的openjdk镜像分为jdk和jre，只有jdk版本才有jvm工具，所以可以直接使用jdk版本的openjdk； 比如常用的tomcat镜像
阅读全文
摘要：marathon重启app后一直处于waiting状态，查看marathon日志 # journalctl -u marathon -f 有如下日志： Jun 14 12:58:38 DataOne-002 marathon[15801]: [2019-06-14 12:58:38,321] INF
阅读全文
摘要：在docker中启动tomcat或java类应用，获取时间默认是UTC时间，这是因为容器内的locale没有设置为东8区，最简单的方式是增加JAVA_OPTS 如果是java，直接在java命令后增加 -Duser.timezone=Asia/Shanghai 如果是tomcat可以先设置CATAL
阅读全文
摘要：spring boot 启动报错： Caused by: java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either
阅读全文
摘要：1 idea 结果 2 maven命令 $ mvn dependency:tree 结果 [INFO] +- org.springframework.boot:spring-boot-starter-aop:jar:2.1.3.RELEASE:compile [INFO] | +- org.spri
阅读全文
摘要：docker启动tomcat默认是： Run the default Tomcat server (CMD ["catalina.sh", "run"]): 查看tomcat启动脚本catalish.sh elif [ "$1" = "run" ]; then shift if [ "$1" = "
阅读全文
摘要：经常有一些需要做id打通的场景，比如用户id打通等， 问题抽象是每条数据都可以解析出一个或多个kv pair:(id_type,id)，然后需要将某一个kv pair匹配的多条数据进行merge； 比如： data1: Array(('type1', 'id1'), ('type2', 'id2')
阅读全文
摘要：gobblin 0.10 想要持久化kafka到hdfs有很多种方式，比如flume、logstash、gobblin，其中flume和logstash是流式的，gobblin是批处理式的，gobblin通过定时任务触发来完成数据持久化，在任务和任务之间是没有任何读写的，这点是和flume、logs
阅读全文
摘要：spark 2.4.3 spark读取hive表，步骤： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport().getOrCreate
阅读全文
摘要：kudu tserver占用内存过高后会拒绝部分写请求，日志如下： 19/06/01 13:34:12 INFO AsyncKuduClient: Invalidating location 34b1c13d04664cc8bae6689d39b08b77($kudu_tserver:7050) f
阅读全文
