摘要：
首先总共有两个脚本： #!/bin/bash：主要用于进行数据库备份、压缩、删除，单独运行命令是：bash XXX.sh #!/usr/bin/expect：主要用于进行数据备份文件的上传，单独运行命令是：expect XXX.sh 这两个脚本都需要具有777权限：chmod 777 XXX.sh 阅读全文
摘要：
针对大数据量推送，常规的推送工具推送效率很慢，比如kettle ，上千万的数据用时太长，因此，我使用了datax进行推送，1600万用时10分钟，2800万用时20分钟。用datax推送的效率很高 在datax安装好了之后，推送的配置文件主要是配置 json 文件，全量推送可以放置在 /datax/ 阅读全文
摘要：
对于大数据的采集推送，有时为了方便会将一张大表的数据按照月份分别存储，尤其是在与流水表相关的业务情况，因此需要定时按照月份去创建表。 我有问过是否可以通过数据库的存储过程和事件触发器实现，得到的回答是可以，但是存储过程和事件触发器很影响数据库性能，不建议用，因此我才用了通过Linux服务器实现这一功 阅读全文
摘要：
今日在一个问题与同事上产生了分歧，起因很简单。两个大屏展示的同一个指标数据对不上，从同事的角度上来说，两个大屏的数据要对上，但是我不这么看。 事件的过程： 1.两个大屏，一个负责展示数据仓库的数据内容，一个负责对外展示客户集团的数据情况 2.这个数据展示用的是同一个数据来源，但是数据中包含了正常数据 阅读全文
摘要：
持续更新........ mysql linux常见操作语句 ./mysql -u root -p 进入MySQL bin 文件夹登录select * from mysql.user 查看MySQL数据库用户信息，主要是账户信息和host 权限信息update mysql.user set host 阅读全文
摘要：
Liunx 进入MySQL 安装文件夹 bin中，输入： 导出全库数据 ./mysqldump -u 账户 -p密码 数据库名 >/usr/mysqldump/xxx.sql 示例 ./mysqldump -u root -proot test456 >/usr/mysqldump/test456. 阅读全文
摘要：
在进行对接数据时，经常会遇到对接的是接口数据。 关于在对接接口类型的数据，数据返回的为json数组形式的数据，需要讲数组先解析出来，主要是通过 jsonpath 表达式 。 jsonpath 表达式 ： 1、JSONPath是xpath在json的应用2、JSONPath 是参照xpath表达式来解 阅读全文
摘要：
突然就想写写关于数据治理的收获，主要是担心自己会慢慢的把数据治理相关的一些想法忘记了，顺便理一下关于数据治理的框架。同时强调一下：以下的言论仅仅代表我个人的看法和认知，很片面，也很肤浅，如果有大佬看见了错误之处，欢迎批评指正！后期有错误，我会进行相应的修改。 1.工作经历 从接触数据治理是从ETL开 阅读全文
摘要：
在面试过程中，关于Java的内存模型（侧重于：Java的并发原理）和JVM的内存模型并不是同一个问题，所以自己在通过查询资料之后对相关的知识点进行总结，如果有写得错误的地方，欢迎指出，也可以一起探讨。 基于计算机的内存设计结构，CPU在发展过程中，运行速度越来越快，内存的读写速度跟不上CPU的运行速 阅读全文