05 2017 档案
摘要：scala学习网址为：https://twitter.github.io/scala_school/zh_cn https://www.zhihu.com/question/26707124
阅读全文
摘要：一、范围（>500） 二、不等于 三、字符匹配 正则表达式： +url:/.*m\.qfang\.com\/shenzhen\/rent\/[0-9]+/ +appName: qfang-online-wap 模糊匹配： +appName: qfang-online-w* 加了引号就表示精确查询，无
阅读全文
摘要：协议 API与用户的通信协议，总是使用HTTPs协议，确保交互数据的传输安全。 域名 应该尽量将API部署在专用域名之下。 https://api.example.com 如果确定API很简单，不会有进一步扩展，可以考虑放在主域名下。 https://example.org/api/ api版本控制
阅读全文
摘要：一、查看回收站中表 二、恢复表 注：此方法必须要求Oracle版本必须为9i或10g以上版本，flashback无法恢复全文索引 参见：http://althars.iteye.com/blog/216164
阅读全文
摘要：redis的slowlog是redis用于记录记录慢查询执行时间的日志系统。由于slowlog只保存在内存中，因此slowlog的效率很高，完全不用担心会影响到redis的性能。Slowlog是Redis从2.2.12版本引入的一条命令。 一、slowlog设置 slowlog有两种设置方式： 1、
阅读全文
摘要：一、命令示例 2. PERSIST/EXPIRE/EXPIREAT/TTL: 3. TYPE/RANDOMKEY/SORT:
阅读全文
摘要：在Oracle切换成MySQL时，会碰到如下注意事项： Oracle中的sysdate在MySQL中是不支持的； Oracle中的分布方案在MySQL中的实现； Oracle中的SQL语句是大小写不敏感的，而MySQL中的SQL语句默认是大小写敏感的； 注意Oracle字符与MySQL的兼容性问题；
阅读全文
摘要：今天建了一个表，里面有一个列是timestamp类型，我本意是在数据更新时，这个字段的时间能自动更新。岂知对这个类型的值还不甚了解，导致出错。发现这个字段只是在这行数据建立的时候有值，在更新的却无变化。 查找资料，发现是我建表的语句有问题： 以下是代码片段： 而实际上，以下两个建表语句的效果是一样的
阅读全文
摘要：RDD(Resilient Distributed Dataset)是Spark的最基本抽象，是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西，它表示已被分区，不可变的并能够被并行操作的数据集合，不同的数据集格式对应不同的RDD实现。R
阅读全文
摘要：日志数据清洗，主要采用spark 的定时任务,清洗出有效数据,并保存到hive数据仓库中存储。常用流程如下： 参考：https://gaojianhua.gitbooks.io/bigdata-wiki/content/sparkclean.html
阅读全文
摘要：MySQL性能优化及慢查询分析可以参见：https://my.oschina.net/wangyanpei/blog/492320
阅读全文
摘要：MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10S以上的语句。默认情况下，Mysql数据库并不启动慢
阅读全文
摘要：一、Spark运行模式 Spark有以下四种运行模式： local：本地单进程模式，用于本地开发测试Spark代码; standalone：分布式集群模式，Master-Worker架构，Master负责调度，Worker负责具体Task的执行; 与MapReduce1.0框架类似，Spark框架本
阅读全文
摘要：一、JDK环境构建 在指定用户的根目录下编辑.bashrc文件,添加如下部分： 运行source .bashrc命令让环境变量生效 二、Scala环境构建 从http://www.scala-lang.org/download/2.10.4.html上下载Scala正确版本进行安装，本文以scala
阅读全文
