文章分类 - 数据库mysql/nosql
摘要：转载请注明转自：http://www.cnblogs.com/feiyumo/p/8760846.html 一、获取当前时间 1.current_date获取当前日期 2018-04-09 2.current_timestamp/now()获取当前时间 2018-04-09 15:20:49.247
阅读全文
摘要：人一旦懒起来， 就喜欢少写几行代码； 于是对于自动汇总 再汇总合计， 就想到了 grouping 函数； 举例： 通常计算合计是分别计算出合计行和按照商品种类进行汇总的结果，然后通过union all连接在一起： #!/bin/bash select '合计' as product_type, su
阅读全文
摘要：一、数据库简单介绍 1、 按照数据库的发展时间顺序，主要出现了以下类型数据库系统： Ø 网状型数据库 Ø 层次型数据库 Ø 关系型数据库 Ø 面向对象数据库 上面4中数据库系统中，关系型数据库使用最为广泛。面向对象数据库则是由面向对象语言催生的新型数据库，目前的一些数据库系统，如：SQL Serve
阅读全文
摘要：转载：http://www.cnblogs.com/linjiqin/archive/2012/04/06/2434806.html 最近发现因为少用，渐渐忘记有些分析函数如何使用，所以特意整理记录下。 百度下，发现网上很多很全的博客资料，于是偷个懒就直接复制过来。 一、创建表 二、插入数据 三、f
阅读全文
摘要：Hive 跟 传统数据库不一样，没有索引的概念， 只有一个 分区列 的概念。 分区是一个增加快速查找的有效解决方案，但同时又带来一个新问题，如何同时插入多个分区字段的数据呢？ 方法如下：# 创建分区表CREATE TABLE temp.atest_subsir_ab_userid ( use...
阅读全文
摘要：举例子：hive> select * from zz0;111111222222888888hive> select * from zz1;111111333333444444888888hive> select * from zz0 join zz1 on zz0.uid = zz1.uid;111111 111111888888 888888hive> select * from zz0 left outer join zz1 on zz0.uid = zz1.uid;111111 111111222222 NULL888888 888888hive> sel
阅读全文
摘要：假设一个场景：存在表user_score,该表的数据如下idratescore1'0-4'102'0-4'403'0-4'304'0-4'205'5-10'106'5-10'407'5-10'308'5-10'209'11-20'1010'11-20'4011'11-20'3012'11-20'20 现在要求用一条查询语句取出每种rate下score最大的两条记录，也就算取出id为：2，3，6，7，10，
阅读全文
摘要：一、MySQL 获得当前日期时间 函数1.1 获得当前日期+时间（date + time）函数：now()mysql> select now();+---------------------+| now() |+---------------------+| 2008-08-08 22:20:46 |+---------------------+除了 now() 函数能获得当前的日期时间外，MySQL 中还有下面的函数： current_timestamp(),current_timestamp,localtime(),localtime,localtimestam...
阅读全文
摘要：SQL StatementMongo Query Language StatementCREATE TABLE USERS (a Number, b Number)Implicit or useMongoDB::createCollection().INSERT INTO USERS VALUES(1,1)$db->users->insert(array("a" => 1, "b" => 1));SELECT a,b FROM users$db->users->find(array(), array("a&q
阅读全文
摘要：转载：http://www.linuxidc.com/Linux/2012-04/57944.htm因为经常遇到各种Hadoop错误，所以转载过来，以备忘：经常遇到的exception是：PipeMapRed.waitOutputThreads(): subprocess failed with code N"OS error code 1: Operation not permitted""OS error code 2: No such file or directory""OS error code 3: No such process&
阅读全文
摘要：hive在建表是，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式例如：hive> CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE LOCATION '/data/test';指定文件存储格式为“TEXTFILE”。hive文件存储格式包括以下几类：TEXTFILESEQUENCEFILERCFILE自定义格式TEXTFIEL默认格式，数据不做压缩，
阅读全文
摘要：Hive 的官方文档中对查询语言有了很详细的描述，请参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL ，本文的内容大部分翻译自该页面，期间加入了一些在使用过程中需要注意到的事项。详细查看：http://wiki.apache.org/hadoop/Hive/LanguageManualCreate TableCREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ....
阅读全文
摘要：转载官方：http://hadoop.apache.org/common/docs/r0.19.2/cn/index.html文档概述快速入门集群搭建HDFS构架设计HDFS使用指南HDFS权限指南HDFS配额管理指南命令手册FS Shell使用指南DistCp使用指南Map-Reduce教程Hadoop本地库StreamingHadoop ArchivesHadoop On DemandAPI参考API Changes维基常见问题邮件列表发行说明变更日志
阅读全文
摘要：1：怎样导入文本文件（格式是怎样的？），2：怎样查询数据，已经能否在join中使用？在子查询中使用？等等知道怎么在hive中导入数组不？例如：我想把 数组[1,2,3]和 数组["a","b","c"]导入到table1中create table table2 ( a array<int> , b array<string> );那么 我如何 导入呢？使得select * from table1;j结果为：[1,2,3] ["a","b","c"]同样
阅读全文
摘要：一、UDF1、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： a）文件格式：Text File，Sequence File b）内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text c）用户提供的 map/reduce 脚本：不管什么语言，利用 stdin/stdout 传输数据 d）用户自定义函数: Substr, Trim, 1 – 1 e）用户自定义聚合函数: Sum, Average…… n – 12、定义：UDF(User-D...
阅读全文
摘要：wiki：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF map,array: https://cwiki.apache.org/Hive/languagemanual-lateralview.html doc下
阅读全文
摘要：http://tech.idv2.com/2008/07/24/memcached-004/#content_2_6memcached全面剖析–4. memcached的分布式算法发表于2008-07-24发表日：2008/7/23作者：长野雅广(Masahiro Nagano)原文链接：http://gihyo.jp/dev/feature/01/memcached/0004前几次的文章在这里：第1次：http://tech.idv2.com/2008/07/10/memcached-001/第2次：http://tech.idv2.com/2008/07/11/memcached-002/
阅读全文
摘要：在Apache, PHP, MySQL的体系架构中，MySQL对于性能的影响最大，也是关键的核心部分。对于Discuz!论坛程序也是如此，MySQL的设置是否合理优化，直接影响到论坛的速度和承载量！同时，MySQL也是优化难度最大的一个部分，不但需要理解一些MySQL专业知识，同时还需要长时间的观察统计并且根据经验进行判断，然后设置合理的参数。下面我们了解一下MySQL优化的一些基础，MySQL的优化我分为两个部分，一是服务器物理硬件的优化；二是MySQL自身(my.cnf)的优化。(1) 服务器硬件对MySQL性能的影响a) 磁盘寻道能力（磁盘I/O）,以目前高转速SCSI硬盘(7200转/
阅读全文
摘要：1、添加索引2、去掉不必要的索引3、使用 benchmarking 做基准测试4、只获取你需要的信息，减少流量:a) 使用 limit 对数据进行分页b) 不要使用 SELECT *c) 不要使用多个小查询，如果能组合成一个长查询，会更加高效5、使用 EXPLAIN 来查看 SQL 执行效果6、使用 Slow Query Log (应该总是开启它)7、如果使用了 GROUP BY，就不要使用 DISTINCT8、正确地对数据进行分区以集群为例，不要等到你需要集群是才开始考虑集群9、考虑 INSERT 的性能a) 批量 INSERT 和 UPDATEb) 使用 LOAD DATA 替代 INSE
阅读全文
摘要：在程序中使用 memcache 来作 session 存储，用例子测试一下： 1 <?php 2 session_start(); 3 if (!isset($_SESSION['TEST'])) { 4 $_SESSION['TEST'] = time(); 5 } 6 7 $_SESSION['TEST3'] = time(); 8 9 print $_SESSION['TEST'];10 print "<br><br>";11 print $_SESSION['TES
阅读全文