摘要：
创建数据库 查看hdfs 目录 默认情况下 hive数据库 存储在 /user/hive/warehouse 目录下show databases 产看数据库 再次使用create database demo;创建数据库， 抛出异常， 创建数据库时 建议使用 create database if no 阅读全文
摘要：
Form对与一个网站来说就是一个灵魂，今天我们就来说说Django的Form概述. 本文内容来自官网,互联网及自己实验所得. 表单(forms.py)的定义: #coding:utf-8from django import formsfrom django.forms.extras.widgets 阅读全文
摘要：
1.form类的运行顺序是init，clean，validte，save其中clean和validate会在form.is_valid()方法中被先后调用。(这里留有一个疑问，结构完全相同的两个form，但是一个为先验证后clean，另一个先clean后验证。原因不明。)这里https://docs 阅读全文
摘要：
spark 官网apihttp://spark.apache.org/docs/1.6.0/programming-guide.html RDD两种创建方式： 1：SparkContext’s parallelize 常用于测试 2：读取 外部数据集 如本地文件(linux ,...)或HDFS文件 阅读全文
摘要：
源码下载地址:https://archive.apache.org/dist/spark/spark-1.6.0/ 下载源码包:spark-1.6.0.tgz 更具官网 http://spark.apache.org/docs/1.6.0/building-spark.html 需安装 jdk1.7 阅读全文
摘要：
---恢复内容开始---Storm是个实时的、分布式以及具备高容错的计算系统。同Hadoop一样Storm也可以处理大批量的数据，然而Storm在保证高可靠性的前提下还可以让处理进行的更加实时；也就是说，所有的信息都会被处理。 Storm同样还具备容错和分布计算这些特性，这就让Storm可以扩展到不... 阅读全文
摘要：
一）、什么情况下使用Hbase1）传统数据库无法承载高速插入、大量读取。2）Hbase适合海量，但同时也是简单的操作。3）成熟的数据分析主题，查询模式确立不轻易改变。二）、现实场景1、电商浏览历史问题：传统数据库数据量很大，事情会变得复杂。Orderby消耗很多性能。大量发生又无法分布式处理，顾客需... 阅读全文
摘要：
Hbase 一种高可靠，面向列，可伸缩，事实读写的分布式数据库。利用HDFS作为其文件存储系统。MapReduce处理数据。Zookeeper分布式协同服务。数据结构Row Key：行健。（唯一标识）唯一检索条件Time Stamp ：时间撮。（版本标识）Column：列族。 （建表时确定）Ro... 阅读全文
摘要：
HDFS设计目标 1）硬件错误是常态，数据保存需要冗余。 2）数据批量读取，Hadoop擅长数据分析而不是事务处理。 3）大规模数据集。 4）简单一致醒模型，降低系统复杂度，文件一次写入多次读取， 5）“数据就近”原则分配数据节点。 HDFS体系结构 NameNode DataNode Second 阅读全文
摘要：
启动Hbase：./start-hbase.sh进入Hbase shell控制台：./hbase shell查看所有表 list查看数据库状态:status查看数据库版本：version建表 create 'tablename ' , 'cf1' , 'cf2' , 'cf3'查看表结构： desc... 阅读全文