该文被密码保护。 阅读全文
posted @ 2017-11-26 21:16 PanPan003 阅读(0) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2017-11-26 18:16 PanPan003 阅读(1) 评论(0) 推荐(0) 编辑
摘要: Big Data Era: 1.More and more data becoming available on Hadoop2.Limitations in existing Business Intelligence (BI) Tools Limited support for Hadoo 阅读全文
posted @ 2017-11-25 21:37 PanPan003 阅读(758) 评论(0) 推荐(0) 编辑
摘要: Kylin is an open source Distributed Analytics Engine from eBay Inc。that provides SQL interface and multi-dimensional analysis (OLAP) on Hadoop support 阅读全文
posted @ 2017-11-25 19:41 PanPan003 阅读(773) 评论(0) 推荐(1) 编辑
摘要: CDH:Cloudera‘s Distribution,including Apache Hadoop. Hadoop众多分支中的一种,可直接用于成产环境 CM:Cloudera Manager 阅读全文
posted @ 2017-11-25 19:35 PanPan003 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 核心思想:预计算。 对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,并存在HBase中,供查询时直接访问 将高复杂度的聚合运算、多表连接……操作转换成对预计算结果的查询。决定了Kylin拥有很好的快速查询、高并发能力 理论基础:空间换时间 Cuboid:Kylin中将维度任意组合成 阅读全文
posted @ 2017-11-25 16:09 PanPan003 阅读(6799) 评论(0) 推荐(0) 编辑
摘要: RDBMS: 关系数据库管理系统(Relational Database Management System),是将数据组织为相关的行和列的系统,而管理关系数据库的计算机软件就是关系数据库管理系统, 常用的数据库软件有Oracle、SQL Server等。 机分析处理OLAP: 是一种软件技术,它使 阅读全文
posted @ 2017-11-24 21:19 PanPan003 阅读(537) 评论(0) 推荐(0) 编辑
摘要: #!/usr/bin/python # -*- coding: utf-8 -*- import sys import time import datetime line="Wed 11/22/2017 11:18 PM" timeValue=time.strptime("Wed 11/22/2017 11:18 PM","%a %m/%d/%Y %H:%M %p") day = time... 阅读全文
posted @ 2017-11-24 17:21 PanPan003 阅读(191) 评论(0) 推荐(0) 编辑
摘要: .NET简谈互操作(一:开篇介绍) .NET简谈互操作(二:先睹为快) .NET简谈互操作(三:基础知识之DllImport特性) .NET简谈互操作(四:基础知识之Dispose非托管内存) .NET简谈互操作(五:基础知识之Dynamic平台调用) .NET简谈互操作(六:基础知识之提升平台调用 阅读全文
posted @ 2017-11-23 10:20 PanPan003 阅读(357) 评论(0) 推荐(0) 编辑
摘要: System.ServiceProcess 命名空间提供用于实现、安装和控制 Windows 服务应用程序的类。服务是长期运行的可执行文件,其运行没有用户界面 System.ServiceProcess 命名空间 System.ServiceProcess 命名空间下10个类的列表 windows 阅读全文
posted @ 2017-11-22 17:27 PanPan003 阅读(1135) 评论(0) 推荐(0) 编辑
摘要: VS2010中添加WebService注意的几个地方 添加web引用和添加服务引用有什么区别? 2.4.1 基础知识——添加服务引用与Web引用的区别 C#之VS2010开发Web Service VS2010下创建WEBSERVICE,第二天 你会在C#的类库中添加web service引用吗? 阅读全文
posted @ 2017-11-22 10:32 PanPan003 阅读(1345) 评论(0) 推荐(0) 编辑
摘要: Async、Await:net4.x新增的异步编程方式; 目的:为了简化异步程序编写 Async方式, 使用Async标记Async1为异步方法, 用Await标记GetRequestStreamAsync表示方法内需要耗时的操作。 主线程碰到await时会立即返回,继续以非阻塞形式执行主线程下面的 阅读全文
posted @ 2017-11-20 21:32 PanPan003 阅读(229) 评论(0) 推荐(0) 编辑
摘要: 目的:方便用户在命令行使用过程中减少工作量 以前版本没这个类时,如果要运行带参数的.exe,必须在命令行中输入文件路径以及各种参数,并且输入的参数格式要与代码中的if语句判断内容格式一样,一不小心就输错了,很不方便。另外如果想要更改输入格式的话在主函数文件中要相应更改很多地方。现在有了这个类,只需要 阅读全文
posted @ 2017-11-20 17:00 PanPan003 阅读(6018) 评论(0) 推荐(1) 编辑
摘要: 在标准的Dispose模式中,真正的IDisposable接口的Dispose方法并没有做实际的清理工作,它其实是调用了下面的这个带bool参数且受保护的的虚方法: 之所以提供这样一个受保护的虚方法,是因为考虑了这个类型会被其他类型继承的情况。如果类型存在一个子类,子类也许会实现自己的Dispose 阅读全文
posted @ 2017-11-17 10:31 PanPan003 阅读(476) 评论(0) 推荐(1) 编辑
摘要: 使用Client Credentials Grant授权方式给客户端发放access token 只验证客户端(Client),不验证用户(Resource Owner),只要客户端通过验证就发access token. 应用场景:我们想提供一个“获取网站首页最新博文列表”的WebAPI给iOS A 阅读全文
posted @ 2017-11-16 16:10 PanPan003 阅读(236) 评论(0) 推荐(0) 编辑
摘要: Hadoop核心 1.HDFS:高容错性、高伸缩性……,允许用户将Hadoop部署在廉价的硬件上,构建分布式系统 2.MapReduce:分布式计算框架,允许用户在不了解分布式系统底层细节的情况下,开发并行、分步的应用程序。充分利用大规模的计算资源,解决传统高性能单机无法解决的大数据用户 应用:分析 阅读全文
posted @ 2017-11-15 21:34 PanPan003 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 查看现在距1970-01-01 00:00:00 UTC 的秒数 把epoch 值转换回时间戳 PostgreSQL的时间/日期函数使用 postgreSQL格式化时间的函数详解 mysql转为postgesql 示例 select age(timestamp '2001-04-10', times 阅读全文
posted @ 2017-11-15 10:26 PanPan003 阅读(6051) 评论(0) 推荐(0) 编辑
摘要: cal:calender,显示月历 -j:用凯撒历(dates of julius caesar)的形式来显示月历,不分月份。1-365/366 -m:显示月历时,把星期一定为一周的开始。默认星期日为一周的开始 -y:显示今年所有月份的月历 cat:concatenate 连接多个文件,并将他们呢的 阅读全文
posted @ 2017-11-14 21:33 PanPan003 阅读(367) 评论(0) 推荐(0) 编辑
摘要: badblocks:检查磁盘设备中损坏的区块 -b:指定磁盘的区块大小,单位:字节 -c:一次检查几个区块 -i:由文件总读取已知的损坏区块,检查时会忽略这些区块 -o:检查的结果写入指定的输出文件。默认将检查结果显示在屏幕上 -s:检查时,显示进度 -v:执行时,显示详细的信息 -w:检查时,执行 阅读全文
posted @ 2017-11-13 21:39 PanPan003 阅读(569) 评论(0) 推荐(0) 编辑
摘要: addUser: -c:备注 -d:登陆目录 -e:有效期限 -f:缓冲天数 -g:组 -b:用户目录 -G:附加组 -s:制定使用默认的shell -u:指定用户ID -r:建立系统账号 -M:不自动建立用户的登陆目录 -m:自动建立用户的登陆目录 alias: -p:列出当前所有的别名设值 =命 阅读全文
posted @ 2017-11-13 20:30 PanPan003 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 初学hadoop之linux系统操作的hdfs的常用命令 Hadoop之HDFS文件操作 Hadoop fs命令详解 官网doc sudo su - hdfs:免密,以hdfs账户登陆。可操作hdfs文件 logout sudo su - root hadoop fs -ls / rm -rf 目录 阅读全文
posted @ 2017-11-13 13:01 PanPan003 阅读(336) 评论(0) 推荐(0) 编辑
摘要: “interface”。容易被理解、使用的接口,是开发良好面向对象软件的关键 良好的接口,只向用户展现必须展现的东西。如果一个接口暴露了过多的细节,需要将不必要暴露的东西隐藏起来,从而改进接口的质量 所有数据都应该隐藏起来。 所有可以隐藏的函数都应该被隐藏起来。hide method、remove 阅读全文
posted @ 2017-11-11 18:39 PanPan003 阅读(260) 评论(0) 推荐(0) 编辑
摘要: doc Hadoop初探之Stream Hadoop Stream 用python + hadoop streaming 编写分布式程序(一) -- 原理介绍,样例程序与本地调试 用python + hadoop streaming 编写分布式程序(二) -- 在集群上运行与监控 用python + 阅读全文
posted @ 2017-11-10 11:38 PanPan003 阅读(146) 评论(0) 推荐(0) 编辑
摘要: Linux的cron和crontab Cron定时执行工具详解 Linux下的crontab定时执行任务命令详解 Linux上启动Cron任务 [linux]解析crontab cron表达式详解 cron语法 Cron表达式简单学习 Cron表达式详解 Linux定时任务系统 Cron Shell 阅读全文
posted @ 2017-11-10 11:13 PanPan003 阅读(1052) 评论(0) 推荐(0) 编辑
摘要: CentOS、Ubuntu、Debian三个linux比较异同 Center OS 7 安装 $$ center os 安装mysql5.6 Linux学习之Center os网络配置 Cent Os 安装 java 环境 jdk Cent OS 常用配置命令 CenterOS下从零起步简单部署Ro 阅读全文
posted @ 2017-11-09 21:06 PanPan003 阅读(636) 评论(0) 推荐(0) 编辑
摘要: Hyper-V1:创建和管理虚拟机 Hyper-V2:向VM增加虚拟硬盘 Hyper-V3:虚拟机的配置 使用Hyper-V创建虚拟机 Hyper-v 安装CentOS 7 (其他虚拟机一样参考) 阅读全文
posted @ 2017-11-09 20:51 PanPan003 阅读(196) 评论(0) 推荐(0) 编辑
摘要: hive常用命令 Hadoop Hive概念学习系列之hive里的分区(九) DOC hive分区(partition)简介 Hive分区(静态分区+动态分区) Hive分区、分桶操作及其比较 hive学习4(hive的脚本执行) 通过自动化shell脚本,每日定时执行导入hive数据仓库 每天一个 阅读全文
posted @ 2017-11-09 14:26 PanPan003 阅读(280) 评论(0) 推荐(0) 编辑
摘要: 条件逻辑可能十分复杂 decompose conditional:将一个复杂的条件逻辑分成若干个小块。使得“分支逻辑”、“操作细节”分离 consolidate conditional expression:代码中多处测试有相同结果 consolidate duplicate conditional 阅读全文
posted @ 2017-11-08 21:50 PanPan003 阅读(401) 评论(0) 推荐(0) 编辑
摘要: SqlServer 数据库自动备份的两种解决方案 SQL Server中的角色(服务器级别和数据库级别角色) SqlServer服务器角色和数据库角色相关操作 阅读全文
posted @ 2017-11-08 19:21 PanPan003 阅读(171) 评论(0) 推荐(0) 编辑
摘要: mysql安装,hive环境的搭建 ambari部署hadoop 博客大牛:董的博客 ambari使用 ambari官方文档 hadoop 2.0 详细配置教程 使用Ambari快速部署Hadoop大数据环境 hadoop相关shell命令 Ambari安装指南 Hadoop之hive学习 Hive 阅读全文
posted @ 2017-11-08 09:49 PanPan003 阅读(9922) 评论(0) 推荐(0) 编辑
摘要: 应用范围的不同 结点介绍 原理介绍 异常 web.config详解 阅读全文
posted @ 2017-11-07 18:43 PanPan003 阅读(541) 评论(0) 推荐(0) 编辑
摘要: 用 vs2013 创建 windows service 程序 vs2015开发Windows服务 VS 2010一步步开发windows服务(windows service) 阅读全文
posted @ 2017-11-03 15:48 PanPan003 阅读(105) 评论(0) 推荐(0) 编辑
摘要: doc 介绍 分类&&典型应用 中文文档 使用 阅读全文
posted @ 2017-11-02 19:50 PanPan003 阅读(228) 评论(0) 推荐(0) 编辑
摘要: Quartz使用总结 教程 阅读全文
posted @ 2017-11-02 18:43 PanPan003 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 详解 存储过程介绍 sql语法 当 ANSI_NULLS 设置为 OFF 时,以下 SELECT 语句返回 Customer 表中 Region 为 Null 值的所有行: 如果 SET ANSI_NULLS ON那么 SQL 语句中, 判断 非空的写法, 要修改为:WHERE 字段 IS NULL 阅读全文
posted @ 2017-11-02 17:26 PanPan003 阅读(146) 评论(0) 推荐(0) 编辑
摘要: appnexus: report timezoom brightroll: report timezoom criteo: report1 report2 用fiddle抓包查看 Taboola: report facebook: report Facebook API Reporting - C# 阅读全文
posted @ 2017-10-27 16:29 PanPan003 阅读(516) 评论(0) 推荐(0) 编辑
摘要: 介绍 Shell脚本编程30分钟入门 Shell 教程 Linux 的 Shell 种类众多,常见的有: Bourne Shell(/usr/bin/sh或/bin/sh) Bourne Again Shell(/bin/bash) C Shell(/usr/bin/csh) K Shell(/us 阅读全文
posted @ 2017-10-25 18:30 PanPan003 阅读(301) 评论(0) 推荐(0) 编辑
摘要: 总体架构图: 总体流程图: 模块流程图: 物理结构图: hadoop软件架构 hadoop部署架构: 阅读全文
posted @ 2017-10-24 18:59 PanPan003 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 原理 官网 doc cube介绍 安装 案例 企业级特性 Apache Kylin 1.5的新功能和架构改变 Java API 通过java代码对kylin进行cube build kylin从入门到实战:实际案例:创建project;添加数据源;创建model;创建cube;查询 阅读全文
posted @ 2017-10-23 18:33 PanPan003 阅读(189) 评论(0) 推荐(0) 编辑
摘要: Jenkins 是一个开源项目,提供了一种易于使用的持续集成系统,使开发者从繁杂的集成中解脱出来,专注于更为重要的业务逻辑实现上。同时 Jenkins 能实施监控集成中存在的错误,提供详细的日志文件和提醒功能,还能用图表的形式形象地展示项目构建的趋势和稳定性 Jenkins 还提供了非常丰富的插件支 阅读全文
posted @ 2017-10-23 18:16 PanPan003 阅读(315) 评论(0) 推荐(0) 编辑