摘要：
博客已经搬至http://zxdy.github.io/本文主要通过一个具体的spark application来讲述spark job执行过程中关于stage划分，stage提交，task运行的流程。主要也是因为上篇的源码阅读只有纯粹的理论，所以希望能通过这篇实战将理论讲的更清楚一点。## RDD... 阅读全文
摘要：
根据 [百度百科解释][1]整理了一下## 基本对比* 操作系统概念 - 堆： 1. 一般由程序员分配释放， 若程序员不释放，程序结束时可能由OS回收，分配方式倒是类似于链表。 2. 堆则是存放在二级缓存中，生命周期由虚拟机的垃圾回收算法来决定（并不是一旦成为孤儿对象就能被回收）。速度比栈要相对要慢 - 栈： 1. 由编译器自动分配释放 ，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中的栈。 2. 使用的是一级缓存， 他们通常都是被调用时处于存储空间中，调用完毕立即释放。速度较快* 数据结构概念 - 堆：堆可以被看成是一棵树，如... 阅读全文
摘要：
1. 下载：到ANT官方网站http://ant.apache.org/ 下载最新版本，解压后即可。2. 配置环境变量：我的电脑----属性-----高级----环境变量```ANT_HOME：C:\apache-ant-1.7.1PATH：%ANT_HOME%\bin```3. 查看是否安装成功：在dos窗口中输入命令ant，若出现结果``` Buildfile：build.xml does not exist! Build failed```说明ant安装成功！因为ant默认运行build.xml文件，这个文件需要我们自己建立 阅读全文
摘要：
在sql developer中，如果直接对pipelined语句进行断点debug会报错，那么怎样可以解决这个问题呢？可以用procedure包住这个函数，再进行单步调试。下面是演示的demo。 * 准备pipelined```CREATE TYPE t_tf_row AS OBJECT ( id NUMBER, description VARCHAR2(50));/CREATE TYPE t_tf_tab IS TABLE OF t_tf_row;/CREATE OR REPLACE FUNCTION get_tab_ptf (p_rows IN NUMBER)... 阅读全文
摘要：
有没有碰到过这种情况，当你的java程序连接oracle运行存储过程的时候，java控制台只是仅仅输出java程序的相关信息，而存储过程中的dbms_output内容却没有办法显示？这样只能跑去sql developer 单独调试存储过程，而不能直接在eclipse进行集成测试，出了问题也不好定位。 所以在此分享一个解决方案： [原文链接][1] 。05年的一个方法，不知现在有没有更好的：） * 存储过程demo```pl/sqlcreate or replacePROCEDURE test_java_dbmsOutPutISBEGIN dbms_output.put_line('im 阅读全文
摘要：
sed就用不着多做介绍了，非常强大的流编辑器，以行作为处理单位。另外还有一个神器awk可以非常方便的处理列 。平常可能觉得用用cat，more，tail，vi也差不多，但是如果遇到非常巨大的log文件，sed就会比较方便了。高级（我能说差点打成搞基了么。。。对这个世界绝望了。。）的用法基本也用不上，就记录下基本的命令什么的。。*准备示例文件*```$cat passwd1a2b3c4d5e6f```基本用法--* 显示第2行```$sed -n '2p' passwd2b```* 显示1到3行```$sed -n '1,3p' passwd1a2b3c```* 阅读全文
摘要：
经过以下三步就可以在表里新建一个自增长的字段了。感觉oracle居然没有一个比较方便的定义方式来建自增长字段实在有点不科学。。或许是我孤陋寡闻了？1.新建表--```sqlcreate table trade_msg( id integer primary key, --需要自增长的字段 track_id varchar2(16), grp_id varchar2(6), message varchar2(200), flag varchar2(2), create_time date);```2.新建sequence --```CREATE sequen... 阅读全文
摘要：
1.split 用法--* 描述split用来以指定的符号（如果没有指定就默认为空格）分割字符串并返回list，同时可以指定分割成几个字符串* 语法```str.split(str="", num=string.count(str)).```* 参数```str -- 分隔符，默认为空格num -- 分割出的元素数量（这里可能有点歧义，看例子就明白了）```* 返回值返回分割出的元素列表* 例子下面是split()的用例```#!/usr/bin/python# -*- coding: utf-8 -*-str = "Line1-abcdef,Line2-abc, 阅读全文
摘要：
今天碰到一个很二的问题，安装了php网站之后，发现nginx一直无法解析到index.php文件，显示为空白，从后台的日志来看是500错误，但是同目录下的phpinfo.php却可以正常解析。想来应该是php的语法出了问题，但是我对nginx其实并不是太熟，虽然vps用的是nginx+fastcgi来解析php，但是那是一键安装脚本神马的。。好吧，为了看到php的报错信息，于是在网上找了一通资料，这里做个笔记。当然这报错设置最后在debug完成之后就去掉，不然一不小心会暴露挺多服务器信息，比如路径什么的。。安全第一。----------1.首先--- 什么是PHP-CGI PHP-CGI是P. 阅读全文
摘要：
搭建服务器环境1.下载xampp包 地址：http://www.apachefriends.org/zh_cn/xampp.html 很多人觉得安装服务器是件不容易的事，特别是要想添加MySql, PHP组件，并且要配置起来让它们能够工作就更难了。这里介绍一个好用的软件xampp，他已经把所有的工作做完了，你要做的只需下载，解压缩，启动即可。它有提供各种操作系统的版本，同时也提供安装版和便携绿色版2.使用xampp 将下载的压缩包解压至D盘（你也可以放到你喜欢的地方，路径最好没有空格），双击xampp-control.exe启动控制台 点击start启动apache和mysql 这时可以看到启 阅读全文