2015 年 11月随笔档案 - 松伯

二叉树的深度

摘要：输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。递归函数以参数节点root为根节点的子树的深度 public class TreeNode { int val = 0; TreeNode left = null; TreeNo 阅读全文

posted @ 2015-11-29 19:57 松伯阅读(162) 评论(0) 推荐(0) 编辑

sparkStreaming与Kafka整合

摘要：createStream那几个参数折腾了我好久。。网上都是一带而过,最终才搞懂..关于sparkStreaming的还是太少，最终尝试成功。。。首先启动zookeeper./bin/zookeeper-server-start.sh config/zookeeper.properties &启动ka... 阅读全文

posted @ 2015-11-28 21:41 松伯阅读(1281) 评论(0) 推荐(0) 编辑

spark RDD transformation与action函数整理

摘要：1.创建RDDval lines = sc.parallelize(List("pandas","i like pandas"))2.加载本地文件到RDDval linesRDD = sc.textFile("yangsy.txt")3.过滤 filter 需要注意的是 filter并不会在原有RD... 阅读全文

posted @ 2015-11-28 13:30 松伯阅读(2010) 评论(0) 推荐(0) 编辑

Hbase伪分布式

摘要：其实我就是要让数据存储在hdfs上而已。。。。。。。。多配置点东西就好了，在hbase-site.xml中加入: hbase.rootdir hdfs://yangsy132:9000/user/hive/warehouse/ ... 阅读全文

posted @ 2015-11-26 21:57 松伯阅读(457) 评论(0) 推荐(0) 编辑

Redis常用命令

摘要：//randomKey获取随机的key//flushdb 清空当前数据库 ( 就是不点回车)//set get//获取所有Key//更名key集合的操作:使用sadd创建集合使用smembers 查询集合,使用srem删除集合中的元素使用sismember查询集合中是否包含有此元素，有的话则返回... 阅读全文

posted @ 2015-11-26 15:54 松伯阅读(198) 评论(0) 推荐(0) 编辑

Scala特质

摘要：特质：trait是Scala里代码复用的基础单元。特质封装了方法和字段的定义，并可以通过混入到类中重用它们。不像类的继承那样，每个类都只能继承唯一的超类，类可以混入任意个特质。它们最常用到的两种方式：拓宽瘦接口为胖接口和定义可堆叠的改变。这个特质名为Philosophical。它没有声明超类，因此和... 阅读全文

posted @ 2015-11-24 21:40 松伯阅读(251) 评论(0) 推荐(0) 编辑

字符串的排列

摘要：输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。结果请按字母顺序输出。public ArrayList Permutation(String str) { A... 阅读全文

posted @ 2015-11-24 00:17 松伯阅读(344) 评论(2) 推荐(0) 编辑

Scala控制抽象

摘要：private def filesHere = (new java.io.File(".")).listFiles() def filesEnding(query: String) = for(file Boolean) = for(file fileName.endsWit... 阅读全文

posted @ 2015-11-23 23:53 松伯阅读(875) 评论(0) 推荐(0) 编辑

JAVA使用HBASE常用方法

摘要：package HBaseTest;/** * Created by root on 11/11/22. */import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop... 阅读全文

posted @ 2015-11-22 22:30 松伯阅读(535) 评论(0) 推荐(0) 编辑

从上往下打印二叉树

摘要：从上往下打印出二叉树的每个节点，同层节点从左至右打印。使用两个队列，一个存放节点，一个存放值。将根节点加入到队列中，然后遍历队列中的元素，遍历过程中，访问该元素的左右节点，再将左右节点依次加入到队列中。public ArrayList PrintFromTopToBottom(TreeNode ro... 阅读全文

posted @ 2015-11-22 20:41 松伯阅读(285) 评论(0) 推荐(0) 编辑

Scala语法笔记

摘要：JAVA中，举例你S是一个字符串，那么s(i)就是该字符串的第i个字符(s.charAt(i)).Scala中使用apply的方法JAVA与C++的?:操作符等同于Scala的if ( x > 0) 1 else -1x>0 ? 1: -1 //JAVA或C++在Scala中，每个表达式都有一个类... 阅读全文

posted @ 2015-11-22 16:17 松伯阅读(425) 评论(0) 推荐(0) 编辑

栈的压入、弹出序列

摘要：输入两个整数序列，第一个序列表示栈的压入顺序，请判断第二个序列是否为该栈的弹出顺序。假设压入栈的所有数字均不相等。例如序列1,2,3,4,5是某栈的压入顺序，序列4，5,3,2,1是该压栈序列对应的一个弹出序列，但4,3,5,1,2就不可能是该压栈序列的弹出序列。import java.util.A... 阅读全文

posted @ 2015-11-21 22:25 松伯阅读(249) 评论(0) 推荐(0) 编辑

spark1.4加载mysql数据创建Dataframe及join操作连接方法问题

摘要：首先我们使用新的API方法连接mysql加载数据创建DFimport org.apache.spark.sql.DataFrameimport org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.sql.{SaveM... 阅读全文

posted @ 2015-11-19 20:35 松伯阅读(2544) 评论(0) 推荐(0) 编辑

包含min函数的栈

摘要：定义栈的数据结构，请在该类型中实现一个能够得到栈最小元素的min函数。public:/*入栈时，判断存放最小元素的栈是否为空，入栈元素是否小于存放最小元素栈的栈顶元素*/ void push(int value) { stacktemp.push(value); i... 阅读全文

posted @ 2015-11-17 23:24 松伯阅读(241) 评论(0) 推荐(0) 编辑

单点登录filter根据redis中的key判断是否退出

摘要：package com.ailk.biapp.ci.localization.cntv.filter;import java.io.IOException;import java.util.HashMap;import java.util.Map;import javax.servlet.Filte... 阅读全文

posted @ 2015-11-17 00:15 松伯阅读(1206) 评论(0) 推荐(0) 编辑

JMS的常用方法

摘要：import javax.jms.Connection;import javax.jms.ConnectionFactory;import javax.jms.Destination;import javax.jms.Message;import javax.jms.MessageConsumer;... 阅读全文

posted @ 2015-11-16 23:54 松伯阅读(554) 评论(0) 推荐(0) 编辑

kafka模拟客户端发送、接受消息

摘要：producer 消息的生成者，即发布消息consumer 消息的消费者，即订阅消息broker Kafka以集群的方式运行，可以由一个或多个服务组成，服务即brokerzookeeper协调转发一、创建topic./kafka-topics.sh --create --zookeeper loc... 阅读全文

posted @ 2015-11-14 19:11 松伯阅读(10388) 评论(0) 推荐(2) 编辑

SparkStreaming入门及例子

摘要：看书大概了解了下Streaming的原理，但是木有动过手啊。。。万事开头难啊，一个wordcount 2小时怎么都运行不出结果。是我太蠢了，好了言归正传。SparkStreaming是一个批处理的流式计算框架，适合处理实时数据与历史数据混合处理的场景（比如，你用streaming将实时数据读入处理，... 阅读全文

posted @ 2015-11-14 14:51 松伯阅读(1047) 评论(0) 推荐(0) 编辑

调整数组顺序使奇数位于偶数前面

摘要：输入一个整数数组，实现一个函数来调整该数组中数字的顺序，使得所有的奇数位于数组的前半部分，所有的偶数位于位于数组的后半部分，并保证奇数和奇数，偶数和偶数之间的相对位置不变。思路：类似于插入排序。package practice;public class test { private static v... 阅读全文

posted @ 2015-11-14 11:50 松伯阅读(198) 评论(0) 推荐(0) 编辑

spark IDEA开发环境搭建及运行问题

摘要：下图是例子:还用说么，引入相关jar包（等下再一一说明) 包括scala，spark-assembly-1.4.1-hadoop2.5.0-cdh5.2.1.jar(按照你的spark和hadoop版本)，还有在spark的lib下datanucleus的jar，mysql的数据源连接，这都是必须的... 阅读全文

posted @ 2015-11-13 00:16 松伯阅读(568) 评论(0) 推荐(0) 编辑

数值的整数次方

摘要：给定一个double类型的浮点数base和int类型的整数exponent。求base的exponent次方。public class OngoingTimesSquare{ public static double Power(double base,int exponent){ ... 阅读全文

posted @ 2015-11-12 22:48 松伯阅读(179) 评论(0) 推荐(0) 编辑

二进制中1的个数

摘要：输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。解析：如果一个整数不为0，那么这个整数至少有一位是1。如果我们把这个整数减1，那么原来处在整数最右边的1就会变为0，原来在1后面的所有的0都会变成1(如果最右边的1后面还有0的话)。其余所有位将不会受到影响。举个例子：一个二进制数110... 阅读全文

posted @ 2015-11-11 13:43 松伯阅读(237) 评论(0) 推荐(0) 编辑

变态跳台阶

摘要：一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。因为n级台阶，第一步有n种跳法：跳1级、跳2级、到跳n级跳1级，剩下n-1级，则剩下跳法是f(n-1)跳2级，剩下n-2级，则剩下跳法是f(n-2)所以f(n)=f(n-1)+f(n-2)+... 阅读全文

posted @ 2015-11-09 18:05 松伯阅读(208) 评论(0) 推荐(0) 编辑

Scala第四章学习笔记（面向对象编程)

摘要：延迟构造DelayedInit特质是为编译器提供的标记性的特质。整个构造器被包装成一个函数并传递给delayedInit方法。trait DelayedInit { def deayedInit(x : Unit) : Unit}这个方法接受一个函数对象，函数对象里包含了全部的一般的构造器逻辑... 阅读全文

posted @ 2015-11-09 17:56 松伯阅读(278) 评论(0) 推荐(0) 编辑

Hbase基本操作~

摘要：创建一个名为PageViews的表，并具有名为info的列簇：create 'PageViews', 'info'每张表至少要有一个列簇，因此我们创建了info，现在，看看我们的表，执行下面list命令：list通过describe命令得到表的更多信息：Describe命令返回表的详细信息，包括列簇... 阅读全文

posted @ 2015-11-08 23:23 松伯阅读(251) 评论(0) 推荐(0) 编辑

分页写入文件，第二次分页前一定要关闭IO流啊。。否则文件写不全。。- -粗心

摘要：阅读全文

posted @ 2015-11-08 22:15 松伯阅读(328) 评论(0) 推荐(0) 编辑

跳台阶

摘要：一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法。思路：对于第n个台阶来说，只能从n-1或者n-2的台阶跳上来public class jumpFloor { public int jumpFloor(int num){ if(num < ... 阅读全文

posted @ 2015-11-08 15:35 松伯阅读(159) 评论(0) 推荐(0) 编辑

斐波那契数列

摘要：大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项.public class Fibonacci { public static int[] record = null; public int Fibonaci(int n){ if(n<=1){ ... 阅读全文

posted @ 2015-11-06 13:29 松伯阅读(222) 评论(0) 推荐(0) 编辑

Scala第三章学习笔记

摘要：换行后的左大括号造成的问题：class FooHolder{ def foo() { println("foo was called") }}Scala认为def foo()这行代码定义了一个抽象方法。这是因为它没有捕捉到后面的大括号，认定def foo()是完整的一... 阅读全文

posted @ 2015-11-06 11:06 松伯阅读(236) 评论(0) 推荐(0) 编辑

旋转数组的最小数字

摘要：把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个非递减序列的一个旋转，输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小值为1。public int minNumberInRotateArray(vector rotate... 阅读全文

posted @ 2015-11-05 23:55 松伯阅读(203) 评论(0) 推荐(0) 编辑

Redis常用方法

摘要：首先构建非切片连接池jedisPool对象，写好配置redis连接的方法。/** * 构建redis切片连接池 * * @param ip * @param port * @return JedisPool */ public static J... 阅读全文

posted @ 2015-11-05 13:16 松伯阅读(5031) 评论(0) 推荐(0) 编辑

用两个栈实现队列

摘要：用两个栈来实现一个队列，完成队列的Push和Pop操作。队列中的元素为int类型。队列嘛，先进先出，栈嘛，先进后出。于是乎，把第一个栈扔满，然后再一一放到另一个栈中，然后再一一取出来。没了- -public class reconstructionQueue { Stack st... 阅读全文

posted @ 2015-11-04 17:09 松伯阅读(190) 评论(0) 推荐(0) 编辑

Spark1.4启动spark-shell时initializing失败

摘要：错误信息如下:5/11/03 16:48:15 INFO spark.SparkContext: Running Spark version 1.4.115/11/03 16:48:15 WARN spark.SparkConf: In Spark 1.0 and later spark.local... 阅读全文

posted @ 2015-11-03 17:06 松伯阅读(7026) 评论(0) 推荐(0) 编辑

从尾到头打印链表

摘要：输入一个链表，从尾到头打印链表每个节点的值。 public class ListNode { public int data; public ListNode next = null; public ListNode(int data){ this.data = d... 阅读全文

posted @ 2015-11-03 10:32 松伯阅读(208) 评论(0) 推荐(0) 编辑

Hbase的安装（hadoop-2.6.0,hbase1.0)

摘要：Hbase的安装相对很简单啊。。。只要你装了Hadoop 装Hbase就是分分钟的事如果要装hadoop集群的话 hadoop分类的集群安装好了，如果已经装好单机版~ 那就再配置如下就好~ 一、vi ~/.bash_profile 加入环境变量二、在mapred-site.xml加入... 阅读全文

posted @ 2015-11-02 23:53 松伯阅读(523) 评论(0) 推荐(0) 编辑

执行sh文件进行MongoDB的业务逻辑导入

摘要：将从HDFS中的数据转化为Json格式写入文件后，十个文件的文件名为文件名_01 ...._02 ....03格式。编写个简单的sh文件通过for do循环让i+1 文件名对应上就可以的- -执行时要传入文件名称以及需要导入的数据文件的路径，之所以要传进去也是为了方便项目后续更改目录嘛~.s... 阅读全文

posted @ 2015-11-02 17:02 松伯阅读(468) 评论(0) 推荐(0) 编辑

Scala第二章学习笔记

摘要：最基本的练习~:使用伴生对象：object holder{class Foo{ private var x = 5}object Foo{def im_in_yr_foo(f: Foo) = f.x}}import holder.Fooval x = new FooFoo.im_in_yr_foo(... 阅读全文

posted @ 2015-11-02 14:03 松伯阅读(207) 评论(0) 推荐(0) 编辑

替换空格

摘要：请实现一个函数，将一个字符串中的空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。方法1:replace函数 public String replaceBackend(String word){ String a = wo... 阅读全文

posted @ 2015-11-02 12:54 松伯阅读(166) 评论(0) 推荐(0) 编辑

二维数组中的查找

摘要：在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。public class sort{ public boolean Find(int [][] array,int target... 阅读全文

posted @ 2015-11-01 17:36 松伯阅读(143) 评论(0) 推荐(0) 编辑

Scala第一章学习笔记

摘要：面向对象编程是一种自顶向下的程序设计方法。用面向对象方法构造软件时，我们将代码以名词（对象）做切割，每个对象有某种形式的表示服(self/this)、行为（方法）、和状态（成员变量)。识别出名词并且定义出他们的行为之后，再定义出名词之间的交互。函数式编程方法通过组合和应用函数来构造软件。纯粹... 阅读全文

posted @ 2015-11-01 16:40 松伯阅读(357) 评论(0) 推荐(0) 编辑

kafka_2.11-0.8.2.2的搭建

摘要：一、下载官网的压缩包~修改conf/server.propertieshost.name=10.10.224.12 （修改为主机ip,不然服务器返回给客户端的是主机的hostname,客户端并不一定能够识别）二、解压并启动Zookeepertar zxvf kafka_2.11-0.8.2.2.tg... 阅读全文

posted @ 2015-11-01 15:02 松伯阅读(684) 评论(0) 推荐(0) 编辑

搜索

常用链接

随笔分类 (236)

随笔档案 (232)

阅读排行榜

评论排行榜

推荐排行榜

最新评论