flume+kafka+storm整合
摘要：
flume采集数据 kafka做消息队列（缓存） storm做流式处理 flume版本 apache-flume-1.7.0-bin kafka版本 kafka_2.11-0.10.1.0（要注意的是有些flume的版本和kafka的版本不兼容，flume... 阅读全文
posted @ 2017-02-04 11:01 愤怒的苹果ext 阅读(25) 评论(0) 推荐(0) 编辑
spark集群安装和基本使用
摘要：
spark官网下载地址：http://spark.apache.org/downloads.html 我下载的是1.6.3兼容hadoop2.4的版本spark-1.6.3-bin-hadoop2.4 一、下载、解压 目录结构 二、修... 阅读全文
posted @ 2017-02-03 17:00 愤怒的苹果ext 阅读(40) 评论(0) 推荐(0) 编辑
Scala compile server Error: Could not create the Java Virtual Machine.Error: A fatal exception
摘要：
在IDEA中编写Scala程序报错 Scala compile server Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred... 阅读全文
posted @ 2017-02-02 17:29 愤怒的苹果ext 阅读(76) 评论(0) 推荐(0) 编辑
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
摘要：
windows下运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 这是因为windows环境变... 阅读全文
posted @ 2017-01-23 15:03 愤怒的苹果ext 阅读(28) 评论(0) 推荐(0) 编辑
Error:(16, 22) class file needed by SparkConf is missing. reference type Cloneable of package scala
摘要：
编写spark程序报错 Error:(16, 22) class file needed by SparkConf is missing. reference type Cloneable of package scala refers to nonexist... 阅读全文
posted @ 2017-01-23 14:37 愤怒的苹果ext 阅读(21) 评论(0) 推荐(0) 编辑
Nginx 502 Bad Gateway 的错误的解决方案
摘要：
我用的是nginx反向代理Apache，直接用Apache不会有任何问题，加上nginx就会有部分ajax请求502的错误，下面是我收集到的解决方案。 一、fastcgi缓冲区设置过小 出现错误，首先要查找nginx的日志文件，目录为/var/log/ng... 阅读全文
posted @ 2017-01-22 15:24 愤怒的苹果ext 阅读(41) 评论(0) 推荐(0) 编辑
java socket远程控制主机，执行命令
摘要：
socket server服务端代码 package com.core.servers;import java.io.BufferedReader;import java.io.DataInputStream;import java.io.DataOutpu... 阅读全文
posted @ 2017-01-22 13:58 愤怒的苹果ext 阅读(50) 评论(0) 推荐(0) 编辑
spark Idea Maven开发环境搭建
摘要：
一、下载maven，解压，下载地址http://maven.apache.org/download.cgi 二、安装idea，Scala、和jdk环境 三、创建项目maven项目 选择maven路径 这里我给大家提供一个... 阅读全文
posted @ 2017-01-20 15:20 愤怒的苹果ext 阅读(8) 评论(0) 推荐(0) 编辑
2个文件内容的比较
摘要：
文件内容比较shell 如: a.txt 2111,12,222 b.txt 2121,12,222 shell代码 #!/bin/bashtouch result.txt;echo '创建结果文件成功！';echo '' > result.txt... 阅读全文
posted @ 2017-01-17 15:34 愤怒的苹果ext 阅读(16) 评论(0) 推荐(0) 编辑
Bringing up interface eth0: Error: No suitable device found: no device found for connection 'System
摘要：
linux修改ip重启后出现 service network restart Bringing up interface eth0: Error: No suitable device found: no device found for connection 'System eth0'. 用ifc 阅读全文
posted @ 2017-01-17 10:27 愤怒的苹果ext 阅读(4) 评论(0) 推荐(0) 编辑
