摘要：
1.熟悉Hadoop生态技术,包括Spark,Hive,Hbase,zookeeper等组件的原理,使用,和调优,阅读过相关源码优先 2.熟悉redis分布式缓存,kafka消息组件. 3.大规模分布式系统开发,维护经验,有故障处理能力 ########### spark,flink相关大数据处理技 阅读全文
摘要：
public static int[][] convertImageToArray(BufferedImage bf) { // 获取图片宽度和高度 int width = bf.getWidth(); int height = bf.getHeight(); // 将图片sRGB数据写入一维数组 阅读全文
摘要：
################################################### userDF = sc.sparkContext.newAPIHadoopRDD(conf, classOf[TableInputFormat],classOf[org.apache.hadoop 阅读全文
摘要：
import java.io.{File, PrintWriter} import java.util import java.util.regex.Pattern import org.apache.spark.graphx.GraphLoader import org.apache.spark. 阅读全文
摘要：
import breeze.linalg.Vector val arr1 = Array(1,2,3,4,5) val arr2 = Array(2,3,4,5,6) val vec1 = breeze.linalg.Vector.apply(arr1)//spark线性代数库 val vec2 = 阅读全文
摘要：
git SSL certificate problem: unable to get local issuer certificatehttps://www.jianshu.com/p/103735801a2e Scala SDK及IDEA插件安装配置https://blog.csdn.net/zh 阅读全文
摘要：
git SSL certificate problem: unable to get local issuer certificatehttps://www.jianshu.com/p/103735801a2eScala SDK及IDEA插件安装配置https://blog.csdn.net/zhu 阅读全文
摘要：
public class TreeNode { int value; TreeNode leftChild; TreeNode rightChild; TreeNode(int value){ this.value = value; } TreeNode(){ } public void addLe 阅读全文
摘要：
import java.util.Scanner; Scanner scan=new Scanner(System.in); //一定要读取到有效字符后才可以结束输入,自动去掉前面空格和第一个空格之后所有内容// next() 不能得到带有空格的字符串if(scan.hasNext()){ Stri 阅读全文
摘要：
package javaTest01;import java.io.*;public class StreamTest02 { public static void main(String[] args) throws IOException { File file2=new File("confi 阅读全文