IT晓白 - 博客园

摘要：首先要打开zookeeper，其次打开kafka，关闭时要先关闭kafka再关闭zookeeper 启动zookeeperzookeeper-server-start.sh config/zookeeper.properties 启动kafkakafka-server... 阅读全文

posted @ 2018-11-29 21:30 IT晓白阅读(433) 评论(0) 推荐(0) 编辑

摘要： -----------------scala-spark org.apache.spark spark-core_2.11 2.3.0 ... 阅读全文

posted @ 2018-11-28 21:18 IT晓白阅读(4437) 评论(0) 推荐(0) 编辑

摘要： https://yq.aliyun.com/articles/423918阿里云服务器快速搭建自己的个人网站 https://www.aliyun.com/jiaocheng/127216.html如何快速搭建个人网站（服务器配置篇） https://blog.csd... 阅读全文

posted @ 2018-11-25 22:19 IT晓白阅读(461) 评论(0) 推荐(0) 编辑

摘要：管理centos服务器的时候常会对文件进行一些常规操作，除了ftp之外了解在ssh下必要的文件操作命令那也是必不可少的，以下摘录一些常用的文件操作命令：查看ip：ip addr文件操作： ls ####查看目录中的文件#### ls -F ####查看目录中的文件##... 阅读全文

posted @ 2018-11-25 14:51 IT晓白阅读(357) 评论(0) 推荐(0) 编辑

摘要： 1.简介Solr是一个高性能，采用Java5开发，Solr基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。因为... 阅读全文

posted @ 2018-11-24 16:35 IT晓白阅读(249) 评论(0) 推荐(0) 编辑

摘要： MySQL安装图解前言：下载地址链接：https://pan.baidu.com/s/1BMzQmMcZMCvixKBsnCkFrw 提取码：tec2 一、MYSQL的安装１、打开下载的mysql安装文件mysql-5.5.27-win32.zip，双击解压缩，运... 阅读全文

posted @ 2018-11-24 12:28 IT晓白阅读(1596) 评论(0) 推荐(0) 编辑

摘要： Spark数据倾斜(数据分布不均匀)数据倾斜发生时的现象：绝大多数task（任务）执行得都非常快，但个别task执行极慢。 OOM(内存溢出)，这种情况比较少见。数据倾斜发生的原理数据倾斜的原理很简单：在进行shuffle的时候，必须将各个节点上相同的key拉取到某个... 阅读全文

posted @ 2018-11-23 21:03 IT晓白阅读(495) 评论(0) 推荐(0) 编辑

摘要： PipeLine Pipeline:管道，在spark mllib中，作用主要是来定义计算的流程。模型的保存等。相当于提供了一个工具类，可以让我们更方便的使用spark mllib 推荐：在使用spa... 阅读全文

posted @ 2018-11-23 20:34 IT晓白阅读(356) 评论(0) 推荐(0) 编辑

摘要： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前... 阅读全文

posted @ 2018-11-23 19:33 IT晓白阅读(268) 评论(0) 推荐(0) 编辑

摘要： 1. 文件相关快捷键动作定义 Ctrl-O 打开文件 Ctrl-N 新建文件 Ctrl-S 保存文件 Ctrl-Alt-S 文件另存为 Ctrl-Shift-S 保存所有打开文件 Ctrl-P 打印 Alt-F4 退出... 阅读全文

posted @ 2018-11-22 15:53 IT晓白阅读(246) 评论(0) 推荐(0) 编辑

一个双鱼座的列表儿