摘要:
参考:完全用 GNU/Linux 工作 - 29. 檢測硬碟 S.M.A.R.T. 健康狀態 1.安装 2.查看硬盘的参数,需要获得Root权限 3.如果使用下面的Python脚本来调用该命令的时候,是需要获得Root权限的 可以使用下面的方法来实现免输入密码,使用 sudo visudo 命令对/ 阅读全文
摘要:
1.首先下载Kibana 2.解压 3.修改配置,在config文件夹下面修改kibana.yml 4.启动 5.访问web 6.在Manager里面添加index,demo中的index名称叫做es 添加之后 7.在discover中可以查看数据,里面还会对top数据进行统计 8.在Dev too 阅读全文
摘要:
1.请安装好Go的环境,参考上一篇open-falcon的安装博文 2.安装 mail-provider https://github.com/open-falcon/mail-provider 安装方法 cd $GOPATH/src mkdir github.com/open-falcon/ -p 阅读全文
摘要:
1.首先你需要知道flume的http监控端口是否启动 请参考博文 Flume的监控参数 即在 http://localhost:3000/metrics 可以访问到如下内容 2.在open-falcon中安装flume监控插件,参考官方文档 http://book.open-falcon.org/ 阅读全文
摘要:
在Ubuntu下安装open-falcon和Centos下安装的方法有点区别,因为Ubuntu使用的包管理器是apt-get,而Centos下使用的是Yum,建议不要再Ubuntu下使用yum 建议自己下载源码打包二进制包来安装,因为官方给出的二进制包应该是再centos下打包的,再Ubuntu下运 阅读全文
摘要:
参考:Python3实现163邮箱SMTP发送邮件 1.首先需要注册一个网易的邮箱,开启smtp服务,并使用其授权码 2.发送邮件的Python脚本 阅读全文
摘要:
参考 flume的http监控参数说明 普通的flume启动命令 日志信息在终端输出,只有去掉这个参数,日志才能在log4j和logback中输出 如果要加上http监控的话 即加上参数,flume.monitoring.type=http 指定了Reporting的方式为http,flume.mo 阅读全文
摘要:
参考 : kafka管理器kafka-manager部署安装 下载Kafka Manager,并进行打包,由于Kafka manager是由scala写的,所以需要由sbt的支持 git clone https://github.com/yahoo/kafka-manager cd kafka-ma 阅读全文
摘要:
参考: http://www.cnblogs.com/EasonJim/p/7130171.html 安装indicator-sysmonitor sudo add-apt-repository ppa:fossfreedom/indicator-sysmonitor sudo apt-get up 阅读全文
摘要:
1. 搭建kafka的时候需要根据数据流量预估kafka集群的规模,aws为其MSK服务(aws上的托管kafka)提供了一个excel表格,可以输入参数来评估集群需要的硬件参数 https://amazonmsk.s3.amazonaws.com/MSK_Sizing_Pricing.xlsx 阅读全文
摘要:
参考 ubuntu14 手动安装sbt 1、下载sbt通用平台压缩包:sbt-0.13.5.tgz http://www.scala-sbt.org/download.html 2、建立目录,解压文件到所建立目录 $ sudo tar zxvf sbt-0.13.5.tgz -C /opt/scal 阅读全文
摘要:
参考 ubuntu16.04 配置shadowsocks及使用教程,支持chacha20-ietf-poly1305加密方式 安装shadow$ocks-libev 配置文件 内容 运行shadow$ocks Centos下安装 参考 步骤 期间遇到 configure: error: mbed T 阅读全文
摘要:
GRUB 是一个用于加载和管理系统启动的完整程序。它是Linux 发行版中最常见的 引导程序 bootloader 。引导程序是计算机启动时运行的第一个软件。 1.grub命令行模式 如果进入的grub命令行模式的话,则说明GNU grub找不到正确的引导文件,这时候可以通过命令手动来进行选择,如下 阅读全文
摘要:
参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server Kafka专业术语,参考 Apache kafka 工作原理介 阅读全文
摘要:
VCS >Enable Version Control Integration,然后选择git就可以了 阅读全文
摘要:
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume是一个专门设计用来从大量的源,推送数据到Hadoop生态系统中各种各样存储系统中去的,例如HDFS和HB 阅读全文
摘要:
到elasticsearch网站下载最新版本的elasticsearch 6.2.1 https://www.elastic.co/downloads/elasticsearch 其他版本 https://www.elastic.co/cn/downloads/past-releases/elast 阅读全文
摘要:
学习的资料是官网的Programming Guide 首先是GraphX的简介 GraphX是Spark中专门负责图和图并行计算的组件。 GraphX通过引入了图形概念来继承了Spark RDD:一个连接节点和边的有向图 为了支持图计算,GraphX引入了一些算子: subgraph, joinVe 阅读全文
摘要:
首先自己造了一份简单的社交关系的图 第一份是人物数据,id和姓名,person.txt 第二份是社交关系数据,两个人的id和社交关系,social.txt 使用SparkX和GraphStream来处理数据 可视化的结果,该图数据节点数很少,本来想尝试一份百万节点的数据,结果遇到了爆内存的问题 后来 阅读全文
摘要:
使用gephi对图数据进行可视化操作,下面网址是gephi的说明文档 使用的gephi版本号:0.9.1 系统:Ubuntu 16.04 内存:8G 1.启动Gephi,在semantic web import中输入,该web接口是dbpedia的RDF格式数据,然后点击run 接下来在 图 界面中 阅读全文
摘要:
1.安装apache-airflow 1.8.0 服务器使用的是centos系统,需要安装好pip和setuptools,同时注意更新安装的版本 接下来参考安装好Airflow Airflow 1.8 工作流平台搭建 http://blog.csdn.net/kk185800961/article/ 阅读全文
摘要:
1.下载mysql的repo源 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 2.安装mysql-community-release-el7-5.noarch.rpm包 sudo rpm -ivh mysql- 阅读全文
摘要:
安装 pip install shadow$ocks 创建文件 touch /etc/shadow$ocks.json { "server":"服務器IP或域名", "server_port":端口號, "local_address": "127.0.0.1", "local_port":1080, 阅读全文
摘要:
安装的过程请参考 Ubuntu14.04下同时安装Anaconda2与Anaconda3 启动的时候cd到$HOME/anaconda2/envs/py3k/bin下 然后记得在/etc/profile中加上 如果想安装包,直接pip install 阅读全文
摘要:
1.首先需要安装Hadoop和Hive 安装的时候参考 http://blog.csdn.net/jdplus/article/details/46493553 安装的版本是apache-hive-2.1.1-bin.tar.gz,解压到/usr/local目录下 然后在/etc/profile文件 阅读全文
摘要:
布隆过滤器的实现方法1:自己实现 参考 http://www.cnblogs.com/naive/p/5815433.html bllomFilter两个参数分别代表,布隆过滤器的大小和hash函数的个数 #coding:utf-8 #!/usr/bin/env python from bitarr 阅读全文
摘要:
1.下载 kafka和zookeeper 这里下载的是 kafka_2.10-0.10.0.0.tgz 和 zookeeper-3.4.10.tar.gz 可以在清华镜像站下载 https://mirrors.tuna.tsinghua.edu.cn/apache/ 或者apache官网 https 阅读全文
摘要:
1.Python下安装方法 git clone --recursive https://github.com/dmlc/xgboost cd xgboost make -j4 cd python-package/ sudo python setup.py install 如果在import xgbo 阅读全文
摘要:
查看安装的库 查看过时的库 批量更新的Python脚本 更新pip 阅读全文
摘要:
Kaggle的房价数据集使用的是Ames Housing dataset,是美国爱荷华州的艾姆斯镇2006-2010年的房价 1.特征探索和分析 1.了解特征的含义 首先使用Python的pandas加载一下训练样本和测试样本,数据的格式是csv格式的,且第一列是特征的名称 查看一下特征的维度 im 阅读全文
摘要:
package kaggle import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.sql.{SQLContext, SparkSession} import or 阅读全文
摘要:
import org.apache.spark.ml.classification.RandomForestClassifier import org.apache.spark.ml.regression.RandomForestRegressor import org.apache.spark.m 阅读全文
摘要:
使用Stanford Corenlp对中文进行词性标注 语言为Scala,使用的jar的版本是3.6.0,而且是手动添加jar包,使用sbt添加其他版本的时候出现了各种各样的问题 添加的jar包有5个 代码 关于词性标记 动词,形容词(4种):VA,VC,VE,VV 1、谓词性形容词:VA 谓词性形 阅读全文
摘要:
1.导入JSON数据的方式有两种,一种是在web管理界面中导入,另一种是使用curl命令来导入 2.导入的时候注意格式 使用curl可以导入的格式 在web界面中可以导入的格式 不可以导入的格式 格式转换的Scala代码 导入成功将会返回,导入之后需要等上一段时间才会生成索引 注意有可能还需要在下面 阅读全文
摘要:
1.进入Solr管理界面http://localhost:8983/solr/ 可以看到Query中有若干的参数,其意义如下(参考:http://www.jianshu.com/p/3c4cae5dee8d) Solr的查询语法: Solr默认有三种查询解析器(Query Parser): Stan 阅读全文
摘要:
1.在清华开源软件镜像站或者http://www.us.apache.org/dist/ 下载Solr的安装包,我下载的是solr-6.5.1.tgz 2.解压并移动到/usr/local目录下 3.安装Solr需要安装Java环境,假设Java环境是安装好的 4.解压solr-6.5.1.tgz目 阅读全文
摘要:
1.建立TF-IDF模型 阅读全文
摘要:
spark可以使用SparkListener API在spark运行的过程中监控spark任务当前的运行状态,参考:SparkListener监听使用方式及自定义的事件处理动作 编写 MySparkAppListener package com.bigdata.spark import org.ap 阅读全文
摘要:
参考: 广告点击率预估是怎么回事? 参考:推荐系统(10):样本拼接工程实践 阅读全文
摘要:
参考:http://blog.csdn.net/xiangwanpeng/article/details/54586087 1.在下载目录下 sudo wget http://download.redis.io/releases/redis-3.2.6.tar.gz 2.解压,并复制到/usr/lo 阅读全文