摘要：
1.casbin简介 casbin是一个可用于Golang, Java, C/C++, Node.js, Javascript, PHP, Laravel, Python, .NET (C#), Delphi, Rust, Ruby, Lua (OpenResty), Dart (Flutter)和 阅读全文
posted @ 2018-06-07 23:58
tonglin0325
阅读(3367)
评论(0)
推荐(0)
摘要：
Ansible是一个批量部署的工具 参考：Ansible中文权威指南 1.安装 sudo apt-get install software-properties-common sudo apt-add-repository ppa:ansible/ansible sudo apt-get updat 阅读全文
posted @ 2018-05-23 00:39
tonglin0325
阅读(814)
评论(1)
推荐(1)
摘要：
Logstash 是开源的服务器端数据处理管道，能够同时 从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（我们的存储库当然是 Elasticsearch。） 作用：集中、转换和存储数据 官方网站： https://www.elastic.co/cn/products/lo 阅读全文
posted @ 2018-05-16 10:33
tonglin0325
阅读(11774)
评论(1)
推荐(1)
摘要：
1.下载nexus 2.解压，会出现两个目录，nexus-2.11.2-03是服务 sonatype-work是私有库目录 3.修改配置，在nexus-2.11.2-03/bin目录下修改nexus文件 4.修改端口，nexus-2.11.2-03/conf修改nexus.properties文件 阅读全文
posted @ 2018-05-13 00:29
tonglin0325
阅读(491)
评论(0)
推荐(0)
摘要：
1.首先查看机器是否使用的是MegaRAID卡 2.添加 megaraid 源： 修改 /etc/apt/sources.list 在末尾添加 然后执行： 如果执行提示 GPG 错误，需要执行如下命令添加证书： 然后再次执行： 3.使用megacli命令进行一些简单的查询 <i>显示所有RAID级别 阅读全文
posted @ 2018-05-07 15:43
tonglin0325
阅读(1865)
评论(0)
推荐(1)
摘要：
参考：完全用 GNU/Linux 工作 - 29. 檢測硬碟 S.M.A.R.T. 健康狀態 1.安装 2.查看硬盘的参数，需要获得Root权限 3.如果使用下面的Python脚本来调用该命令的时候，是需要获得Root权限的 可以使用下面的方法来实现免输入密码，使用 sudo visudo 命令对/ 阅读全文
posted @ 2018-05-07 10:16
tonglin0325
阅读(1220)
评论(0)
推荐(0)
摘要：
1.首先下载Kibana 2.解压 3.修改配置，在config文件夹下面修改kibana.yml 4.启动 5.访问web 6.在Manager里面添加index，demo中的index名称叫做es 添加之后 7.在discover中可以查看数据，里面还会对top数据进行统计 8.在Dev too 阅读全文
posted @ 2018-05-06 22:36
tonglin0325
阅读(649)
评论(0)
推荐(0)
摘要：
1.请安装好Go的环境，参考上一篇open-falcon的安装博文 2.安装 mail-provider https://github.com/open-falcon/mail-provider 安装方法 cd $GOPATH/src mkdir github.com/open-falcon/ -p 阅读全文
posted @ 2018-05-03 10:46
tonglin0325
阅读(3381)
评论(0)
推荐(0)
摘要：
1.首先你需要知道flume的http监控端口是否启动 请参考博文 Flume的监控参数 即在 http://localhost:3000/metrics 可以访问到如下内容 2.在open-falcon中安装flume监控插件，参考官方文档 http://book.open-falcon.org/ 阅读全文
posted @ 2018-05-02 10:48
tonglin0325
阅读(893)
评论(0)
推荐(0)
摘要：
在Ubuntu下安装open-falcon和Centos下安装的方法有点区别，因为Ubuntu使用的包管理器是apt-get，而Centos下使用的是Yum，建议不要再Ubuntu下使用yum 建议自己下载源码打包二进制包来安装，因为官方给出的二进制包应该是再centos下打包的，再Ubuntu下运 阅读全文
posted @ 2018-05-02 09:30
tonglin0325
阅读(2337)
评论(0)
推荐(0)
摘要：
1.首先需要注册一个网易的邮箱，开启smtp服务，并使用其授权码 2.发送邮件的Python脚本 #!/usr/bin/python # -*- coding: UTF-8 -*- import smtplib from email.header import Header from email.m 阅读全文
posted @ 2018-05-02 00:14
tonglin0325
阅读(259)
评论(0)
推荐(0)
摘要：
参考 flume的http监控参数说明 普通的flume启动命令 日志信息在终端输出，只有去掉这个参数，日志才能在log4j和logback中输出 如果要加上http监控的话 即加上参数，flume.monitoring.type=http 指定了Reporting的方式为http，flume.mo 阅读全文
posted @ 2018-04-27 17:02
tonglin0325
阅读(3925)
评论(4)
推荐(0)
摘要：
参考 ： kafka管理器kafka-manager部署安装 下载Kafka Manager，并进行打包，由于Kafka manager是由scala写的，所以需要由sbt的支持 git clone https://github.com/yahoo/kafka-manager cd kafka-ma 阅读全文
posted @ 2018-04-27 16:28
tonglin0325
阅读(2421)
评论(0)
推荐(0)
摘要：
参考： http://www.cnblogs.com/EasonJim/p/7130171.html 安装indicator-sysmonitor sudo add-apt-repository ppa:fossfreedom/indicator-sysmonitor sudo apt-get up 阅读全文
posted @ 2018-04-27 15:46
tonglin0325
阅读(1272)
评论(0)
推荐(0)
摘要：
1. 搭建kafka的时候需要根据数据流量预估kafka集群的规模，aws为其MSK服务（aws上的托管kafka）提供了一个excel表格，可以输入参数来评估集群需要的硬件参数 https://amazonmsk.s3.amazonaws.com/MSK_Sizing_Pricing.xlsx 阅读全文
posted @ 2018-04-23 10:57
tonglin0325
阅读(458)
评论(0)
推荐(0)
摘要：
参考 ubuntu14 手动安装sbt 1、下载sbt通用平台压缩包：sbt-0.13.5.tgz http://www.scala-sbt.org/download.html 2、建立目录，解压文件到所建立目录 $ sudo tar zxvf sbt-0.13.5.tgz -C /opt/scal 阅读全文
posted @ 2018-04-19 17:14
tonglin0325
阅读(5829)
评论(0)
推荐(0)
摘要：
参考 ubuntu16.04 配置shadowsocks及使用教程，支持chacha20-ietf-poly1305加密方式 安装shadow$ocks-libev 配置文件 内容 运行shadow$ocks Centos下安装 参考 步骤 期间遇到 configure: error: mbed T 阅读全文
posted @ 2018-04-15 19:54
tonglin0325
阅读(1958)
评论(0)
推荐(0)
摘要：
GRUB 是一个用于加载和管理系统启动的完整程序。它是Linux 发行版中最常见的 引导程序 bootloader 。引导程序是计算机启动时运行的第一个软件。 1.grub命令行模式 如果进入的grub命令行模式的话，则说明GNU grub找不到正确的引导文件，这时候可以通过命令手动来进行选择，如下 阅读全文
posted @ 2018-04-14 22:33
tonglin0325
阅读(418)
评论(0)
推荐(0)
摘要：
参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server Kafka专业术语，参考 Apache kafka 工作原理介 阅读全文
posted @ 2018-04-12 20:37
tonglin0325
阅读(66384)
评论(1)
推荐(3)
摘要：
VCS >Enable Version Control Integration，然后选择git就可以了 阅读全文
posted @ 2018-04-12 10:38
tonglin0325
阅读(1144)
评论(0)
推荐(0)
摘要：
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个专门设计用来从大量的源，推送数据到Hadoop生态系统中各种各样存储系统中去的，例如HDFS和HB 阅读全文
posted @ 2018-04-11 20:59
tonglin0325
阅读(1706)
评论(0)
推荐(0)
摘要：
到elasticsearch网站下载最新版本的elasticsearch 6.2.1 https://www.elastic.co/downloads/elasticsearch 其他版本 https://www.elastic.co/cn/downloads/past-releases/elast 阅读全文
posted @ 2018-02-13 16:53
tonglin0325
阅读(10009)
评论(0)
推荐(0)
摘要：
学习的资料是官网的Programming Guide 首先是GraphX的简介 GraphX是Spark中专门负责图和图并行计算的组件。 GraphX通过引入了图形概念来继承了Spark RDD：一个连接节点和边的有向图 为了支持图计算，GraphX引入了一些算子： subgraph, joinVe 阅读全文
posted @ 2018-01-26 18:22
tonglin0325
阅读(983)
评论(0)
推荐(0)
摘要：
首先自己造了一份简单的社交关系的图 第一份是人物数据，id和姓名，person.txt 第二份是社交关系数据，两个人的id和社交关系，social.txt 使用SparkX和GraphStream来处理数据 可视化的结果，该图数据节点数很少，本来想尝试一份百万节点的数据，结果遇到了爆内存的问题 后来 阅读全文
posted @ 2018-01-23 23:11
tonglin0325
阅读(1625)
评论(3)
推荐(0)
摘要：
使用gephi对图数据进行可视化操作，下面网址是gephi的说明文档 使用的gephi版本号：0.9.1 系统：Ubuntu 16.04 内存：8G 1.启动Gephi，在semantic web import中输入，该web接口是dbpedia的RDF格式数据，然后点击run 接下来在 图 界面中 阅读全文
posted @ 2018-01-19 20:06
tonglin0325
阅读(1740)
评论(0)
推荐(0)
摘要：
1.安装apache-airflow 1.8.0 服务器使用的是centos系统，需要安装好pip和setuptools，同时注意更新安装的版本 接下来参考安装好Airflow Airflow 1.8 工作流平台搭建 http://blog.csdn.net/kk185800961/article/ 阅读全文
posted @ 2017-11-28 17:17
tonglin0325
阅读(2373)
评论(0)
推荐(0)
摘要：
1.下载mysql的repo源 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 2.安装mysql-community-release-el7-5.noarch.rpm包 sudo rpm -ivh mysql- 阅读全文
posted @ 2017-11-28 15:11
tonglin0325
阅读(806)
评论(1)
推荐(1)
摘要：
安装 pip install shadow$ocks 创建文件 touch /etc/shadow$ocks.json { "server":"服務器IP或域名", "server_port":端口號, "local_address": "127.0.0.1", "local_port":1080, 阅读全文
posted @ 2017-09-12 00:15
tonglin0325
阅读(70)
评论(0)
推荐(0)
摘要：
安装的过程请参考 Ubuntu14.04下同时安装Anaconda2与Anaconda3 启动的时候cd到$HOME/anaconda2/envs/py3k/bin下 然后记得在/etc/profile中加上 如果想安装包,直接pip install 阅读全文
posted @ 2017-07-02 16:18
tonglin0325
阅读(1089)
评论(0)
推荐(0)
摘要：
1.首先需要安装Hadoop和Hive 安装的时候参考 http://blog.csdn.net/jdplus/article/details/46493553 安装的版本是apache-hive-2.1.1-bin.tar.gz,解压到/usr/local目录下 然后在/etc/profile文件 阅读全文
posted @ 2017-06-24 11:59
tonglin0325
阅读(480)
评论(0)
推荐(0)
摘要：
布隆过滤器的实现方法1:自己实现 参考 http://www.cnblogs.com/naive/p/5815433.html bllomFilter两个参数分别代表,布隆过滤器的大小和hash函数的个数 #coding:utf-8 #!/usr/bin/env python from bitarr 阅读全文
posted @ 2017-06-18 11:41
tonglin0325
阅读(1264)
评论(0)
推荐(0)
摘要：
1.下载 kafka和zookeeper 这里下载的是 kafka_2.10-0.10.0.0.tgz 和 zookeeper-3.4.10.tar.gz 可以在清华镜像站下载 https://mirrors.tuna.tsinghua.edu.cn/apache/ 或者apache官网 https 阅读全文
posted @ 2017-06-17 11:30
tonglin0325
阅读(5596)
评论(0)
推荐(0)
摘要：
1.Python下安装方法 git clone --recursive https://github.com/dmlc/xgboost cd xgboost make -j4 cd python-package/ sudo python setup.py install 如果在import xgbo 阅读全文
posted @ 2017-06-10 15:28
tonglin0325
阅读(2820)
评论(0)
推荐(0)
摘要：
查看安装的库 查看过时的库 批量更新的Python脚本 更新pip 阅读全文
posted @ 2017-06-02 16:06
tonglin0325
阅读(12208)
评论(0)
推荐(1)
摘要：
Kaggle的房价数据集使用的是Ames Housing dataset，是美国爱荷华州的艾姆斯镇2006-2010年的房价 1.特征探索和分析 1.了解特征的含义 首先使用Python的pandas加载一下训练样本和测试样本，数据的格式是csv格式的，且第一列是特征的名称 查看一下特征的维度 im 阅读全文
posted @ 2017-05-28 21:24
tonglin0325
阅读(1794)
评论(0)
推荐(0)
摘要：
package kaggle import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.sql.{SQLContext, SparkSession} import or 阅读全文
posted @ 2017-05-26 16:19
tonglin0325
阅读(788)
评论(0)
推荐(0)
摘要：
import org.apache.spark.ml.classification.RandomForestClassifier import org.apache.spark.ml.regression.RandomForestRegressor import org.apache.spark.m 阅读全文
posted @ 2017-05-25 23:46
tonglin0325
阅读(1026)
评论(0)
推荐(0)
摘要：
使用Stanford Corenlp对中文进行词性标注 语言为Scala，使用的jar的版本是3.6.0，而且是手动添加jar包，使用sbt添加其他版本的时候出现了各种各样的问题 添加的jar包有5个 代码 关于词性标记 动词，形容词（4种）：VA，VC，VE，VV 1、谓词性形容词：VA 谓词性形 阅读全文
posted @ 2017-05-13 23:30
tonglin0325
阅读(13360)
评论(0)
推荐(0)
摘要：
1.导入JSON数据的方式有两种，一种是在web管理界面中导入，另一种是使用curl命令来导入 2.导入的时候注意格式 使用curl可以导入的格式 在web界面中可以导入的格式 不可以导入的格式 格式转换的Scala代码 导入成功将会返回，导入之后需要等上一段时间才会生成索引 注意有可能还需要在下面 阅读全文
posted @ 2017-05-10 22:13
tonglin0325
阅读(2838)
评论(1)
推荐(0)
摘要：
1.进入Solr管理界面http://localhost:8983/solr/ 可以看到Query中有若干的参数，其意义如下（参考：http://www.jianshu.com/p/3c4cae5dee8d） Solr的查询语法： Solr默认有三种查询解析器（Query Parser）： Stan 阅读全文
posted @ 2017-05-10 11:54
tonglin0325
阅读(440)
评论(0)
推荐(0)
浙公网安备 33010602011771号