bioamin

2019年5月26日

摘要： hadoop2.x主要分为hdfs和yarn 与hdfs上相关的角色：namenode（高可用情况下有2个）、datanode（若干个）、journal node（奇数个，一般为3个，用于高可用集群故障转移）、Failover Controller （这个角色向下监控name node，向上向zoo 阅读全文

posted @ 2019-05-26 18:36 bioamin 阅读(1248) 评论(0) 推荐(0) 编辑

nohup 后台运行 & 运行情况分析

摘要： nohup命令与& nobup投递的程序关闭shell页面，程序终止；ctrl+c不终止命令+&，这种类型投递的命令关闭页面程序不终止、ctrl+c终止最好的办法就是nohup +commond+& 阅读全文

posted @ 2019-05-26 18:17 bioamin 阅读(624) 评论(0) 推荐(0) 编辑

算法学习02天nlp之TF-IDF

摘要：首先我也不知道这个练习有什么用，就是玩一玩，很多东西都是不知道有啥用，玩玩或许就有用了，开心就好。今天看到大家发的马总的一个朋友圈截图：腾讯成立之初就是为了做一个好的产品，不是为了赚钱。哈哈哈哈哈哈哈 TF-IDF（term frequency–inverse document frequency）阅读全文

posted @ 2019-05-26 17:35 bioamin 阅读(298) 评论(0) 推荐(0) 编辑

2019年5月24日

kylin 密码修改

摘要：一、生成密码的密文： 1、利用别人的轮子，生成一个： 2、自己造一个轮子： pop.xml添加依赖： <dependency> <groupId>org.springframework.security</groupId> <artifactId>spring-security-core</ar 阅读全文

posted @ 2019-05-24 13:19 bioamin 阅读(1806) 评论(0) 推荐(0) 编辑

2019年5月22日

kylin报错： failed on local exception: org.apache.hadoop.hbase.ipc.CallTimeoutException : Call id=xxxxx waitTime=xxxxx,operationTimeout = 5000 expired

摘要：一个不写代码的码农不是好码农 emm 可是这么多好的分析工具呢背景：cdh5.15.1 redhat7.3 kylin2.5 目前kylin运行过程中有1个报错：第一个报错：failed on local exception: org.apache.hadoop.hbase.ipc.CallTi 阅读全文

posted @ 2019-05-22 18:57 bioamin 阅读(4258) 评论(2) 推荐(1) 编辑

kafka 练习

摘要：启动创建topic ./kafka-topics.sh --create --zookeeper dip005:2181,dip006:2181,dip007 --replication-factor 1 --partitions 1 --topic test2 ./kafka-topics.sh 阅读全文

posted @ 2019-05-22 18:22 bioamin 阅读(260) 评论(0) 推荐(0) 编辑

hdfs 3备份 2备份

摘要：记录一次hdfs磁盘满了的非常规操作研发环境最近压测一个东西，导了一个月的数据，3备份，对数据进行一些加工后，数据量直接把hdfs压满了。我的天，太恐怖了，和领导请示后，给集群解压（咱们也没办法呀，资源不够）怎么解压呢？首先通过cdh的hdfs的配置选项：将dfs.replication由3改阅读全文

posted @ 2019-05-22 15:14 bioamin 阅读(1605) 评论(2) 推荐(0) 编辑

2019年5月7日

nlp 电商评论处理 -史诗级长文

摘要： #auther bioamin #nlp of 电商评论 #-*- conding = utf-8 -*- import numpy as np import pandas as pd #画图的包 import matplotlib.pyplot as plt import seaborn as s 阅读全文

posted @ 2019-05-07 21:00 bioamin 阅读(1221) 评论(0) 推荐(0) 编辑

调用百度OCR模块进行文字识别

摘要： 1.登录百度云平台，创建应用 2.编写代码 from aip import AipOcr import codecs import os #读取图片函数 def ocr(path): with open(path,'rb') as f: return f.read() def main(): fil 阅读全文

posted @ 2019-05-07 17:24 bioamin 阅读(2767) 评论(0) 推荐(0) 编辑

2019年5月6日

简单的社交网络

摘要： 1.四个文件 cat A.关系图.xlsx Source Target Weight A B 6 A C 6 A D 7 A E 7 A F 6 A G 5 A H 5 A I 3 A J 6 cat B.关系图.xlsx Source Target Weight B C 7 B D 7 B E 5 阅读全文

posted @ 2019-05-06 21:06 bioamin 阅读(525) 评论(0) 推荐(0) 编辑

追寻创业的梦想

公告