摘要：
前提： 将本地csv文件，用pandas读取，并进行数据ETL，最后导入到ODPS表中。 代码如下： import pandas as pd from tqdm import tqdm_notebook from odps import ODPS from odps import options f 阅读全文
摘要：
需求背景：有一个很大的csv文件，大概有几百万行，数据质量不是很好，不能直接写入数据库中，如下： 1,HR00001,bigolin-03,03,,,,,"*,可以",100,,,, 2,HR00002,bigolin-06,06,,,,,"12.23,备份",340,,,, 目的：将"" 中的英文 阅读全文
摘要：
一、问题描述： 在启动完zk、Hadoop后想继续启动HBase，但是bin/start-hbase.sh后，进程里始终是HMaster起不起来(开始存活1-2s，然后直接挂掉..) 二、在日志中寻找答案 看到Hbase的log文件，发现是zk的问题 三、开始寻找解决办法 .在网上看了看其他道友遇到 阅读全文
摘要：
https://www.cnblogs.com/linn/p/4171208.html 阅读全文
摘要：
# coding=utf-8 import paramiko import os def DownLoadFile(sftp,LocalFile,RemoteFile): # 下载当个文件 file_handler = open(LocalFile, 'wb') print(file_handler 阅读全文
摘要：
一、服务集群版本 hadoop 2.8.1 hbase 2.0.5 hive 3.1.2 java 1.8.0 kafka 2.11.0 maxwell 1.25.0 nginx 1.12.2 phoenix 5.0.0 zookeeper 3.4.10 二、启动服务节点 三、在navicat中建库 阅读全文
摘要：
在centos 7 上安装 mysql 包如下错误： 解决方法： 执行下面这条命令，安装perl依赖 yum install -y perl-Module-Install.noarch 完成后，再次安装，报如下错误：net-tools 被 MySQL-server-5.6.25-1.el6.x86_ 阅读全文
摘要：
一、基本操作 1.进入HBase客户端命令 bin/hbase shell 2.查看帮助命令 help 3.查看当前数据库中有那些表 list 二、表的操作 1.创建表 create 'student','info' 2.插入数据到表中 > put 'student','1001','info:se 阅读全文
摘要：
一、前提：已经安装了ZK、KAFKA、Hadoop 二、架构图： hadoop101 hadoop102 hadoop103 HDFS NameNode SecondaryNameNode DataNode DataNode DataNode YARN ResourceManager NodeMan 阅读全文
摘要：
问题： 解决办法： 一、找不到主类 错误: 找不到或无法加载主类 com.*.App 修改成自己的项目就可以了； 二、java 找不到符号 三、（解决了我的问题，程序可以跑起来的办法） java: You aren't using a compiler supported by lombok, so 阅读全文