Hive和Hbase

摘要: Hive 不想用程序语言开发MapReduce的朋友比如DB们,熟悉SQL的朋友可以使用Hive开离线的进行数据处理与分析工作。 注意Hive现在适合在离线下进行数据的操作,就是说不适合在挂在真实的生产环境中进行实时的在线查询或操作,因为一个字“慢”。相反 起源于FaceBook,Hive在Hado 阅读全文
posted @ 2018-03-19 17:10 zy900406 阅读(204) 评论(0) 推荐(0) 编辑

eth客户端安装 & geth使用 &批量转账(二)

摘要: 回顾一下,前面我们讲到启动geth geth --rpc --datadir "F:/geth/Geth/" --light console 2>console.log 这一篇接着上面讲geth的使用,分为4个部分 1、创建账户 2、验证区块是否更新完毕 3、解锁账户 4、转账 此时进入到命令行模式 阅读全文
posted @ 2018-03-19 17:03 zy900406 阅读(7037) 评论(2) 推荐(1) 编辑

eth客户端安装 & geth使用 &批量转账(一)

摘要: 这里是第一篇,主要讲eth客户端安装 eth官网 https://ethereum.org/ 国内有一个论坛内容挺多的,可以参考 http://ethfans.org/ eth客户端: eth客户端种类很多,go,Java,Python等各种语言写的都有 目前最常用的,官网推荐的有带图形界面的 mi 阅读全文
posted @ 2018-03-19 16:44 zy900406 阅读(2982) 评论(1) 推荐(1) 编辑

solr配置文件中遇到的坑

摘要: solr中创建索引不能成功,最后发现: 配置xml文件中,数据库密码 中出现 & 符号,解决方法 & 阅读全文
posted @ 2017-04-05 21:27 zy900406 阅读(186) 评论(0) 推荐(0) 编辑

python_读取 doc,docx,pdf

摘要: #!/usr/bin/env python # -*- coding: utf-8 -*- import docx from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter from pdfminer.converter import TextConverter from pdfminer.layout impo... 阅读全文
posted @ 2017-03-31 23:08 zy900406 阅读(480) 评论(0) 推荐(0) 编辑

centos 安装 pip

摘要: sudo yum -y install epel-release sudo yum -y install python-pip sudo yum clean allhttp://rfyiamcool.blog.51cto.com/1030776/1258292/ 阅读全文
posted @ 2017-02-27 18:02 zy900406 阅读(114) 评论(0) 推荐(0) 编辑

centos 安装python2.7

摘要: 自带的是python2.6版本,现阶段需要 安装pyhdfs使用python操作hdfs,所以需要2.7及以上版本 1)安装devtoolset 2)安装编译Python需要的包包 3)下载并解压Python 2.7.9的源代码 4)编译与安装Python 2.7.9 5)将python命令指向Py 阅读全文
posted @ 2017-02-27 13:54 zy900406 阅读(217) 评论(0) 推荐(0) 编辑

安装pyhdfs

摘要: 1. 下载pyhdfs https://pypi.python.org/pypi/PyHDFS/0.1.0 2. 将pyhdfs解压放在目录下 3.查看jdk目录 echo $JAVA_HOME /usr/java/default 4.修改setup.py 阅读全文
posted @ 2017-02-27 13:52 zy900406 阅读(441) 评论(0) 推荐(0) 编辑

本地文件入 hadoop,入hive测试

摘要: hadoop fs -mkdir /data/web_log/20170223 hadoop fs -copyFromLocal e_bmi.dat /data/web_log/20170223/ load data inpath '/data/web_log/20170223/e_bmi.dat' 阅读全文
posted @ 2017-02-24 15:03 zy900406 阅读(127) 评论(0) 推荐(0) 编辑

HDFS文件与本地文件的交互操作

摘要: 1.在HDFS中创建一个新的文件夹,用于保存weblog_entries.txt 2.将weblog_entries.txt文件从本地文件系统复制到HDFS刚创建的新文件夹下 3.列出HDFS上weblog_entries.txt文件的信息: 4.将HDFS上的weblog_entries.txt文 阅读全文
posted @ 2017-02-24 11:36 zy900406 阅读(507) 评论(0) 推荐(0) 编辑