摘要：
add(增加元素) name = set(['Tom','Lucy','Ben']) name.add('Juny') print(name)#输出：{'Lucy', 'Juny', 'Ben', 'Tom'} clear(清空所有元素) name = set(['Tom','Lucy','Ben' 阅读全文
摘要：
thrift服务hbase本身已经集成了thrift，使用以下命令开启hbase thrift的服务器端。关闭是将start修改为stop即可。默认情况下监听9090端口。 hbase-daemon.sh start thrift2 hbase-daemons.sh start thrift2 (集 阅读全文
摘要：
当前信息 mysql安装目录 /usr/local/mysql/ 数据目录/usr/local/mysql/data 1. 下载新版本 下载5.7.2版本mysql并解压 [root@localhost ~]# wget https://dev.mysql.com/get/Downloads/MyS 阅读全文
摘要：
介绍 做数据分析的时候，经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果，然后再将查询结果放到Excel等工具中，但是如果查询的字段太多，这时候将查询结果放到Excel会经常会碰到错位问题，很是头疼. 解决方案一：借助linux管道替换输出分隔符 样例 阅读全文
摘要：
简介 with...as...需要定义一个sql片段,会将这个片段产生的结果集保存在内存中, 后续的sql均可以访问这个结果集和,作用与视图或临时表类似. 语法说明 with...as...必须和其他语句一起使用 with...as...是一次性的 with...as...的示例如下： -- wit 阅读全文
摘要：
背景 由于采用了sparkstreaming 任务一直再运行导致日志文件暴涨，达到了硬盘的预警，不得已必须指定策略定期删除日志已保证服务器硬盘空间。 spark的日志分类 spark的日志都有那些： 1.event(history) 2.work 3.executor 解决方法 方案1 一开始为了快 阅读全文
摘要：
本文使用Spark的版本为：spark-2.4.0-bin-hadoop2.7.tgz。 spark的集群采用3台机器进行搭建，机器分别是server01，server02,server03。 其中：server01,server02设置为Master，server01,server02,serve 阅读全文
摘要：
Elasticsearch 性能优化 Elasticsearch 是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。作为一个开箱即用的产品，在生产环境上线之后，我们其实不一定能确保其的性能和稳定性。如何根据实际情况提高服务的性能，其实有很多技巧。这章我们 阅读全文
摘要：
ES在查询过程中比较多遇到符合查询，既需要多个字段过滤也需要特殊情况处理，本文简单介绍几种查询组合方便快捷查询ES。 bool（组合查询） must 所有的语句都 必须（must） 匹配，与 AND 、= 等价。 must_not 所有的语句都 不能（must not） 匹配，与 NOT 、!= 等 阅读全文
摘要：
系统中有python2,为了不影响现有程序，只能在此基础上安装python3。 安装可能需要的依赖# yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel gcc gcc-c+ 阅读全文