08 2018 档案
摘要：**kwargs接收键值对参数,即字典， dict的pop()函数内需传2个参数，第一个参数为dict内的key， 如果有该key>第二个参数为None，最后的结果就是该key对应的value。 如果没有该key>第二个参数为指定的pop参数。
阅读全文
摘要：1.下载文件到本地 public class HdfsUrlTest { static{ //注册url 让java程序识别hdfs的url URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public stati
阅读全文
摘要：Linux环境设置/*安装Hadoop集群时要确保以下几个方面1.本机与虚拟机之间是否可以通信（Ping）。如果不行检查下面 1.1本机防火墙关闭（开启情况是本机可以ping虚拟机，虚拟机不能ping本机） 1.2虚拟机是克隆的情况（按照Linux文档中，修改ip地址等方法） 1.3虚拟机设置--网
阅读全文
摘要：1.创建oracle表：CREATE TABLE a( ORDER_ID INT NOT NULL, ORDER DATE, TOTAL INT,ID VARCHAR(40))PARTITION BY LIST (ORDER_DATE)( PARTITION P_20170101 VALUES (2
阅读全文
摘要：1.、字符串长度计算函数：length语法: length(string A)，返回值: int说明：返回字符串A的长度例子：hive> select length('iteblog') from iteblog;72.、字符串反转函数：reverse语法: reverse(string A)返回值
阅读全文
摘要：1.创建hive表：create table tabname(id int,name string)partitioned by (year int,month int,day int)row format delimited fields terminated by'\t'lines termin
阅读全文
摘要：1、等值比较: =语法：A=B操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSEhive> select 1 from iteblog where 1=1;2、不等值比较: <>语法: A <> B操作类型: 所有基本类型描述: 如果表达式A为NULL，或者表达
阅读全文
摘要：1.创建表：create 'tablename','cloumnfamily1','columnfamily2'2.表描述：describe 'tablename'3.删除列族：（1）disable‘tablename’（2）alter'tablename',NAME=>'cloumnfamily2
阅读全文
摘要：1.下面是一个topic数据出现堵塞的情况示图。 如图所示，delta列表示当前分区未处理的数据条数，kafka current表示推送到topic的数据量，spout current表示已经处理的数据量。 这种情况有几种可能：数据有问题，配置文件有问题，代码有问题，显然这些都是废话，差不多也就这几
阅读全文
摘要：接下来是最近遇到的一个代理问题。 背景：一个基于python2.7的自动化测试项目 目的：因调试需求，需要通过代理连接其他公司的前端网站，来检验项目运行所在的问题。 问题：RUN>等了1分钟没有任何提示，之后抛出异常，raise ConnectionError(e, request=request)
阅读全文
摘要：工具压缩包链接 密码：zbef 1.将压缩包放到linux的任意目录下，执行：tar zxvf lrzsz-0.12.20.tar.gz 解压压缩包 2.cd lrzsz-0.12.20 3../configure --prefix=/usr/local/lrzsz 4.make 5.make in
阅读全文
摘要：验证数字的正则表达式集 验证数字：^[0-9]*$验证n位的数字：^\d{n}$验证至少n位数字：^\d{n,}$验证m-n位的数字：^\d{m,n}$验证零和非零开头的数字：^(0|[1-9][0-9]*)$验证有两位小数的正实数：^[0-9]+(.[0-9]{2})?$验证有1-3位小数的正实数
阅读全文
摘要：1.建立topic cd 进入kafka的安装根目录的bin目录下 执行：./kafka-topics.sh --zookeeper ip:port,ip:port,ip:port/kafka-test --create --topic topicname --partitions 4 -repli
阅读全文
摘要：前提：你的linux服务器必须有gcc编译器，gcc查看方法：linux命令行>gcc -v 如果返回版本信息证明已经安装， 如果找不到命令，跳到这篇手动安装gcc >>> linux gcc手动安装 小的安装的是python2.7，您需要的python的压缩包及其他需要的包在这。 链接：按我按我按
阅读全文
摘要：Linux下： 手动安装gcc需要5个基础包 百度网盘链接：链接：包链接 密码：izxj <!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tJZCI6IjM3OTktMTUyNzA2MjcxMjU1NCIsImJsb2NrVHlwZSI6ImF0
阅读全文
摘要：1.es建立索引： curl -XPUT 'http://10.xx.xx.xx:9200/索引名称' 2.es查询所有索引： curl -XGET 'http://10.xx.xx.xx:9200/_cat/indices?v' 3.es查询单个索引内容： curl -XGET 'http://1
阅读全文
