2017年8月27日

关于pyspark

摘要： http://spark.apache.org/ 官网，下载tar包 解压缩到本地； 设置环境变量，把%Spark解压缩路径%/bin放入到PATH变量中；（可以考虑设置一个SPARK_HOME) 在命令窗口中敲入pySpark，将会看到一系列OK的提示字符串； 问题： Could not loca 阅读全文

posted @ 2017-08-27 22:12 张叫兽的技术研究院 阅读(167) 评论(0) 推荐(0) 编辑

关于CDH

摘要： 进入到任何一个Host的页面，点击“components"，就可以看到这个主机安装的组件的版本 阅读全文

posted @ 2017-08-27 22:09 张叫兽的技术研究院 阅读(134) 评论(0) 推荐(0) 编辑

hive通过spark导入hbase

摘要： 发现采用shcjar的话，总是执行到某个点就停止了 于是我打算尝试一下直接说哦用org.apache.hadoop.hbase.spark这个datasource看看 确实不行，即使没有createtable，也是报错没有权限创建表；还是专心来研究一下shc吧 翻看一下日志，日志注明了spark查看 阅读全文

posted @ 2017-08-27 22:06 张叫兽的技术研究院 阅读(1581) 评论(0) 推荐(0) 编辑

CentOS7的网络配置

摘要： 1.DNS配置 新安装的虚拟机，ping 内网IP可以，但是ping 外网域名却失败，告知“Name or service not known”。 原来是因为需要在/etc/sysconfig/network-script/ifcfg-XXX中，除了配置IPADDR以及NETMASK之外还要配置GA 阅读全文

posted @ 2017-08-27 21:46 张叫兽的技术研究院 阅读(638) 评论(0) 推荐(0) 编辑

TTY,Console以及Terminal

摘要： TTY可以理解是一种终端显示。可以在/dev文件夹看到多个tty开头的文件，可以通过alt+Fn(n=1~6)来进行切换。这个是不是和GUI场景下的多个Terminal窗口是一致的呢？ 伪TTY是指一种终端，通过某种协议和转换来实现终端功能，比如SSH，通过SSH协议和主机进行通信；也是指只一种操作 阅读全文

posted @ 2017-08-27 21:43 张叫兽的技术研究院 阅读(202) 评论(0) 推荐(0) 编辑

docker的操作

摘要： 查询容器 docker ps 只能查询到正在运行的docker镜像； 如果添加上-a的选项，则会显示所有的（包括已经exit，未启动）的容器 基于一个镜像来构建（run）容器，并启动 docker run -i -t centos /bin/bash -i 代表要运行的docker提供的标准输入（S 阅读全文

posted @ 2017-08-27 21:13 张叫兽的技术研究院 阅读(349) 评论(0) 推荐(0) 编辑

导航