2017 年 8月随笔档案 - 张叫兽的技术研究院

chronoy & NTP

摘要：同步时间配置文件中/etc/chrony.conf 里面指定: server master iburst keyfile /etc/chrony.keys commandkey 1 allow all 在/etc/chrony.keys文件中添加： 1 password 将chrony.conf以阅读全文

posted @ 2017-08-31 22:08 张叫兽的技术研究院阅读(1163) 评论(0) 推荐(0) 编辑

/boot下面文件说明

摘要：config-3.10.0-229.el7.x86_64 <==此版本核心被编译时选择的功能与模组设定档 grub/ <==旧版 grub1 ，不需要理会这目录了！ grub2/ <==就是开机管理程式 grub2 相关资料目录 initramfs-0-rescue-309eb890d3d95ec7 阅读全文

posted @ 2017-08-31 22:04 张叫兽的技术研究院阅读(336) 评论(0) 推荐(0) 编辑

Linux命令汇总（二）

摘要：1.登录用户设置新创建了一个用户，用useradd指令，但是发现通过终端无法登陆； echo password | passwd --stdin username 或者 passwd --stdin username <<< password 2.yum的本地安装 rpm -i 只能是安装，无法进阅读全文

posted @ 2017-08-31 21:56 张叫兽的技术研究院阅读(947) 评论(0) 推荐(0) 编辑

关于pyspark

摘要：http://spark.apache.org/ 官网，下载tar包解压缩到本地；设置环境变量，把%Spark解压缩路径%/bin放入到PATH变量中；（可以考虑设置一个SPARK_HOME) 在命令窗口中敲入pySpark，将会看到一系列OK的提示字符串；问题： Could not loca 阅读全文

posted @ 2017-08-27 22:12 张叫兽的技术研究院阅读(167) 评论(0) 推荐(0) 编辑

关于CDH

摘要：进入到任何一个Host的页面，点击“components"，就可以看到这个主机安装的组件的版本阅读全文

posted @ 2017-08-27 22:09 张叫兽的技术研究院阅读(134) 评论(0) 推荐(0) 编辑

hive通过spark导入hbase

摘要：发现采用shcjar的话，总是执行到某个点就停止了于是我打算尝试一下直接说哦用org.apache.hadoop.hbase.spark这个datasource看看确实不行，即使没有createtable，也是报错没有权限创建表；还是专心来研究一下shc吧翻看一下日志，日志注明了spark查看阅读全文

posted @ 2017-08-27 22:06 张叫兽的技术研究院阅读(1585) 评论(0) 推荐(0) 编辑

CentOS7的网络配置

摘要：1.DNS配置新安装的虚拟机，ping 内网IP可以，但是ping 外网域名却失败，告知“Name or service not known”。原来是因为需要在/etc/sysconfig/network-script/ifcfg-XXX中，除了配置IPADDR以及NETMASK之外还要配置GA 阅读全文

posted @ 2017-08-27 21:46 张叫兽的技术研究院阅读(640) 评论(0) 推荐(0) 编辑

TTY,Console以及Terminal

摘要：TTY可以理解是一种终端显示。可以在/dev文件夹看到多个tty开头的文件，可以通过alt+Fn(n=1~6)来进行切换。这个是不是和GUI场景下的多个Terminal窗口是一致的呢？伪TTY是指一种终端，通过某种协议和转换来实现终端功能，比如SSH，通过SSH协议和主机进行通信；也是指只一种操作阅读全文

posted @ 2017-08-27 21:43 张叫兽的技术研究院阅读(202) 评论(0) 推荐(0) 编辑

docker的操作

摘要：查询容器 docker ps 只能查询到正在运行的docker镜像；如果添加上-a的选项，则会显示所有的（包括已经exit，未启动）的容器基于一个镜像来构建（run）容器，并启动 docker run -i -t centos /bin/bash -i 代表要运行的docker提供的标准输入（S 阅读全文

posted @ 2017-08-27 21:13 张叫兽的技术研究院阅读(352) 评论(0) 推荐(0) 编辑

docker安装与操作

摘要：准备和安装 1.到这个路径下下载docker engine： https://get.docker.com/rpm/1.7.1/centos-7/RPMS/x86_64/docker-engine-1.7.1-1.el7.centos.x86_64.rpm 2. 依赖于libcgroup包，可以从h 阅读全文

posted @ 2017-08-25 21:58 张叫兽的技术研究院阅读(109) 评论(0) 推荐(0) 编辑

Wmware Player中Linux挂载U盘

摘要：菜单（Player）中有一项是可移动设备，中选择U盘，然后选择连接（断开主机），然后在命令行中敲入 fdisk -l 正常情况下是sda是硬盘的信息，然后将会看到一个单蹦的sdb4的信息（sdb4可能不会马上出来，需要等一会儿），这个就是设备是U盘然后在/mnt文件夹下面创建一个usb文件夹 m 阅读全文

posted @ 2017-08-23 22:03 张叫兽的技术研究院阅读(121) 评论(0) 推荐(0) 编辑

Mesos和Marathon

摘要：libz is required for mesos to build 需要安装zlib-devel-1.2.7-17.el7.x86_64.rpm 其实跨Shell的Profile文件同步只要执行source /etc/profile即可 configure: error: Could not l 阅读全文

posted @ 2017-08-23 22:00 张叫兽的技术研究院阅读(1045) 评论(0) 推荐(0) 编辑

U盘安装CentOS的坑

摘要：坑一：U盘安装盘配置的路径错误采用UltraISO制作的CentOS7的安装光盘，但是在实体机安装的时候，发生了一些奇怪的失败，比如 dracut-initqueue timeout等，后来在网上搜索了一下，原来这是因为制作iso的时候，配置路径有误造成的。方法一：指定设备法在失败后的界面，进阅读全文

posted @ 2017-08-23 21:48 张叫兽的技术研究院阅读(1248) 评论(0) 推荐(0) 编辑

CentOS7的安装以及GPT和MBR

摘要：讲到GPT（GUID partition Table）和MBR（Master Boot Record)首先要将一下EFI（Extension Firmware Interface）和BIOS（Basic Input-output System），EFI是intel提出的取代BIOS的技术，BIOS自阅读全文

posted @ 2017-08-23 21:41 张叫兽的技术研究院阅读(2819) 评论(0) 推荐(0) 编辑

HDFS数据迁移目录到正确姿势

摘要：添加了一块硬盘，原来的DataNode已经把原有的硬盘占满；怎么办，想要把旧有的数据迁移到新的硬盘上面； 1. 在CDH中修改目录（在HDFS组件中搜索.dir)，本例中，新加的硬盘挂载在/data上面，NameNode,DataNode,以及CheckPoint路径都前加一个“/data"； 2. 阅读全文

posted @ 2017-08-20 11:22 张叫兽的技术研究院阅读(1425) 评论(0) 推荐(0) 编辑

Hive操作笔记

摘要：hive库清表，删除数据 insert overwrite table lorry.bigdata select * from lorry.bigdata where 1=0 hive的simple模式 hive的select如果是fetch模式（select <columnname> from [ 阅读全文

posted @ 2017-08-20 11:12 张叫兽的技术研究院阅读(278) 评论(0) 推荐(0) 编辑

Pyspark

摘要：It appears that you are attempting to reference SparkContext from a broadcast " Exception: It appears that you are attempting to reference SparkContex 阅读全文

posted @ 2017-08-19 22:04 张叫兽的技术研究院阅读(1280) 评论(0) 推荐(0) 编辑

Python手记

摘要：字符串的拼接 1.“+”，如果是字符和数字相连，要使用str()函数对于数字进行字符转化； 2.join() 3.",",链接的两个字符串之间用空格做关联 4.占位符 tmp +=1 #print 'r'%tmp print("row num is: %s"%(tmp)) print('value 阅读全文

posted @ 2017-08-19 22:03 张叫兽的技术研究院阅读(315) 评论(0) 推荐(0) 编辑

Hadoop问题集锦

摘要：1.Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup 1.Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergrou 阅读全文

posted @ 2017-08-13 22:24 张叫兽的技术研究院阅读(150) 评论(0) 推荐(0) 编辑

Impala的JDBC无法连接

摘要：这是因为客户端连接的JDBC是Impala的master机器，而不是DataNode；因为JDBC的服务宿主是Impalad，而Impalad只是部署在DataNode 阅读全文

posted @ 2017-08-13 22:18 张叫兽的技术研究院阅读(625) 评论(0) 推荐(0) 编辑

HBase On Spark

摘要：从昨天开始研究通过Spark向HBase中插入数据，开始在GitHub上面找了一段代码，但是调试起来不好用；于是到今天下午一直在研究这个代码，本来对于Python不太熟悉，对于PySpark更是不熟悉；而且还少一些包；后来突然想到其实Spark还有Java版本的，PySpark和它都是Spark提阅读全文

posted @ 2017-08-13 22:13 张叫兽的技术研究院阅读(344) 评论(0) 推荐(0) 编辑

下士闻道

08 2017 档案