2017 年 11月随笔档案 - 张叫兽的技术研究院

CentOS7自动补齐

摘要：cenos7，最小安装，做服务器嘛。但是发现tab键的自动补齐功能没有；其实可以直接把centos7作为yum源，然后直接安装bash-completion yum install -y bash-completion 阅读全文

posted @ 2017-11-25 10:48 张叫兽的技术研究院阅读(232) 评论(0) 推荐(0) 编辑

openvswitch以及docker网络

摘要：修改docker0的IP，教程写的是/etc/default/docker文件，但是那是过时的配置，真正的配置是在/etc/docker/daemon.json，格式是json的：安装openvswitch 安装流程可以参看：https://www.cnblogs.com/xkops/p/5568 阅读全文

posted @ 2017-11-25 10:42 张叫兽的技术研究院阅读(1275) 评论(0) 推荐(0) 编辑

Mesos问题汇总

摘要：1.Mesos的IP配置我在虚拟机里面搭载了一个mesos，但是外主机无法通过http://ip:5050 我在虚拟机内部测试发现wget localhost:5050可以正常访问；但是wget ip:5050会报拒绝链接的异常；后来发现原来是因为/etc/mesos-master(slave) 阅读全文

posted @ 2017-11-25 10:24 张叫兽的技术研究院阅读(789) 评论(0) 推荐(0) 编辑

docker容器的服务发现：consul

摘要：官网：https://www.consul.io 官网文档：https://www.consul.io/docs简介 consul是一个服务发现的组件，在docker世界中他比较流行，主要是consul不仅具有服务发现功能，还实现了DNS功能（centos默认的是dnsmaqs），监控检查以及事件处阅读全文

posted @ 2017-11-25 10:07 张叫兽的技术研究院阅读(543) 评论(0) 推荐(0) 编辑

DCOS安装

摘要：安装pre-flight master机器会安装上安装文件（同时check条件是否满足要求），其他的agent设备只是check各种条件是否具备。确保53/2181端口没有被占用；centos7每次启动机器都会启动dnsmasq服务（占用53端口），坑爹的是服务已经被disable，还是会被启动，阅读全文

posted @ 2017-11-25 09:50 张叫兽的技术研究院阅读(619) 评论(0) 推荐(0) 编辑

Mesos-slave启动处理记录

摘要：1. work_dir错误导致启动异常 /etc/mesos-slave/work_dir设置的目录不存在或者权限不够将会导致启动异常。 2. 根据日志信息以及status信息来判断问题通过service mesos-slave status -l跟踪，将会看到大段的option参数说明，这就说明阅读全文

posted @ 2017-11-22 14:57 张叫兽的技术研究院阅读(484) 评论(0) 推荐(0) 编辑

制作开机启动脚本

摘要：就以zookeeper的脚本启动作为例。 1.在/etc/init.d文件夹下面创建zookeeper文件 2.在文件中附加如下内容此时就可以通过 service zookeeper restart 来进行重启等操作；3.实现开机启动阅读全文

posted @ 2017-11-20 14:31 张叫兽的技术研究院阅读(240) 评论(0) 推荐(0) 编辑

Maven: 自动远程部署

摘要：1. 在settings.xml中的Servers节点中增加Server的登录信息： 2. 在pom中的build节点增加extensions内容： 3. 在plugin中增加plug 4. 在命令行执行： mvn clean package wagon:sshexec wagon:upload-s 阅读全文

posted @ 2017-11-19 22:33 张叫兽的技术研究院阅读(239) 评论(0) 推荐(0) 编辑

HUE，大数据的SQL Shell

摘要：1. HUE需要安装SASL 发现异常： Could not install table: Error creating table sample_07: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mecha 阅读全文

posted @ 2017-11-19 22:28 张叫兽的技术研究院阅读(706) 评论(0) 推荐(0) 编辑

spark减少提交jar包处理

摘要：spark一个应用，算上依赖一百多兆。每一次都如此，坑。首先是<packing>jar</packing>这只为打包为jar，在plugin中增加一个assembly插件，这个插件将会生成一个全包（包括用户代码以及全部依赖）细节见文末，配置的打包将会生成一个只有用户代码的jar包。将全包以及用户阅读全文

posted @ 2017-11-19 22:19 张叫兽的技术研究院阅读(1287) 评论(0) 推荐(0) 编辑

maven的配置文件取不同版本

摘要：1. 两个地方需要配置首先是要定义配置源，dev/test/prod对应的配置源需要指定；这是灵活的，可变的；其次要定义配置文件，该配置文件里面的内容采用占位符的方式来编制，在编译打包的过程中要动态根据配置源来进行填充。2. 定义配置分类对于第一个地方，配置分类，是要在maven的pom文件中的<p 阅读全文

posted @ 2017-11-19 16:58 张叫兽的技术研究院阅读(430) 评论(0) 推荐(0) 编辑

kudu安装以及kudu的坑

摘要：本文描述的是kudu在cloudera的安装。首先cloudera 5.11.1版本尽管可以直接在add Services中看到kudu，但是其实并没有集成parcels，而且也不想kafka提示需要安装parcel；我是问了磊子小哥才知道需要手动安装parcels；其实手动安装parcels很阅读全文

posted @ 2017-11-19 16:42 张叫兽的技术研究院阅读(451) 评论(0) 推荐(0) 编辑

数据分析的最终目的

摘要：数据分析的最终目的是什么，是预测未来，预测的基准是什么模型，历史数据的用途就是形成模型，形成的过程就是数据建模阅读全文

posted @ 2017-11-19 15:28 张叫兽的技术研究院阅读(311) 评论(0) 推荐(0) 编辑

dcos的问题汇总

摘要：. group 'docker' does not exist 需要手工创建docker组，这一步本来应该是在安装docker的时候来完成的，但是采用yum install的方式不行，需要添加一个docker的repo然后才能够安装。 2. ssh: connect to host 10.1.108 阅读全文

posted @ 2017-11-19 15:26 张叫兽的技术研究院阅读(2674) 评论(0) 推荐(1) 编辑

卸载DCOS

摘要：再次安装，已经是隔了两天，我打算换一台机器作为boot机器，但是发现报错，告知部署设备已经安装了dcos；看来需要卸载：uninstall-master.sh uninstall-agent.sh 这里记录一下，因为rm -rf 后面没有加绝对路径（直接写的文件名字），而导致dcos.target以阅读全文

posted @ 2017-11-19 15:11 张叫兽的技术研究院阅读(1057) 评论(1) 推荐(1) 编辑

安装DCOS，关于docker异常引发的调查

摘要：入门DCOS，刚开始安装，碰到了一个异常： Bind for 0.0.0.0:9000 failed: port is already allocated. 调试这个问题花费了好长时间，因为无法通过netstat以及lsof看到究竟是什么应用占用了程序；后来我才发现原来是因为docker的原因；如果阅读全文

posted @ 2017-11-19 15:09 张叫兽的技术研究院阅读(7108) 评论(0) 推荐(0) 编辑

搭建DNS服务器-bind

摘要：1. 安装 yum install -y bind-chroot yum install -y bind-utils service named-chroot start 2. 修改配置增加一个域名解析：在/etc/namd.conf中增加一个域（zone，这个步骤并不是必须，必要性有待验证）：阅读全文

posted @ 2017-11-19 12:28 张叫兽的技术研究院阅读(614) 评论(0) 推荐(0) 编辑

DNSmasq

摘要：是一款轻便的主要用于个人电脑的DNS；占用的端口是53（和DNS服务的bind的端口一致）；我之所以关注它，就是因为在安装DCOS的时候是不允许占用53端口；但是其实默认安装的CentOS几乎都有这个应用。 DNSmasq本身是一个代理，外加解析程序，首先他通过读取hosts来获取本地的域名解析，通阅读全文

posted @ 2017-11-18 23:20 张叫兽的技术研究院阅读(486) 评论(0) 推荐(0) 编辑

桥接以及Mercury MW54R中继

摘要：家里连个路由器，一个是比较先进的TP-Link的TL-WR842N（100M)，另外一个是比较古老的水星（Mercury） MW54R（54M），我们知道新的路由器都有WDS功能，方便作为副路由器（中继器），但是水星没有。 TP-Link网速快，毫无疑问应该作为主路由器，水星的配置是一个问题，网上讲阅读全文

posted @ 2017-11-18 18:22 张叫兽的技术研究院阅读(1453) 评论(0) 推荐(0) 编辑

docker异常处理

摘要：Error running DeleteDevice dm_task_run failed重启docker即可 Error starting daemon: error initializing graphdriver: \"/var/lib/docker\" contains several va 阅读全文

posted @ 2017-11-18 18:17 张叫兽的技术研究院阅读(1947) 评论(2) 推荐(0) 编辑

vmware的双网卡以及Pro的注册码

摘要：DC/OS的master需要能够上外网而且能够和本地内网设备交互，于是打算在虚拟机上面做测试，于是调研了一下虚拟机的双网卡配置。最推荐的方式是使用vmware的station，而不是player；因为太费劲了，主要是研究一段时间并没有成果。vmware player更像倾向玩具，比如桥接只支持一个阅读全文

posted @ 2017-11-18 14:51 张叫兽的技术研究院阅读(239) 评论(0) 推荐(0) 编辑

ssh免密登录

摘要：A（master）要免密登录B（slave1）在机器A： ssh-keygen -t rsa -P ‘’ -t 代表生成密钥的算法，-P代表密码，''代表空密码；中途会问是否要保存在.ssh/下面；直接敲回车，然后就会在～/.ssh下面生成一对密钥，ssh_rsa（私钥）以及ssh_rsa.pu 阅读全文

posted @ 2017-11-16 18:40 张叫兽的技术研究院阅读(288) 评论(0) 推荐(0) 编辑

系统原生文件MD5值获取

摘要：windows： certutil -hashfile filePath MD5 certutil -hashfile filePath SHA1 Linux md5sum filePath sha1sum filePath 阅读全文

posted @ 2017-11-16 18:39 张叫兽的技术研究院阅读(169) 评论(0) 推荐(0) 编辑

Cloudera运维

摘要：1. 增加一个节点 1. 拷贝cm的jar包到该节点 2. 设置hostname（hostnamectl set-hostname XXX），然后修改hosts文件 3. 所有的节点添加该hostname 4. 修改agent配置文件，指向cloudera manager节点；启动cm 5. 进入到阅读全文

posted @ 2017-11-07 15:59 张叫兽的技术研究院阅读(1409) 评论(0) 推荐(0) 编辑

一次spark卡顿分析

摘要：在104上面执行，经常会发生卡到了如下一句话： storage.BlockManagerInfo: Added broadcast_8_piece0 当再次卡顿的时候，我直接退出，然后通过yarn看后台的日志到底发生了什么，一看在这个地方频繁的爆出链接zookeeper失败；一看日志中的打出来的zo 阅读全文

posted @ 2017-11-07 15:54 张叫兽的技术研究院阅读(520) 评论(0) 推荐(0) 编辑

HBase的bulkLoad

摘要：HBase的BulkLoad有两种方式： thinrow的机制是flatmap把cell的信息进行flatmap；适合少于1万列的数据集；thinrow的涵义就是少行多列； bulkload的机制则是flatmap的是行，把行在拆分为cell是在map里面做的。适合多余1万列的数据集。 thinro 阅读全文

posted @ 2017-11-05 19:32 张叫兽的技术研究院阅读(764) 评论(0) 推荐(0) 编辑

制作spark镜像

摘要：构建镜像添加jdk引用（可以使用yum进行安装）；安装SSH 碰到一个问题，执行systemctl的时候发生了异常： Failed to get D-Bus connection 解决这个问题的方式就是： docker run --privileged -ti -e "container=doc 阅读全文

posted @ 2017-11-05 16:41 张叫兽的技术研究院阅读(536) 评论(0) 推荐(0) 编辑

11 2017 档案

导航

公告

搜索

常用链接

随笔档案

相册