上一页 1 2 3 4 5 6 7 8 9 ··· 14 下一页
摘要: 下面是对hadoop的一些基本测试示例 Hadoop自带测试类简单使用 这个测试类名叫做 hadoop-mapreduce-client-jobclient.jar,位置在 hadoop/share/hadoop/mapreduce/ 目录下 不带任何参数可以获取这个jar的帮助信息 $ yarn 阅读全文
posted @ 2018-11-15 15:36 ZhiChao& 阅读(3753) 评论(0) 推荐(0) 编辑
摘要: 环境:CentOS 7 JDK: 1.7.0_80 hadoop:2.8.5 hadoop(192.168.56.101) 配置基础环境 1. 测试环境可以直接关闭selinux和防火墙 2. 主机添加hosts记录 # vim /etc/hosts 192.168.56.101 hadoop 3. 阅读全文
posted @ 2018-11-14 17:35 ZhiChao& 阅读(2983) 评论(0) 推荐(0) 编辑
摘要: 环境:CentOS 7 JDK: 1.7.0_80 hadoop:2.8.5 两台机器:master(192.168.56.101) slave(192.168.56.102) 配置基础环境 1. 测试环境可以直接关闭selinux和防火墙(每个节点) 2. 每台主机添加hosts记录(每个节点) 阅读全文
posted @ 2018-11-13 18:10 ZhiChao& 阅读(393) 评论(0) 推荐(0) 编辑
摘要: 1. top 显示所有正在运行而且处于活动状态的实时进程, 而且会定期更新显示结果;它显示了CPU使用率,内存使用率,交换内存使用大小,调整缓存使用大小,缓冲区使用大小,进程PID, 使用的命令等信息。 2. vmstat 一般是通过两个数字参数来完成的,第一个参数是采样时间间隔,单位是秒, 第二个 阅读全文
posted @ 2018-11-05 17:20 ZhiChao& 阅读(2162) 评论(0) 推荐(2) 编辑
摘要: 说明:收藏一些比较好的开源项目 Python实现了所有的排序算法 Github:https://github.com/TheAlgorithms/Python 该项目用Python实现了所有的排序算法,包括插入排序、冒泡排序、快速排序、选择排序、归并排序等。 Algorithm_Interview_ 阅读全文
posted @ 2018-11-05 11:07 ZhiChao& 阅读(281) 评论(0) 推荐(0) 编辑
摘要: 用tornado web服务的基本流程 需要用到的特性 由于tornado的亮点是异步请求,所以这里首先想到的是将所有请求都改造为异步的。但是这里遇到一个问题,就是异步函数内一定不能有阻塞调用出现,否则整个IOLoop都会被卡住。这就要求彻底地去改造服务,将所有IO或是用时较长的请求都改造为异步函数 阅读全文
posted @ 2018-09-29 08:41 ZhiChao& 阅读(956) 评论(0) 推荐(0) 编辑
摘要: 1. SSH密码认证远程执行命令 #!/usr/bin/python # -*- coding: utf-8 -*- import paramiko import sys hostname = '192.168.1.215' port = 22 username = 'root' password 阅读全文
posted @ 2018-09-18 16:25 ZhiChao& 阅读(459) 评论(0) 推荐(0) 编辑
摘要: 一些网站会有相应的反爬虫措施,例如很多网站会检测某一段时间某个IP的访问次数,如果访问频率太快以至于看起来不像正常访客,它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。 免费代理网站: 西刺免费代理 快代理免费代理 8 阅读全文
posted @ 2018-09-16 15:16 ZhiChao& 阅读(266) 评论(0) 推荐(0) 编辑
摘要: authenticated装饰器 为了使用Tornado的认证功能,我们需要对登录用户标记具体的处理函数。我们可以使用@tornado.web.authenticated装饰器完成它。当我们使用这个装饰器包裹一个处理方法时,Tornado将确保这个方法的主体只有在合法的用户被发现时才会调用。 cla 阅读全文
posted @ 2018-08-17 15:50 ZhiChao& 阅读(1565) 评论(0) 推荐(0) 编辑
摘要: 这开始之前我们先了解以下什么是cookie和session 简单的说: cookie是保存在客户端的键值对 session是保存在服务端的键值对 session依赖与cookie 在Django中,可以直接操作cookie和session,在flask可以直接使用一个session对象和号称安全的c 阅读全文
posted @ 2018-08-16 13:40 ZhiChao& 阅读(393) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 14 下一页