08 2017 档案
摘要：Beautiful Soup 4.2.0 文档 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间. 这篇文档介绍了Beautifu
阅读全文
摘要：快速上手 迫不及待了吗？本页内容为如何入门 Requests 提供了很好的指引。其假设你已经安装了 Requests。如果还没有，去安装一节看看吧。 首先，确认一下： Requests 已安装 Requests 是最新的 让我们从一些简单的示例开始吧。 发送请求 使用 Requests 发送网络请求
阅读全文
摘要：from openpyxl import Workbook from openpyxl import load_workbook # 加载workbook，注意，openpyxl只支持xlsx格式 wb = load_workbook(filename=r"C:\\Users\\Administrator\\Desktop\\test.xlsx") '''读取数据''' num = wb.ge...
阅读全文
摘要：import requests from bs4 import BeautifulSoup import os class DownLoadImg(object): def __init__(self): self.url = 'http://jandan.net/ooxx/' self.header = { 'User-Agen...
阅读全文
摘要：#encoding=utf-8 import requests def fanyi(): while True: context = input("请输入翻译的内容(退出q)：") if context in ['q','Q']: break else: url = 'http://fan...
阅读全文
摘要：环境相关 系统：CentOS 6.8 64位jdk：1.7.0_79hadoop：hadoop 2.7.2 配置SSH免密码登录 测试下ssh是否可用 安装hadoop2 下载hadoop-2.7.2.tar.gz，放在opt目录下，解压 配置Hadoop，路径/opt/hadoop-2.5.1/e
阅读全文
摘要：直接解决方法：在命令行中输入：export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin 后 Enter
阅读全文
摘要：查看CentOS自带JDK是否已安装。◆输入：yum list installed |grep java。 若有自带安装的JDK，如何卸载CentOS系统自带Java环境？◆卸载JDK相关文件输入：yum -y remove java-1.7.0-openjdk*。◆卸载tzdata-java输入：
阅读全文
摘要：Hive和Impala作为数据查询工具，它们是怎样来查询数据的呢？与Impala和Hive进行交互，我们有哪些工具可以使用呢？ Hive和Impala作为数据查询工具，它们是怎样来查询数据的呢？与Impala和Hive进行交互，我们有哪些工具可以使用呢？ 我们首先明确Hive和Impala分别提供了
阅读全文
摘要：What is ACL Hadoop中的ACL与Linux中的ACL机制基本相同，都是用于为文件系统提供更精细化的权限控制。 参考 HDFS ACLs: Fine-Grained Permission for HDFS Files in Hadoop 开启ACLs 默认情况下ACLs是关闭的，想要开
阅读全文
摘要：Hive 0.11中引入的HiveServer2有一个自己的CLI叫Beeline. HiveCLI现在已经过时，与Beeline相比，其缺少多用户、安全和其他与HiveServer2兼容的特性。从Shell启动HiveServer2和Beeline的方法如下: $ $HIVE_HOME/bin/h
阅读全文
摘要：Hello，大家好上次给大家介绍了vim使用方法，今天来给大家讲一讲linux系统文件命令 (1)Linux的文件系统目录配置要遵循FHS规范,规范定义的两级目录规范如下： /home 每个账号在该目录下都有一个文件夹，进行数据的管理 /usr 有点像windows的program files和wi
阅读全文
摘要：用户组 在linux中的每个用户必须属于一个组，不能独立于组外。在linux中每个文件有所有者、所在组、其它组的概念 - 所有者 - 所在组 - 其它组 - 改变用户所在的组 所有者 一般为文件的创建者，谁创建了该文件，就天然的成为该文件的所有者 用ls ‐ahl命令可以看到文件的所有者 也可以使用
阅读全文
摘要：1.1 超级用户 启动namenode服务的用户就是超级用户, 该用户的组是supergroup 启动namenode服务的用户就是超级用户, 该用户的组是supergroup 启动namenode服务的用户就是超级用户, 该用户的组是supergroup 1.2 文件权限管理 1.2.1 创建时的
阅读全文
摘要：本文旨在展示CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试示例。 1. 准备测试数据 1 2 3 4 5 6 cat /tmp/events.csv 10.1.2.3,US,android,createNote 10.200.88.99,FR,windows,updateN
阅读全文
摘要：2.1. 环境配置 安装kerberos前，要确保主机名可以被解析。 主机名 内网IP 角色 2.2 Configuring a Kerberos Server2.2.1 确保环境可用 确保所有的clients与servers之间的时间同步以及DNS正确解析 2.2.2 选择一个主机来运行KDC，并
阅读全文
摘要：1.1 What is Kerberos 1.1.1 简单介绍 Kerberos是一个用于鉴定身份（authentication）的协议， 它采取对称密钥加密（symmetric-key cryptography），这意味着密钥不会在网络上传输。在Kerberos中，未加密的密码（unencrypt
阅读全文
摘要：Hadoop 解除 "Name node is in safe mode" 运行hadoop程序时，有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in
阅读全文
摘要：一，组操作 1，创建组 增加一个test组 2，修改组 3，删除组 4，查看组 a），查看当前登录用户所在的组 groups，查看apacheuser所在组groups apacheuser b），查看所有组 cat /etc/group c），有的linux系统没有/etc/group文件的，这个
阅读全文
摘要：1、与用户（user）和用户组（group）相关的配置文件； 1）与用户（user）相关的配置文件；/etc/passwd 注：用户（user）的配置文件；/etc/shadow 注：用户（user）影子口令文件； 2）与用户组（group）相关的配置文件；/etc/group 注：用户组（grou
阅读全文
