文章分类 - python-自动化
自动化
摘要：Selenium基础 2021年11月9日 17:12 selenium 自动化流程如下： 自动化程序调用Selenium 客户端库函数（比如点击按钮元素） 客户端库会发送Selenium 命令 给浏览器的驱动程序 浏览器驱动程序接收到命令后 ,驱动浏览器去执行命令 浏览器执行命令 浏览器驱动程序获
阅读全文
摘要：安装 安装hadoop 关于hadoop的安装配置会在另一篇文章中介绍,这里只介绍python的hdfs库的安装. 安装hdfs库 所有python的三方模块均采用pip来安装. pip install hdfs hdfs库的使用 下面将介绍hdfs库的方法列表,并会与hadoop自带的命令行工具进
阅读全文
摘要：前提条件 已安装Python-3.6。 已经有搭建好的完全分布式集群，并已经成功启动Hadoop，Zookeeper和HBase。笔者当前搭建好的集群是Hadoop-3.0.3，Zookeeper-3.4.13和HBase-2.1.0。 | Hostname | IP | | : : | : : |
阅读全文
摘要：安装 """ pip install pyhs2 等待这个模块安装完成之后不要关闭命令行，接着在新的一行去执行命令。此时这个命令的作用是开启hive服务，否则python程序无法成功连接，命令如下： hive --service hiveserver 这个是启动hive """ python3.7
阅读全文
摘要：redis基础 1.初识redis Redis是一种键值型的NoSql数据库，这里有两个关键字： 键值型 NoSql 其中键值型，是指Redis中存储的数据都是以key、value对的形式存储，而value的形式多种多样，可以是字符串、数值、甚至json： 而NoSql则是相对于传统关系型数据库而言
阅读全文
摘要：Redis安装说明 大多数企业都是基于Linux服务器来部署项目，而且Redis官方也没有提供Windows版本的安装包。因此课程中我们会基于Linux系统来安装Redis. 此处选择的Linux版本为CentOS 7. Redis的官方网站地址：https://redis.io/ 1.单机安装Re
阅读全文
摘要：爬虫面试题汇总 一.项目问题： 1.你写爬虫的时候都遇到过什么反爬虫措施，你最终是怎样解决的 1.你写爬虫的时候都遇到过什么反爬虫措施，你最终是怎样解决的 通过headers反爬虫：解决策略，伪造headers 基于用户行为反爬虫：动态变化去爬取数据，模拟普通用户的行为， 使用IP代理池爬取或者降低
阅读全文
