随笔分类 - Python
摘要：一、“分箱”定义 各行各业的打工人，经常会面对一种令人尴尬的质疑：为什么你把15-25归为一类，10-20不行吗？13-23不行吗？ 以及地产干饭人经常会被问到的：120-140㎡是主力，那119㎡行不行，118㎡呢？这个时候，通常大部分人会说那样也行。 可是那样真的行吗？吾不以为然也。而且，不但那
阅读全文
摘要：实现功能：利用python自动连接sftp，并下载sftp中指定目录下的所有目录及文件系统环境：centos7python版本：python3使用模块包：paramiko ，若未安装，可使用 pip install paramiko 进行安装代码如下： #!/usr/bin/env python #
阅读全文
摘要：add(增加元素) name = set(['Tom','Lucy','Ben']) name.add('Juny') print(name)#输出：{'Lucy', 'Juny', 'Ben', 'Tom'} clear(清空所有元素) name = set(['Tom','Lucy','Ben'
阅读全文
摘要：python如何访问hive，接下来我将遇到问题进行总结 （说明一下：这篇文章中的各种坑的解决，翻阅了网上无数的帖子，最好一GIT上面一个帖子的角落里面带了这么一句，否则很容易翻船。但是由于帖子太多，所以我就不一一帖出来了） 首先是选组件，我选择的是使用：impala+Python3.7来连接Had
阅读全文
摘要：系统中有python2,为了不影响现有程序，只能在此基础上安装python3。 安装可能需要的依赖# yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel gcc gcc-c+
阅读全文
摘要：Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的，不论开源还是私有的，拥有最先进，高性能和全功能搜索引擎功能的库。但是 Lucene 仅仅只是一个库。为了利用它，你需要编写 Java 程序，并在你的
阅读全文
摘要：介绍 大家都知道利用 .append 和 .pop 方法，我们可以把列表当作栈或者队列来用（比如，把 append 和 pop(0) 合起来用，就能模拟栈的“先进先出”的特点）。但是删除列表的第一个元素（抑或是在第一个元素之前添加一个 元素）之类的操作是很耗时的，因为这些操作会牵扯到移动列表里的所有
阅读全文
摘要：背景 最近处理文本文档时（文件约2GB大小），出现memoryError错误和文件读取太慢的问题，后来找到了两种比较快Large File Reading 的方法，本文将介绍这两种读取方法。 原味地址 准备工作 我们谈到“文本处理”时，我们通常是指处理的内容。Python 将文本文件的内容读入可以操
阅读全文
摘要：XPath 节点 XPath 术语 节点 在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。 请看下面这个 XML 文档： <?xml version="1.0" encoding=
阅读全文
摘要：pyspark 包介绍 子包 pyspark.sql module pyspark.streaming module pyspark.ml package pyspark.mllib package 子包 pyspark.sql module pyspark.streaming module pys
阅读全文
摘要：这篇文章主要介绍了Python实用日期时间处理方法汇总,本文讲解了获取当前datetime、获取当天date、获取明天/前N天、获取当天开始和结束时间(00:00:00 23:59:59)、获取两个datetime的时间差、获取本周/本月/上月最后一天等实用方法 ,需要的朋友可以参考下 这篇文章主要
阅读全文
摘要：在Python里如何获取当前的日期和时间呢？在Python语言里，我们可以通过调用什么模块或者类函数来得到当前的时间或日期呢？ 当然你可以使用时间模块（time module），该模块提供了各种和时间相关的函数。但是这个模块里的一些函数在某些平台里不可用。那么怎么办呢？我们 可以使用一个更高级的面向
阅读全文
摘要：1 原则 在开始讨论Python社区所采用的具体标准或是由其他人推荐的建议之前，考虑一些总体原则非常重要。 请记住可读性标准的目标是提升可读性。这些规则存在的目的就是为了帮助人读写代码，而不是相反。 本小节讨论你所需记住的一些原则。 1.1 假定你的代码需要维护 人们很容易倾向相信某时所完成的工作在
阅读全文
