摘要: 12步轻松搞定python装饰器 呵呵!作为一名教python的老师,我发现学生们基本上一开始很难搞定python的装饰器,也许因为装饰器确实很难懂。搞定装饰器需要你了解一些函数式编程的概念,当然还有理解在python中定义和调用函数相关语法的一些特点。 我没法让装饰器变得简单,但是通过一步步的剖析 阅读全文
posted @ 2017-08-02 06:06 耳木东木2 阅读(337) 评论(3) 推荐(0) 编辑
摘要: 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。 数据倾斜发生时的现象 1、绝大多数task执行得都非常快,但个别task执行极慢。比如,总共 阅读全文
posted @ 2017-08-01 22:19 耳木东木2 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 1、如何在线上环境优雅的修改配置文件? 原配置文件 2、文件处理中xreadlines的内部是如何实现的呢? 阅读全文
posted @ 2017-07-31 09:16 耳木东木2 阅读(1373) 评论(0) 推荐(0) 编辑
摘要: Python内置函数 Python内置(built-in)函数随着python解释器的运行而创建。在Python的程序中,你可以随时调用这些函数,不需要定义。最常见的内置函数是: 在Python教程中,我们已经提到下面一些内置函数:基本数据类型 type()反过头来看看 dir() help() l 阅读全文
posted @ 2017-07-31 09:02 耳木东木2 阅读(198) 评论(0) 推荐(0) 编辑
摘要: open函数,该函数用于文件处理 操作文件时,一般需要经历如下步骤: 打开文件 操作文件 一、打开文件 打开文件时,需要指定文件路径和以何等方式打开文件,打开后,即可获取该文件句柄,日后通过此文件句柄对该文件操作。 打开文件的模式有: r,只读模式(默认)。 w,只写模式。【不可读;不存在则创建;存 阅读全文
posted @ 2017-07-31 06:44 耳木东木2 阅读(15560) 评论(0) 推荐(0) 编辑
摘要: 一、map class map(object): """ map(func, *iterables) --> map object Make an iterator that computes the function using arguments from each of the iterabl 阅读全文
posted @ 2017-07-31 06:18 耳木东木2 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 英文文档: class bytearray([source[, encoding[, errors]]]) Return a new array of bytes. The bytearray class is a mutable sequence of integers in the range 阅读全文
posted @ 2017-07-31 05:39 耳木东木2 阅读(17813) 评论(0) 推荐(0) 编辑
摘要: 条件运算时,对于简单的 if else 语句,可以使用三元运算来表示,即: 对于简单的函数,也存在一种简便的表示方式,简单函数在表示方法,即:lambda表达式lambda只是一个表达式,函数体比def简单很多。lambda的主体是一个表达式,而不是一个代码块。仅仅能在lambda表达式中封装有限的 阅读全文
posted @ 2017-07-31 04:02 耳木东木2 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 其实呢,浅拷贝copy()与深拷贝deepcopy()之间的区分必须要涉及到python对于数据的存储方式。 首先直接上结论: —–我们寻常意义的复制就是深复制,即将被复制对象完全再复制一遍作为独立的新个体单独存在。所以改变原有被复制对象不会对已经复制出来的新对象产生影响。 —–而浅复制并不会产生一 阅读全文
posted @ 2017-07-30 15:45 耳木东木2 阅读(736) 评论(0) 推荐(0) 编辑
摘要: Python 单向队列Queue模块详解 单向队列Queue,先进先出 '''A multi-producer, multi-consumer queue.''' try: import threading except ImportError: import dummy_threading as 阅读全文
posted @ 2017-07-30 15:37 耳木东木2 阅读(485) 评论(0) 推荐(0) 编辑