08 2020 档案
摘要：JSON文件初览： 该json对象有一个键：“Schedule”，这个键对应的值也是个“映像”，有4个键 分别是“conferences”,"events","speakers","venues",这4个键对应的值都是一个记录列表，各个列表都有一条记录。 使用python解析json文件 使用jso
阅读全文
摘要：time.sleep与全局解释器锁 Cpython解释器中有全局解释器锁（GIL），一次只允许使用一个线程执行Python字节码，因此一个python进程通常不能同时使用多个CPU核心。 然而标准库中，所有C语言编写I/O操作的函数，等待操作系统返回结果时，都会释放GIL。 比如像time.slee
阅读全文
摘要：把yield视作控制流程的方式 Python协程 一个简单的协程： def simple_coroutine(): print('-> coroutine started') x=yield print('-> coroutine received:',x) >>>my_coro=simple_co
阅读全文
摘要：for 仅当for循环运行完毕时，才运行else块。 while 仅当while循环因为条件为假值而退出时，才运行else块 try 仅当try块没有异常抛出时才允许else块 with语句:简化try,finally模式，这种模式用于保证一段代码运行完毕后执行某项操作，即使那段代码由于异常，ret
阅读全文
摘要：一个句子在语料库中出现的概率，该如何计算？ 句子由单词构成，把句子表示成单词列表，则一个句子在一个语料库出现的概率为： 而利用极大似然估计可以计算每个后验概率： 随着句子长度的增大，语料库极有可能统计不到长句子的频次，导致=0 马尔科夫链：给定时间线上一串事件顺序发生，每个事件发生概率只取决于前一个
阅读全文
摘要：生成器函数：参数为任意的可迭代对象，返回值是生成器。 def vowel(c): return c.lower() in 'aeiou' #使用filter函数生成符合条件的字符串列表 list(filter(vowel,'Aardvark')) #使用itertools的filterfalse函数
阅读全文
摘要：解释器需要迭代对象x时，会自动调用iter(x) 1.检查对象是否实现了__iter__方法，实现了就调用它，获取一个迭代器。 2.没有实现__iter__方法，实现了__getitem__方法。Python会创建一个迭代器，按顺序获取元素。 3.都没有实现，就会抛出TypeError异常。 所有什
阅读全文
摘要：1.java map对象。 2.TreeMap 3.List<String> LinkedList<String>
阅读全文
摘要：Cpython：标准的Python解释器，使用C语言实现。 EAFP：“it's easier to ask forgiveness than permission” 取得原谅比获得许可容易 KISS：“keep it Simple，Stupid” ORM:Object-Relational Map
阅读全文
摘要：接口 类实现继承的公开属性与公开方法的过程。 “x类对象”，“x类协议”，“x类接口”都是一个意思。 “鸭子类型”：忽略对象的真正类型，转而关注对象有没有实现所需的方法、签名和语义。 “白鹅类型”：抽象基类。（继承abc.ABC） 鸭子类型举例： try： field_names=field_nam
阅读全文
摘要：brl=1/2.43 format(brl,'0.4f')#只显示小数点后4位 format(2/3,'.1%’)#显示小数点后一位，百分数
阅读全文
摘要：函数/UDF -输入一行记录，输出一行记录。如length 聚集函数/UDAF -输入多行记录，输出一行记录。如sum/count 表生成函数/UDTF 输入一行记录，输出多行记录，如explode 自定义函数 自己用java开发jar包
阅读全文
摘要：闭包：延伸了作用域的函数。 需求： 假如有个名为avg的函数，它的作用是计算不断增加的系列值的均值； 使用类实现: class Averager(): def __init__(self): self.series=[] def __call__(self,new_value): self.seri
阅读全文
摘要：关联分析： 构造一个关联系数矩阵，两个属性的值介于-1到1之间。 大于0，两者为正关联，<0，两者为负关联。 0 无关联，接近1或-1是比较强的关联。 关联规则： 寻找数据集内的属性之间存在的频繁关联，前提 >结论 举例子： 确定哪些产品最常被一起购买。 有这么一波人买早点，买糕点的有4个，买牛奶的
阅读全文
摘要：CREATE TABLE employees( name STRING, salary FLOAT, subordinatates ARRAY<STRING> deductions MAP<STRING,FLOAT> address STRUCT<street:STRING,city:STRING,
阅读全文
摘要：HIVE CLI交互式模式： 1.退出hive: exit 2.在hive中运行本地shell命令，不需要退出hive执行操作: !echo 'hello hive' 3.在hive上直接运行dfs命令 dfs -ls /; 查看根目录 dfs -du -h /; 查看根目录空间大小 HIVE CL
阅读全文
摘要：Hadoop:分布式计算平台 HDFS:分布式文件系统 一个hdfs集群包含一个节点，称为NameNode，管理文件系统名称空间，存储metadata（每一个文件包含多少个block，每个block在哪个主机？），规范客户端对文件访问。 DataNode，将数据以块（block）存储在文件中 map
阅读全文
摘要：linux之快捷键： 1.命令或目录补齐 Tab 2.遍历历史记录 History：命令端显示最近使用过的命令 上移：ctrl+p 下移：ctrl+n 3.光标移动 移动到首部：ctrl+a 移动到尾部：ctrl+e linux之文档编辑： vi和vim的三种模式 命令模式: 移动光标插入模式：编辑
阅读全文
摘要：字典构造： a=dict(one=1,two=2,three=3) b={'one':1,'two':2.'three'=3} c=dict(zip(['one','two','three'],[1,2,3])) 字典推导： dic=[(86,'China'),(91,'India'),(1,'Un
阅读全文
