01 2018 档案
摘要：1.group by order by select siteid count(*)as 1 from webdb where gathtrime between '2017-06-14 00:00:00' and '2017-06-14 23:59:59' group by siteid order by 1desc 2 in limit select * from sitemanage...
阅读全文
摘要：1. SELECT COUNT(*) FROM wiseweb_crawler_foreignmedias WHERE site_id=90000 AND (gathertime BETWEEN '2017-05-01 00:00:01' AND '2017-05-10 23:59:59') 2、 SELECT site_id, COUNT(*) FROM wiseweb_crawler_fo...
阅读全文
摘要：1 SELECT COUNT(*) FROM wiseweb_crawler_metasearch_page20171214 WHERE (content like '%内蒙古%'or content like '%呼和浩特%'or content like '%赛罕区%'or content like '%土默特左旗%'or content like '%托克托县%'...
阅读全文
摘要：shelve模块比pickle模块简单，只有一个open函数，返回类似字典的对象，可读可写;key必须为字符串，而值可以是python所支持的数据类型
阅读全文
摘要：xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单，不过，古时候，在json还没诞生的黑暗年代，大家只能选择用xml呀，至今很多传统公司如金融行业的很多系统的接口还主要是xml。 xml的格式如下，就是通过<>节点来区别数据结构的: xml协议在各个语言里的
阅读全文
摘要：hash：一种算法 ,3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法三个特点：1.内容相同则hash运算结果相同，内容稍微改变则hash值则变2.不可逆推3.相同算法：无论校验多长的数据，得到的哈希值长度固定。
阅读全文
摘要：之前我们学习过用eval内置方法可以将一个字符串转成python对象，不过，eval方法是有局限性的，对于普通的数据类型，json.loads和eval都能用，但遇到特殊类型的时候，eval就不管用了,所以eval的重点还是通常用来执行一个字符串表达式，并返回表达式的值 什么是序列化？ 我们把对象(
阅读全文
摘要：一 time与datetime模块 其中计算机认识的时间只能是'时间戳'格式，而程序员可处理的或者说人类能看懂的时间有: '格式化的时间字符串'，'结构化的时间' ，于是有了下图的转换关系 二 random模块 三 os模块 os模块是与操作系统交互的一个接口
阅读全文
摘要：dumps是将dict转化成str格式，loads是将str转化成dict格式。 dump和load也是类似的功能，只是与文件操作结合起来了。
阅读全文
