06 2017 档案
摘要:自己闲来无聊,就爬取了网易信息,重点是分析网页,使用抓包工具详细的分析网页的每个链接,数据存储在sqllite中,这里只是简单的解析了新闻页面的文字信息,并未对图片信息进行解析 仅供参考,不足之处请指正
阅读全文
摘要:# 默认情况下,redis不是在后台模式运行的,如果需要在后台进程运行,把该项的值更改为yes,默认为no daemonize:是否以后台daemon方式运行 # 如redis服务以后台进程运行的时候,Redis默认会把pid写入/run/redis.pid文件组,你可以配置到其他文件路径。 # 当
阅读全文
摘要:今日头条 as cp算法解析,我们在提交的时候"as":"479BB4B7254C150", "cp":"7E0AC8874BB0985",就可以了,有兴趣的同学可以去看看他们的js代码,只是简单的对进行了加密 as cp 算法 Python 实现
阅读全文
摘要:爬虫很简单,难的是自己去分析网页解析网页和爬虫的效率
阅读全文
摘要:爬取百度图片 在Python 2.7上运行
阅读全文
摘要:#coding:utf8 import redis # python 操作redis之——HyperLogLog r =redis.Redis(host="33.23.724.12190",port=6222,password="666666") # 1.Pfadd 命令将所有元素参数添加到 Hyp
阅读全文
摘要:#coding:utf8 import redis r =redis.Redis(host="23.226.74.190",port=63279,password="66666666666") 1.Zadd 命令用于将一个或多个成员元素及其分数值加入到有序集当中。如果某个成员已经是有序集的成员,那么
阅读全文
摘要:# -*- coding: utf-8 -*- import redis r = redis.Redis(host="126.56.74.190",port=639,password="66666666") 1. Sadd 命令将一个或多个成员元素加入到集合中,已经存在于集合的成员元素将被忽略。假如
阅读全文
摘要:# -*- coding: utf-8 -*- import redis r =redis.Redis(host="123.156.74.190",port=6379,password="66666666666") 1. Lpush 命令将一个或多个值插入到列表头部。 如果 key 不存在,一个空列
阅读全文
摘要:# -*- coding: utf-8 -*- import redis #这个redis不能用,请根据自己的需要修改 r =redis.Redis(host="123.56.74.190",port=6379,password="66666666666") 1. Hset 命令用于为哈希表中的字段
阅读全文
摘要:# -*- coding: utf-8 -*- import redis #这个redis不能用,请根据自己的需要修改 r =redis.Redis(host="123.516.74.190",port=6379,password="6666666666") 1.SET 命令用于设置给定 key 的
阅读全文
摘要:# -*- coding: utf-8 -*- import redis #这个redis 连接不能用,请根据自己的需要修改 r =redis.Redis(host="123.516.174.910",port=6379,password="11111608") 1. delete DEL 命令用于
阅读全文
摘要:处理方法就是,设置连接和游标的charset为你所希望的编码,如utf8, 连接数据库的时候加上 charset="utf8
阅读全文
摘要:日志的输出结果:
阅读全文
摘要:我们通常在写爬虫的时候,需要配置日志,但是有可能是在windows开发的,但是程序的运行环境可是是在Linux中,这时候我们就需要不停的更换日志的目录了 但是我们可以实现通过判断不同的运行环境,来时间日志的配置 例如:
阅读全文
摘要:Beautiful is better than ugly. 优美胜于丑陋 Explicit is better than implicit. 明了胜于晦涩 Simple is better than complex. 简单胜过复杂 Complex is better than complicate
阅读全文
摘要:在Python2.X中使用import urllib2——对应的,在Python3.X中会使用import urllib.request,urllib.error。 在Python2.X中使用import urllib——对应的,在Python3.X中会使用import urllib.request
阅读全文
摘要:实现百度搜索并保存到本地User_Agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36' import urllib2 import urllib url = "https://www.baidu.com/s?wd=...
阅读全文
摘要:注意事项: 1.Python的时间戳长度是10个数字,Java的长度是13个数字。我们在做时间戳转换的时候可以 乘以一千或者除以一千 2. Python 中的 %Y-%m-%d %H:%M:%S 可以根据自己的需要进行修改 本文链接:http://www.cnblogs.com/xuchunlin/
阅读全文
摘要:driver.get_cookies() 获得cookie信息 add_cookie(cookie_dict) 向cookie添加会话信息 delete_cookie(name) 删除特定(部分)的cookie delete_all_cookies() 删除所有cookie
阅读全文
摘要:关于使用django 首次创建超级管理员时,出现 django.db.utils.OperationalError: no such table: auth_user 错误
阅读全文