06 2017 档案

摘要:自己闲来无聊,就爬取了网易信息,重点是分析网页,使用抓包工具详细的分析网页的每个链接,数据存储在sqllite中,这里只是简单的解析了新闻页面的文字信息,并未对图片信息进行解析 仅供参考,不足之处请指正 阅读全文
posted @ 2017-06-30 10:37 淋哥 阅读(1816) 评论(0) 推荐(1) 编辑
摘要:# 默认情况下,redis不是在后台模式运行的,如果需要在后台进程运行,把该项的值更改为yes,默认为no daemonize:是否以后台daemon方式运行 # 如redis服务以后台进程运行的时候,Redis默认会把pid写入/run/redis.pid文件组,你可以配置到其他文件路径。 # 当 阅读全文
posted @ 2017-06-30 10:37 淋哥 阅读(2765) 评论(0) 推荐(0) 编辑
摘要:今日头条 as cp算法解析,我们在提交的时候"as":"479BB4B7254C150", "cp":"7E0AC8874BB0985",就可以了,有兴趣的同学可以去看看他们的js代码,只是简单的对进行了加密 as cp 算法 Python 实现 阅读全文
posted @ 2017-06-30 09:42 淋哥 阅读(8106) 评论(0) 推荐(2) 编辑
摘要:爬虫很简单,难的是自己去分析网页解析网页和爬虫的效率 阅读全文
posted @ 2017-06-30 09:23 淋哥 阅读(2059) 评论(0) 推荐(0) 编辑
摘要:爬取百度图片 在Python 2.7上运行 阅读全文
posted @ 2017-06-30 09:19 淋哥 阅读(1682) 评论(0) 推荐(0) 编辑
摘要:#coding:utf8 import redis # python 操作redis之——HyperLogLog r =redis.Redis(host="33.23.724.12190",port=6222,password="666666") # 1.Pfadd 命令将所有元素参数添加到 Hyp 阅读全文
posted @ 2017-06-30 09:17 淋哥 阅读(1518) 评论(0) 推荐(0) 编辑
摘要:#coding:utf8 import redis r =redis.Redis(host="23.226.74.190",port=63279,password="66666666666") 1.Zadd 命令用于将一个或多个成员元素及其分数值加入到有序集当中。如果某个成员已经是有序集的成员,那么 阅读全文
posted @ 2017-06-30 09:14 淋哥 阅读(21044) 评论(0) 推荐(3) 编辑
摘要:# -*- coding: utf-8 -*- import redis r = redis.Redis(host="126.56.74.190",port=639,password="66666666") 1. Sadd 命令将一个或多个成员元素加入到集合中,已经存在于集合的成员元素将被忽略。假如 阅读全文
posted @ 2017-06-23 15:45 淋哥 阅读(34882) 评论(0) 推荐(3) 编辑
摘要:# -*- coding: utf-8 -*- import redis r =redis.Redis(host="123.156.74.190",port=6379,password="66666666666") 1. Lpush 命令将一个或多个值插入到列表头部。 如果 key 不存在,一个空列 阅读全文
posted @ 2017-06-22 20:51 淋哥 阅读(66086) 评论(0) 推荐(4) 编辑
摘要:# -*- coding: utf-8 -*- import redis #这个redis不能用,请根据自己的需要修改 r =redis.Redis(host="123.56.74.190",port=6379,password="66666666666") 1. Hset 命令用于为哈希表中的字段 阅读全文
posted @ 2017-06-22 14:37 淋哥 阅读(40751) 评论(0) 推荐(2) 编辑
摘要:# -*- coding: utf-8 -*- import redis #这个redis不能用,请根据自己的需要修改 r =redis.Redis(host="123.516.74.190",port=6379,password="6666666666") 1.SET 命令用于设置给定 key 的 阅读全文
posted @ 2017-06-22 09:54 淋哥 阅读(8454) 评论(0) 推荐(0) 编辑
摘要:# -*- coding: utf-8 -*- import redis #这个redis 连接不能用,请根据自己的需要修改 r =redis.Redis(host="123.516.174.910",port=6379,password="11111608") 1. delete DEL 命令用于 阅读全文
posted @ 2017-06-21 20:16 淋哥 阅读(15005) 评论(0) 推荐(2) 编辑
摘要:处理方法就是,设置连接和游标的charset为你所希望的编码,如utf8, 连接数据库的时候加上 charset="utf8 阅读全文
posted @ 2017-06-17 21:16 淋哥 阅读(1278) 评论(0) 推荐(0) 编辑
摘要:大家可以测试一下程序运行的时间 阅读全文
posted @ 2017-06-15 21:11 淋哥 阅读(262) 评论(0) 推荐(0) 编辑
摘要:日志的输出结果: 阅读全文
posted @ 2017-06-12 10:04 淋哥 阅读(2793) 评论(1) 推荐(0) 编辑
摘要:我们通常在写爬虫的时候,需要配置日志,但是有可能是在windows开发的,但是程序的运行环境可是是在Linux中,这时候我们就需要不停的更换日志的目录了 但是我们可以实现通过判断不同的运行环境,来时间日志的配置 例如: 阅读全文
posted @ 2017-06-11 20:53 淋哥 阅读(1148) 评论(0) 推荐(0) 编辑
摘要:Beautiful is better than ugly. 优美胜于丑陋 Explicit is better than implicit. 明了胜于晦涩 Simple is better than complex. 简单胜过复杂 Complex is better than complicate 阅读全文
posted @ 2017-06-11 20:25 淋哥 阅读(5741) 评论(0) 推荐(0) 编辑
摘要:在Python2.X中使用import urllib2——对应的,在Python3.X中会使用import urllib.request,urllib.error。 在Python2.X中使用import urllib——对应的,在Python3.X中会使用import urllib.request 阅读全文
posted @ 2017-06-09 13:57 淋哥 阅读(1040) 评论(0) 推荐(0) 编辑
摘要:实现百度搜索并保存到本地User_Agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36' import urllib2 import urllib url = "https://www.baidu.com/s?wd=... 阅读全文
posted @ 2017-06-09 13:55 淋哥 阅读(4199) 评论(0) 推荐(1) 编辑
摘要:注意事项: 1.Python的时间戳长度是10个数字,Java的长度是13个数字。我们在做时间戳转换的时候可以 乘以一千或者除以一千 2. Python 中的 %Y-%m-%d %H:%M:%S 可以根据自己的需要进行修改 本文链接:http://www.cnblogs.com/xuchunlin/ 阅读全文
posted @ 2017-06-05 19:24 淋哥 阅读(6029) 评论(0) 推荐(2) 编辑
摘要:driver.get_cookies() 获得cookie信息 add_cookie(cookie_dict) 向cookie添加会话信息 delete_cookie(name) 删除特定(部分)的cookie delete_all_cookies() 删除所有cookie 阅读全文
posted @ 2017-06-05 19:17 淋哥 阅读(534) 评论(0) 推荐(0) 编辑
摘要:关于使用django 首次创建超级管理员时,出现 django.db.utils.OperationalError: no such table: auth_user 错误 阅读全文
posted @ 2017-06-05 19:15 淋哥 阅读(8893) 评论(0) 推荐(8) 编辑

点击右上角即可分享
微信分享提示