上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 29 下一页
摘要: python网络数据采集的代码 https://github.com/REMitchell/python-scraping 阅读全文
posted @ 2017-06-29 15:43 AlamZ 阅读(552) 评论(0) 推荐(0) 编辑
摘要: 服务器端主要做以下工作: 打开 socket 绑定到特定的地址以及端口上 监听连接 建立连接 接收/发送数据 上面已经介绍了如何创建 socket 了,下面一步是绑定。 绑定 socket 函数 bind 可以用来将 socket 绑定到特定的地址和端口上,它需要一个 sockaddr_in 结构作 阅读全文
posted @ 2017-06-23 15:45 AlamZ 阅读(374) 评论(0) 推荐(0) 编辑
摘要: Socket 是进程间通信的一种方式,它与其他进程间通信的一个主要不同是:它能实现不同主机间的进程间通信,我们网络上各种各样的服务大多都是基于 Socket 来完成通信的,例如我们每天浏览网页、QQ 聊天、收发 email 等等。要解决网络上两台主机之间的进程通信问题,首先要唯一标识该进程,在 TC 阅读全文
posted @ 2017-06-23 15:41 AlamZ 阅读(424) 评论(0) 推荐(0) 编辑
摘要: 经过多次尝试,模拟登录淘宝终于成功了,实在是不容易,淘宝的登录加密和验证太复杂了,煞费苦心,在此写出来和大家一起分享,希望大家支持。 本篇内容 探索部分成果 整体思路梳理 是不是没看懂?没事,下面我将一点点说明自己模拟登录的过程,希望大家可以理解。 前期准备 由于淘宝的 ua 算法和 aes 密码加 阅读全文
posted @ 2017-06-21 16:41 AlamZ 阅读(1516) 评论(0) 推荐(0) 编辑
摘要: 大家好,本次为大家带来的项目是计算大学本学期绩点。首先说明的是,博主来自山东大学,有属于个人的学生成绩管理系统,需要学号密码才可以登录,不过可能广大读者没有这个学号密码,不能实际进行操作,所以最主要的还是获取它的原理。最主要的是了解cookie的相关操作。 本篇目标 1.URL的获取 恩,博主来自山 阅读全文
posted @ 2017-06-21 16:36 AlamZ 阅读(705) 评论(0) 推荐(0) 编辑
摘要: 爬取百度贴吧的帖子。与上一篇不同的是,这次我们需要用到文件的相关操作。 本篇目标 1.URL格式的确定 首先,我们先观察一下百度贴吧的任意一个帖子。 比如:http://tieba.baidu.com/p/3138733512?see_lz=1&pn=1,这是一个关于NBA50大的盘点,分析一下这个 阅读全文
posted @ 2017-06-21 16:27 AlamZ 阅读(446) 评论(0) 推荐(0) 编辑
摘要: 本篇目标 1.URL的格式 在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1,问号前面是基地址,后面的参数page是代表第几页,可以随意更换地址。点击开之后,会发现有一些淘宝MM的简介,并附有超链接链接到个人详情页面 阅读全文
posted @ 2017-06-21 16:08 AlamZ 阅读(441) 评论(0) 推荐(0) 编辑
摘要: 首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来。 本篇目标 糗事百科是不需要登录的,所以也没必要用到Cookie,另外糗事百科有的段子是附图的,我们把图抓下来图片不便于显示,那么我们就尝试过滤掉有图的段子吧。 好,现在我们尝试抓取一下糗事百科的热门 阅读全文
posted @ 2017-06-21 15:49 AlamZ 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 1.创建 Beautiful Soup 对象 2.四大对象种类 Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag NavigableString BeautifulSoup Comment 2.1 tag 2.2  阅读全文
posted @ 2017-06-21 15:20 AlamZ 阅读(225) 评论(0) 推荐(0) 编辑
摘要: Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密) 比如说有些网站需要登录后才能访问某个页面,在登录之前,你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie,然后再抓取其他页面就达到目的了。 在此之前呢 阅读全文
posted @ 2017-06-21 14:14 AlamZ 阅读(217) 评论(0) 推荐(0) 编辑
上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 29 下一页