Python爬虫IP代理教程，让你不再为IP被封禁发愁
摘要：本文来源没啥特别，因为没使用ip代理导致爬取boos直聘数据时，ip被封了，不过好在已解决，想看看博主的爬虫文章的可以点击下方链接，还是蛮全的。 一、免费代理ip地址推荐 站大爷 快代理 芝麻代理 芝麻代理需要注册，但注册后每天可以领取代理，还是很不错的 站大爷和快代理都有免费的开放代理 快代理也可
阅读全文
posted @
2021-06-16 15:13
宏宇
阅读(1370)
推荐(0) 编辑
c# 爬虫（三） 文件上传
摘要：在上一篇中，我们说了模拟登录， 下面我们说说附件上传。 据说，最早的http协议是不支持附件上传的，后来有添加了一个RFC 2045 协议，才支持附件上传，关于附件上传，请参见 http://www.cnblogs.com/greenerycn/archive/2010/05/15/csharp_h
阅读全文
posted @
2021-05-16 08:16
宏宇
阅读(206)
推荐(0) 编辑
c# 爬虫（二） 模拟登录
摘要：有了上一篇的介绍，这次我们来说说模拟登录，上一篇见 ：c# 爬虫（一） HELLO WORLD 原理 我们知道，一般需要登录的网站，服务器和客户端都会有一段时间的会话保持，而这个会话保持是在登录时候建立的， 服务端和客户端都会持有这个KEY，在后续访问时，都需要核对这两个KEY是否一致。 而客户端的
阅读全文
posted @
2021-05-16 08:12
宏宇
阅读(988)
推荐(0) 编辑
c# 爬虫（一） HELLO WORLD
摘要：最近在摸索爬虫相关的东西，写点随笔，以便忘记。 目的与用途 现实的项目中，我们需要太多的第三方接口了。而往往这些第三方接口由于条件限制，一时拿不到。 譬如： 1. 淘宝网今天有什么特价商品。 2. 百度今天的热搜榜是什么。 3. 某用户的水电、话费、煤气有没有欠费，欠了多少。 等等问题，怎么办呢？
阅读全文
posted @
2021-05-16 08:09
宏宇
阅读(320)
推荐(0) 编辑
抓取Web of Science经验分享
摘要：受新加坡某科研机构委托，需要对国内469所高校，156个学科，25年内在 中的“引文报告”（如下图示例）数据进行采集。检索次数超180万次。 该网站“需要登陆，并且会封账号”，具有很强的典型性，特对本网站的采集经验分享如下： 1. Web of Science必须登陆才能检索，而且同一个账号不能重复
阅读全文
posted @
2021-04-06 09:45
宏宇
阅读(1183)
推荐(0) 编辑
Scopus论文数据爬虫
摘要：Scopus是一家文献数据库。它囊括有全球5000多家在科学、技术、医学和社会科学等领域的出版商。 首先爬取Scopus论文数据需要注册一个 elsevier 开发者账号，因为所有API都需要key来访问。API的列表可以查看 https://dev.elsevier.com/api_docs.ht
阅读全文
posted @
2020-05-29 18:45
宏宇
阅读(2164)
推荐(0) 编辑
C#winform抓取百度,Google搜索关键词结果
摘要：基于网站seo,做了一采集百度和Google搜索关键字结果的采集.在这里与大家分享一下 先看先效果图 代码附加: View Code 1 private void baidu_Click(object sender, EventArgs e) 2 { 3 int num = 100;//搜索条数 4
阅读全文
posted @
2018-08-15 15:08
宏宇
阅读(707)
推荐(0) 编辑
