随笔分类 - 爬虫

爬虫相关知识

摘要：最近由于工作需要，需要下载部分landsat数据的元数据，老板大手一挥，给了十几年的landsat的path、row以及日期等，就算交待完了。于是我就开始准备吭哧吭哧到USGS官网上去一个个找。程序员应该是世界上最懒的人，懒到哪怕只有几百个也不愿意一个个手动弄，于是在官网上翻腾半天，终于找到这么一个页面，能够给定范围批量下载元数据，这是个好东西，基本几下就解决问题了。懒劲又升级了，这么一批一批的下下来我不是还要手工整理，于是就想写个程序自动下载然后筛选出我想要的部分。阅读全文

posted @ 2017-01-10 13:50 shoufengwei 阅读(1822) 评论(2) 推荐(3) 编辑

网络爬虫之投票

摘要：目录 1. "前言" 2. "起因" 3. "主要技术点" 4. "总结" 5. "后记" 一、前言 & 160; & 160; & 160; & 160;在你心中什么是网络爬虫？在网线里钻来钻去的小虫？先看一下百度百科的解释：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称阅读全文

posted @ 2016-07-08 20:18 shoufengwei 阅读(4905) 评论(4) 推荐(4) 编辑