随笔分类 - C#

C# .NET VS

摘要：这是个老生常谈的话题，需求实在太多，而且也较简单，写此文也是因为几个月没写技术文章了，权当为下一步开个头。我之前也做过很多此类项目，但是就我自己来说每次处理方式还都不一样，有用OpenCV的，有用Magick的，牵涉到影像还用了GDAL，当然有些还是自己纯手工写的，以上这些方式各有各的优点，需要针对阅读全文

posted @ 2017-04-26 18:01 shoufengwei 阅读(4773) 评论(0) 推荐(1) 编辑

Landsat元数据批量下载工具

摘要：最近由于工作需要，需要下载部分landsat数据的元数据，老板大手一挥，给了十几年的landsat的path、row以及日期等，就算交待完了。于是我就开始准备吭哧吭哧到USGS官网上去一个个找。程序员应该是世界上最懒的人，懒到哪怕只有几百个也不愿意一个个手动弄，于是在官网上翻腾半天，终于找到这么一个页面，能够给定范围批量下载元数据，这是个好东西，基本几下就解决问题了。懒劲又升级了，这么一批一批的下下来我不是还要手工整理，于是就想写个程序自动下载然后筛选出我想要的部分。阅读全文

posted @ 2017-01-10 13:50 shoufengwei 阅读(1822) 评论(2) 推荐(3) 编辑

网络爬虫之密码破解

摘要：目录 1. "前言" 2. "密码破解" 3. "总结" 一、前言 & 160; & 160; & 160; & 160;刚刚睡觉的时候迷迷糊糊梦到了上大学的时候玩弄旅行箱密码的样子。刚上大学的时候学校给每个人发一个旅行箱，带学校Logo的那种，旅行箱稍显高档，带了三位数的密码还可以自己修改密码。都阅读全文

posted @ 2016-08-27 16:49 shoufengwei 阅读(6003) 评论(9) 推荐(6) 编辑

网络爬虫之投票

摘要：目录 1. "前言" 2. "起因" 3. "主要技术点" 4. "总结" 5. "后记" 一、前言 & 160; & 160; & 160; & 160;在你心中什么是网络爬虫？在网线里钻来钻去的小虫？先看一下百度百科的解释：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称阅读全文

posted @ 2016-07-08 20:18 shoufengwei 阅读(4905) 评论(4) 推荐(4) 编辑

Parallel并行化编程

摘要：在很多场景中我们需要通过并行化的方式来提高程序运行的速度，比较典型的需求就是并行下载。前期遇到一个需求是要批量下载瓦片，每次大概下载上百万个瓦片，要想提高瓦片的下载速度，只能通过并行化的方式，下面把我解决此问题的思路和代码总结如下：第一步确定线程个数（ThreadCount），这个要根据网络情况和阅读全文

posted @ 2016-05-29 23:08 shoufengwei 阅读(901) 评论(0) 推荐(1) 编辑

使用selenium+phantomJS实现网页爬取

摘要：2、跳转到URL 3、之后就可以解析获取想要的信息。阅读全文

posted @ 2016-03-14 10:24 shoufengwei 阅读(2034) 评论(0) 推荐(1) 编辑