随笔分类 -  c#

记一次企业级爬虫系统升级改造（六）：基于Redis实现免费的IP代理池
摘要：前言： 首先表示抱歉，春节后一直较忙，未及时更新该系列文章。 近期，由于监控的站源越来越多，就偶有站源做了反爬机制，造成我们的SupportYun系统小爬虫服务时常被封IP，不能进行数据采集。 这时候，前面有园友提到的IP代理就该上场表演了。 IP代理池设计： 博主查阅与调研了多方资料，最终决定先通 阅读全文
posted @ 2017-03-20 10:32 彩色铅笔 阅读(5673) 评论(40) 推荐(17) 编辑
记一次企业级爬虫系统升级改造（五）：基于JieBaNet+Lucene.Net实现全文搜索
摘要：实现效果： 上一篇文章有附全文搜索结果的设计图，下面截一张开发完成上线后的实图： 基本风格是模仿的百度搜索结果，绿色的分页略显小清新。 目前已采集并创建索引的文章约3W多篇，索引文件不算太大，查询速度非常棒。 刀不磨要生锈，人不学要落后。每天都要学一些新东西。 基本技术介绍： 还记得上一次做全文搜索 阅读全文
posted @ 2017-01-20 09:58 彩色铅笔 阅读(3861) 评论(34) 推荐(33) 编辑
记一次企业级爬虫系统升级改造（四）：爬取微信公众号文章（通过搜狗与新榜等第三方平台）
摘要：SupportYun系统当前一览： 首先说一下，文章的进度一直是延后于系统开发进度的。 当前系统V1.0 已经正式上线服役了，这就给大家欣赏几个主要界面~~ 哈哈~这是系统主页，极简风格。主体框架使用的是 B-JUI ，偶然间看到的一个开源框架，相信它的作者会把它做得越来越好！ 这是数据列表的功能页 阅读全文
posted @ 2017-01-11 10:18 彩色铅笔 阅读(4865) 评论(32) 推荐(23) 编辑
记一次企业级爬虫系统升级改造（三）：文本分析与数据建模规则化处理
摘要：SupportYun当前状况： 博主的SupportYun系统基本已经完成第一阶段预期的底层服务开发啦~~~自己小嘚瑟一下。 有对该系统历史背景与功能等不明白的可先看该系列的第1/2篇文章： 1.记一次企业级爬虫系统升级改造（一） 2.记一次企业级爬虫系统升级改造（二）：基于AngleSharp实现 阅读全文
posted @ 2016-12-15 13:35 彩色铅笔 阅读(3135) 评论(33) 推荐(14) 编辑
记一次企业级爬虫系统升级改造（二）：基于AngleSharp实现的抓取服务
摘要：爬虫系统升级改造正式启动： 在第一篇文章，博主主要介绍了本次改造的爬虫系统的业务背景与全局规划构思： 未来Support云系统，不仅仅是爬虫系统，是集爬取数据、数据建模处理统计分析、支持全文检索资源库、其他业务部门和公司资讯系统重要数据来源、辅助决策等功能于一身的企业级Support系统。 介于好多 阅读全文
posted @ 2016-12-05 11:15 彩色铅笔 阅读(3110) 评论(15) 推荐(5) 编辑
记一次企业级爬虫系统升级改造（一）
摘要：项目缘由： 公司一直有一个半死不活的爬虫系统，在爬取着市面上竞争公司官网的一些活动、文章等内容。 由于该系统的开发人员已离职快两年，多次经手，现已基本失去爬取能力，每周的报表都得靠人工汇总。 在我们这个以移民业务为主，IT部门隶属于后勤服务的所谓的大企业的子公司里面，英勇的前任leader满口答应高 阅读全文
posted @ 2016-11-29 11:39 彩色铅笔 阅读(7904) 评论(62) 推荐(38) 编辑
.NET MVC实现多图片上传并附带参数（ajaxfileupload）
摘要：做网站呢，都免不了要做图片上传。 还记得去年做微信的时候用WebAPI+ajaxfileupload.js做了一个能够附带参数上传的功能，博文地址：.NET WebAPI 实现图片上传（包括附带参数上传图片） 这段时间在做一个网站，用的MVC5.0，有一个上传多张图片的需求...刚开始用的flash 阅读全文
posted @ 2016-05-19 10:28 彩色铅笔 阅读(8497) 评论(47) 推荐(41) 编辑
NPOI操作EXCEL（六）——矩阵类表头EXCEL模板的解析
摘要：哈哈~~~很高兴还活着。总算加班加点的把最后一类EXCEL模板的解析做完了...前面几篇文章介绍了博主最近项目中对于复杂excel表头的解析，写得不好，感谢园友们的支持~~~今天再简单讲诉一下另一种“变异”EXCEL表头模板——矩阵表头模板的解析（博主感觉这种模板虽说怪异，但是偶尔也能遇到，的确是有... 阅读全文
posted @ 2015-10-27 09:11 彩色铅笔 阅读(3744) 评论(21) 推荐(6) 编辑
c#与JavaScript实现对用户名、密码进行RSA非对称加密
摘要：博主最近手上这个项目呢（就是有上百个万恶的复杂excel需要解析的那个项目，参见博客：http://www.cnblogs.com/csqb-511612371/p/4885930.html），由于是一个内网项目，安全性要求很低，不需要做什么报文加密。但是总觉得用户名密码都是明文传输，略微有点坑甲方... 阅读全文
posted @ 2015-10-22 10:04 彩色铅笔 阅读(12163) 评论(49) 推荐(28) 编辑
NPOI操作EXCEL（五）——含合并单元格复杂表头的EXCEL解析
摘要：我们在第三篇文章中谈到了那些非常反人类的excel模板，博主为了养家糊口，也玩命做出了相应的解析方法...我们先来看看第一类复杂表头：......博主称这类excel模板为略复杂表头模板（蓝色部分为表头部分，蓝色前面几行是博主项目的基础样式，称为元数据），这类excel的表头多为2-3行，甚至于5/... 阅读全文
posted @ 2015-10-21 09:52 彩色铅笔 阅读(21612) 评论(74) 推荐(13) 编辑
NPOI操作EXCEL（四）——反射机制批量导出excel文件
摘要：前面我们已经实现了反射机制进行excel表格数据的解析，既然有上传就得有下载，我们再来写一个通用的导出方法，利用反射机制实现对系统所有数据列表的筛选结果导出excel功能。我们来构想一下这样一个画面，管理员筛选出北京的所有员工数据，想导出成excel表格；管理员筛选出北京所有欠费的企业数据，想导出成... 阅读全文
posted @ 2015-10-20 09:30 彩色铅笔 阅读(5311) 评论(21) 推荐(6) 编辑
NPOI操作EXCEL（三）——反射机制进行excel表格数据的解析
摘要：我们先来回忆回忆上篇文章讲到的通过xml配置文件实现excel批量模板解析的整体思路：1.对每个excel模板制定xml配置规则集，实现xml配置文件的解析服务2.为每个excel模板制定DTO，继承于一个BaseDTO3.实现两个工厂方法，一是获取某excel模板xml配置文件路径；一是获取某ex... 阅读全文
posted @ 2015-10-19 12:00 彩色铅笔 阅读(7213) 评论(15) 推荐(2) 编辑
NPOI操作EXCEL（二）——大量不同模板时设计方式
摘要：上一篇文章介绍了一些NPOI的基础接口，我们现在就来看看具体怎么用NPOI来解析一个EXCEL。博主现在有这么一堆excel需要解析数据入库：当然这只是员工的简要模板，还有很多其他的模板。我们可以要求线下人员把表头都做成像这样的表头，但是数据的列数与各列内容是不受我们所控制的。那么我们需要的就是一个... 阅读全文
posted @ 2015-10-16 17:46 彩色铅笔 阅读(6770) 评论(12) 推荐(5) 编辑
NPOI操作EXCEL（一）——npoi基础
摘要：去年项目有一个子模块需要解析上百张不一样的excel表格入库，当时用的NPOI，做了很久...也尝试想把代码分享到oschina，结果没坚持两篇就放弃了。赶巧的是，昨天运营那边提出要录入一些基础数据，我想着也就几百个员工、企业的信息，自己找两个姑娘手动录入呗（为啥是姑娘？让一个大老爷们去录假数据，你... 阅读全文
posted @ 2015-10-14 17:20 彩色铅笔 阅读(6268) 评论(11) 推荐(6) 编辑
由一个投票算法引发的思考
摘要：博主的APP最近又新加了一个小功能，每个员工都可以上传自己的工作照，其他员工可以点赞，规则是：每张工作照每个员工（除上传者外）每日可点赞一次。举个例子：现有注册员工ABCD四人，A上传工作照两张P1和P2，BCD三人每天可为P1、P2分别点赞一次博主略加思考，写了下面一段代码来实现： 1 ... 阅读全文
posted @ 2015-10-13 17:58 彩色铅笔 阅读(1374) 评论(6) 推荐(0) 编辑

点击右上角即可分享
微信分享提示