随笔分类 - c#
摘要:前言: 首先表示抱歉,春节后一直较忙,未及时更新该系列文章。 近期,由于监控的站源越来越多,就偶有站源做了反爬机制,造成我们的SupportYun系统小爬虫服务时常被封IP,不能进行数据采集。 这时候,前面有园友提到的IP代理就该上场表演了。 IP代理池设计: 博主查阅与调研了多方资料,最终决定先通
阅读全文
摘要:实现效果: 上一篇文章有附全文搜索结果的设计图,下面截一张开发完成上线后的实图: 基本风格是模仿的百度搜索结果,绿色的分页略显小清新。 目前已采集并创建索引的文章约3W多篇,索引文件不算太大,查询速度非常棒。 刀不磨要生锈,人不学要落后。每天都要学一些新东西。 基本技术介绍: 还记得上一次做全文搜索
阅读全文
摘要:SupportYun系统当前一览: 首先说一下,文章的进度一直是延后于系统开发进度的。 当前系统V1.0 已经正式上线服役了,这就给大家欣赏几个主要界面~~ 哈哈~这是系统主页,极简风格。主体框架使用的是 B-JUI ,偶然间看到的一个开源框架,相信它的作者会把它做得越来越好! 这是数据列表的功能页
阅读全文
摘要:SupportYun当前状况: 博主的SupportYun系统基本已经完成第一阶段预期的底层服务开发啦~~~自己小嘚瑟一下。 有对该系统历史背景与功能等不明白的可先看该系列的第1/2篇文章: 1.记一次企业级爬虫系统升级改造(一) 2.记一次企业级爬虫系统升级改造(二):基于AngleSharp实现
阅读全文
摘要:爬虫系统升级改造正式启动: 在第一篇文章,博主主要介绍了本次改造的爬虫系统的业务背景与全局规划构思: 未来Support云系统,不仅仅是爬虫系统,是集爬取数据、数据建模处理统计分析、支持全文检索资源库、其他业务部门和公司资讯系统重要数据来源、辅助决策等功能于一身的企业级Support系统。 介于好多
阅读全文
摘要:项目缘由: 公司一直有一个半死不活的爬虫系统,在爬取着市面上竞争公司官网的一些活动、文章等内容。 由于该系统的开发人员已离职快两年,多次经手,现已基本失去爬取能力,每周的报表都得靠人工汇总。 在我们这个以移民业务为主,IT部门隶属于后勤服务的所谓的大企业的子公司里面,英勇的前任leader满口答应高
阅读全文
摘要:做网站呢,都免不了要做图片上传。 还记得去年做微信的时候用WebAPI+ajaxfileupload.js做了一个能够附带参数上传的功能,博文地址:.NET WebAPI 实现图片上传(包括附带参数上传图片) 这段时间在做一个网站,用的MVC5.0,有一个上传多张图片的需求...刚开始用的flash
阅读全文
摘要:哈哈~~~很高兴还活着。总算加班加点的把最后一类EXCEL模板的解析做完了...前面几篇文章介绍了博主最近项目中对于复杂excel表头的解析,写得不好,感谢园友们的支持~~~今天再简单讲诉一下另一种“变异”EXCEL表头模板——矩阵表头模板的解析(博主感觉这种模板虽说怪异,但是偶尔也能遇到,的确是有...
阅读全文
摘要:博主最近手上这个项目呢(就是有上百个万恶的复杂excel需要解析的那个项目,参见博客:http://www.cnblogs.com/csqb-511612371/p/4885930.html),由于是一个内网项目,安全性要求很低,不需要做什么报文加密。但是总觉得用户名密码都是明文传输,略微有点坑甲方...
阅读全文
摘要:我们在第三篇文章中谈到了那些非常反人类的excel模板,博主为了养家糊口,也玩命做出了相应的解析方法...我们先来看看第一类复杂表头:......博主称这类excel模板为略复杂表头模板(蓝色部分为表头部分,蓝色前面几行是博主项目的基础样式,称为元数据),这类excel的表头多为2-3行,甚至于5/...
阅读全文
摘要:前面我们已经实现了反射机制进行excel表格数据的解析,既然有上传就得有下载,我们再来写一个通用的导出方法,利用反射机制实现对系统所有数据列表的筛选结果导出excel功能。我们来构想一下这样一个画面,管理员筛选出北京的所有员工数据,想导出成excel表格;管理员筛选出北京所有欠费的企业数据,想导出成...
阅读全文
摘要:我们先来回忆回忆上篇文章讲到的通过xml配置文件实现excel批量模板解析的整体思路:1.对每个excel模板制定xml配置规则集,实现xml配置文件的解析服务2.为每个excel模板制定DTO,继承于一个BaseDTO3.实现两个工厂方法,一是获取某excel模板xml配置文件路径;一是获取某ex...
阅读全文
摘要:上一篇文章介绍了一些NPOI的基础接口,我们现在就来看看具体怎么用NPOI来解析一个EXCEL。博主现在有这么一堆excel需要解析数据入库:当然这只是员工的简要模板,还有很多其他的模板。我们可以要求线下人员把表头都做成像这样的表头,但是数据的列数与各列内容是不受我们所控制的。那么我们需要的就是一个...
阅读全文
摘要:去年项目有一个子模块需要解析上百张不一样的excel表格入库,当时用的NPOI,做了很久...也尝试想把代码分享到oschina,结果没坚持两篇就放弃了。赶巧的是,昨天运营那边提出要录入一些基础数据,我想着也就几百个员工、企业的信息,自己找两个姑娘手动录入呗(为啥是姑娘?让一个大老爷们去录假数据,你...
阅读全文
摘要:博主的APP最近又新加了一个小功能,每个员工都可以上传自己的工作照,其他员工可以点赞,规则是:每张工作照每个员工(除上传者外)每日可点赞一次。举个例子:现有注册员工ABCD四人,A上传工作照两张P1和P2,BCD三人每天可为P1、P2分别点赞一次博主略加思考,写了下面一段代码来实现: 1 ...
阅读全文