摘要:
详细解释下需求: 根据某字段(此例中为StateProvinceID)做判断,如果发现表中该字段有重复值,则结果不显示该条记录。一,最直接的方法,效率低 1 SELECT * FROM 2 ( 3 SELECT StateProvinceID FROM 4 ( 5 SELECT COUNT(*) AS num ,ad.StateProvinceID 6 FROM Person.Address ad 7 GROUP BY StateProvinceID 8 ... 阅读全文
摘要:
主要技术简介:1.架构采用Asp.net Mvc+三层架构。2.搜索功能使用lucene.net+盘古分词。3.定时任务使用Quartz.net。( 用windows自带的太土了。)。4.日志记录使用Log4net(非常好用)。5.网站爬虫使用webclient(webrequest速度较慢)。6.网页数据提取使用HtmlAgilityPack+正则表达式。7.采用多线程(开启三个线程)分段对网站帖子进行索引,索引库未进行合并,搜索采用lucenue.net自带类库对三个索引库进行并行搜索。网站其他功能陆续完善中,因网络带宽和主机配置限制(体验版阿里云单核多线程爬虫优势不明显),索引库数据较少 阅读全文