左正 - 博客园

2018年5月9日

摘要：准备工作：从github上download工程。安装VS2017。安装 .net core 2.0。编译通过。基础架构：调度器 Scheduler 从根site开始，向 Downloader 分配请求任务。 Downloader 根据分配到的请求任务，向目标site 下载 page，并交阅读全文

posted @ 2018-05-09 10:12 左正阅读(1180) 评论(0) 推荐(0) 编辑

DotnetSpider (二) Downloader的设置 Request自定义数据字典

摘要： ** 温馨提示：如需转载本文，请注明内容出处。** 本文连接:http://www.cnblogs.com/grom/p/8968905.html 接上一篇，在原项目的基础上进行改造，为EntitySpider设置Downloader。自定义Downloader类: public class At 阅读全文

posted @ 2018-05-09 09:59 左正阅读(771) 评论(0) 推荐(0) 编辑

DotnetSpider (一) 架构的理解、应用、搭建

摘要：本文连接:http://www.cnblogs.com/grom/p/8931650.html 受业务影响，决定将Downloader单独分层，做出修改。最近在做爬虫，之前一直在使用 HttpWebRequest 和 WebClient ,很方便快捷，也很适合新手，但随着抓取任务的增多，多任务，多阅读全文

posted @ 2018-05-09 09:58 左正阅读(3588) 评论(0) 推荐(1) 编辑

JSONPATH使用方法

摘要：语法： JsonPath 描述 $ 根节点 @ 当前节点 .or[] 子节点 .. 选择所有符合条件的节点 * 所有节点 [] 迭代器标示，如数组下标 [,] 支持迭代器中做多选 [start:end:step] 数组切片运算符 ?() 支持过滤操作 () 支持表达式计算原文地址：http://w 阅读全文

posted @ 2018-05-09 09:40 左正阅读(5111) 评论(0) 推荐(0) 编辑

2018年5月8日

爬取饿了么商铺信息

摘要：分析：当我们访问https://www.ele.me/home/时，看看我们得到了什么 1.png 我们发现所有的城市名称和他的经纬度，还有一个风流的男子然后随机输入一些东西看看，进入某个地区看一看在新的界面里我们看到了这样一条url: https://mainsite-restapi.ele 阅读全文

posted @ 2018-05-08 23:08 左正阅读(1483) 评论(0) 推荐(0) 编辑

汽车之家店铺数据抓取 DotnetSpider实战

摘要：一、背景春节也不能闲着，一直想学一下爬虫怎么玩，网上搜了一大堆，大多都是Python的，大家也比较活跃，文章也比较多，找了一圈，发现园子里面有个大神开发了一个DotNetSpider的开源库，很值得庆幸的，该库也支持.Net Core，于是乘着春节的空档研究一下整个开源项目，顺便实战一下。目前互联阅读全文

posted @ 2018-05-08 16:46 左正阅读(367) 评论(0) 推荐(0) 编辑

分布式之消息队列复习精讲

摘要：引言为什么写这篇文章? 博主有两位朋友分别是小A和小B: 庆幸的是两位朋友都很有上进心，于是博主写这篇文章，帮助他们复习一下关于消息队列中间件这块的要点复习要点本文大概围绕如下几点进行阐述: 我们围绕以上七点进行阐述。需要说明一下，本文不是《消息队列从入门到精通》这种课程，因此只是提供一个复习阅读全文

posted @ 2018-05-08 11:45 左正阅读(272) 评论(0) 推荐(0) 编辑

微信小程序如何玩转分销

摘要：截止目前，微信月活跃用户已经高达8.89亿，微信这个庞大的互联网巨头下一个目标是什么？打造属于自己的“AppStore”。小程序正是完成这个微信生态体系的一块完美拼板，张小龙预言：未来2年内，小程序将取代80%的App市场，所以，每一个企业都应用拥有自己的小程序。小程序分销和微信分销有什么区别阅读全文

posted @ 2018-05-08 11:11 左正阅读(12272) 评论(1) 推荐(0) 编辑

2018年5月7日

爬虫IP被禁的简单解决方法

摘要：爬虫以前听上去好厉害好神秘的样子，用好了可以成就像Google、百度这样的索索引擎，用不好可以凭借不恰当的高并发分分钟崩掉一个小型网站。写到这里想到12306每年扛住的并发请求量，觉得好牛逼。爬虫和反爬虫从一直以来都是一个道高一尺魔高一丈的架势。反爬虫技术增加了爬取的难度，各路crawler的爬取阅读全文

posted @ 2018-05-07 11:57 左正阅读(521) 评论(0) 推荐(0) 编辑

2018年5月6日

推荐13个.Net开源的网络爬虫

摘要： 1：.Net开源的跨平台爬虫框架 DotnetSpider Star:430 DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件，采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。请点击此处输入图片描述 2：俄国牛人写的开源爬虫xNet Star:117 这个一个阅读全文

posted @ 2018-05-06 15:28 左正阅读(1149) 评论(1) 推荐(0) 编辑

2018年5月4日

Oracle绝对值函数

摘要： 1.绝对值：abs() select abs(-2) value from dual; 2.取整函数（大）：ceil（） select ceil(-2.001) value from dual;(-2) 3.取整函数（小）：floor（） select floor(-2.001) value fro 阅读全文

posted @ 2018-05-04 15:26 左正阅读(11624) 评论(0) 推荐(0) 编辑

详细分析Memcached缓存与Mongodb数据库的优点与作用

摘要： http://www.mini188.com/showtopic-1604.aspx 本文详细讲下Memcached和Mongodb一些看法，以及结合应用有什么好处，希望看到大家的意见和补充。 Memcached Memcached的优势我觉得总结下来主要体现在： 1）分布式。可以由10台拥有4G 阅读全文

posted @ 2018-05-04 11:49 左正阅读(560) 评论(0) 推荐(0) 编辑

MongoDB for C#基础入门

摘要：笔者这里采用的是mongoDB官网推荐使用.net驱动： http://mongodb.github.io/mongo-csharp-driver/2.0/getting_started/quick_tour/ 有关于MongoDB的安装读者可以参考其他的博客，对于基本的学习来说并不需要进行过多的配阅读全文

posted @ 2018-05-04 11:25 左正阅读(3269) 评论(1) 推荐(1) 编辑

SQL Server数据归档的解决方案

摘要：最近新接到的一项工作是把SQL Server中保存了四五年的陈年数据（合同，付款，报销等等单据）进行归档，原因是每天的数据增量很大，而历史数据又不经常使用，影响生产环境的数据查询等操作。要求是： 1 归档的数据与生产环境数据分开保存，以便提高查询效率和服务器性能。 2 前端用户能够查询已归档的数据，阅读全文

posted @ 2018-05-04 11:23 左正阅读(829) 评论(0) 推荐(1) 编辑

Mysql数据库大表归档操作

摘要：由于公司的某个系统数据表过亿，考虑到数据表的压力。所以根据某个时间点对数据表做了一个归档。以下的操作是在当前的数据库新建表用于存储历史数据，然后再对生产表做一个清理操作。如果有条件的话可以把归档的数据放在一台新的数据库服务器上。（具体的表名和时间结点根据自己需要修改）归档sql：方法一：复制表阅读全文

posted @ 2018-05-04 11:16 左正阅读(774) 评论(0) 推荐(1) 编辑

数据库数据格式化之Kettle Spoon

摘要：前言现在的数据库种类越来越多，数据库备份的格式也越来越复杂，所以数据格式化一直是一个老生常谈的问题。据库备份文件格式那么多，既有SQL的，也有BAK的，还有TXT的等。数据库种类也有很多，MySQL，Oracle，SQL server等，怎么对这些数据库进行管理？昨天泄露access格式的数据库，阅读全文

posted @ 2018-05-04 10:39 左正阅读(2625) 评论(0) 推荐(0) 编辑

2018年5月3日

NopCommerce开源项目中很基础但是很实用的C# Helper方法

摘要： NopCommerce是啥？ nopCommerce是最好的开源电子商务购物系统。nopCommerce免费提供。今天，它是最好和最流行的ASP.NET电子商务软件。它已被下载超过180万次！ nopCommerce是一个完全可定制的购物系统。它稳定且高度可用。nopCommerce是一个开源的电阅读全文

posted @ 2018-05-03 18:28 左正阅读(353) 评论(0) 推荐(0) 编辑

2018年4月26日

oracle 两个逗号分割的字符串如何判断是否其中有相同值

摘要：比如字段A： 'ab,cd,ef,gh'字段B： 'aa,bb,cc,dd' 没有相同值字段A： 'ab,cd,ef,gh'字段B： 'aa,bb,cd,dd' 有相同值cd 1.CREATE OR REPLACE TYPE ty_str_split IS TABLE OF VARCHAR2 (4 阅读全文

posted @ 2018-04-26 13:24 左正阅读(5391) 评论(0) 推荐(0) 编辑

2018年4月25日

MongoDB+MongoVUE安装及入门

摘要：前言及概念据说nodejs和mongoDB是一对好基友，于是就忍不住去学习了解了一下MongoDB相关的一些东西，那么，MongoDB是什么？这里的五件事是每个开放人员应该知道的： MongoDB是一个独立的服务器; 如MySQL或PostreSQL 一样，MongoDB提供侦听端口以便接入。它阅读全文

posted @ 2018-04-25 09:45 左正阅读(422) 评论(0) 推荐(0) 编辑

2018年4月23日

C#中Dictionary<TKey,TValue>排序方式

摘要：自定义类： using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace CSharp中Dictionary排阅读全文

posted @ 2018-04-23 23:46 左正阅读(352) 评论(0) 推荐(0) 编辑

kettle的基本介绍

摘要： Kettle 主要内容：一．ETL介绍二．Kettle介绍三．Java调用Kettle API 一、ETL介绍 1. ETL是什么？ 1).ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也即数据抽取、转换、装载的过程，但我们日常往往简称其为数据抽取阅读全文

posted @ 2018-04-23 16:16 左正阅读(13122) 评论(0) 推荐(2) 编辑

Kettle能做什么？

摘要：简介 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来阅读全文

posted @ 2018-04-23 16:03 左正阅读(854) 评论(0) 推荐(0) 编辑

2018年4月22日

oracle like 条件拼接

摘要：（1） ibatis xml配置：下面的写法只是简单的转义 namelike '%$name$%' （2）这时会导致sql注入问题，比如参数name传进一个单引号“'”，生成的sql语句会是：name like '%'%' （3）解决方法是利用字符串连接的方式来构成sql语句 name like 阅读全文

posted @ 2018-04-22 18:16 左正阅读(1508) 评论(0) 推荐(0) 编辑

loading加载和layer.js

摘要： layer.js中的loading加载 l本篇主要介绍layerjs中的loading加载在实际项目中的应用 1、使用的技术前端：HTML5+CSS3+JS+layer.js 后端：.net 2、遇到的问题在使用layer.js插件中提供的loading时，需要在layer.js中的layer. 阅读全文

posted @ 2018-04-22 01:29 左正阅读(9653) 评论(0) 推荐(0) 编辑

2018年4月21日

关于bootstrap的treeview不显示多选(复选框)的问题，以及联动选择的问题，外加多选后取值

摘要：最近做项目用到了treeview。因为涉及到多选的问题，很是棘手，于是乎，我决定查看原生JS，探个究竟。需要引用官方的bootstrap-treeview.js都知道吧，对于所需要引用的，我就不多说了。相信很多人都在网上看到了，有的人说要写showCheckbox：true；有的人又让写multiS 阅读全文

posted @ 2018-04-21 21:27 左正阅读(534) 评论(0) 推荐(0) 编辑

layer.confirm 询问框的层遮盖

摘要：关于的 layer.open组件获取弹出层页面变量、函数的y应用；博客：等想出来再取的 http://blog.csdn.net/qq_32588349/article/details/52618450 阅读全文

posted @ 2018-04-21 09:58 左正阅读(622) 评论(0) 推荐(0) 编辑

2018年4月18日

Windows Server 2008 r2 64位激活

摘要： 1.工具：CW 下载链接：https://pan.baidu.com/s/1bphOkW3 密码：80d4 2.查看系统是否激活：计算机图标点右键，选择属性，就可以查看激活情况 3.准备好CW工具 4.右键点击，选择：以管理员身份运行 5.弹出CW的对话框，我们点击：APPLE继续 6.应用程序提阅读全文

posted @ 2018-04-18 10:52 左正阅读(1257) 评论(0) 推荐(0) 编辑

2018年4月16日

sqlserver 2012 查询时提示“目录名称无效”

摘要：重装系统或者用360等软件清理了相应的临时文件导致解决：在运行中输入 %temp% 回车，会跳出找不到路径的提示，然后到提示的目录建没有找到的目录文件夹即可。阅读全文

posted @ 2018-04-16 22:33 左正阅读(2788) 评论(0) 推荐(0) 编辑

2018年4月13日

读写分离,读写分离死锁解决方案,事务发布死锁解决方案,发布订阅死锁解决方案|事务(进程 ID *)与另一个进程被死锁在锁资源上，并且已被选作死锁牺牲品。请重新运行该事务

摘要：前言：由于网站访问压力的问题，综合分析各种因素后结合实际情况，采用数据库读写分离模式来解决当前问题。实际方案中采用“事务发布”模式实现主数据库和只读数据库的同步，其中：发布服务器1台：sql2005，推送订阅模式订阅服务器2台：sql2005 问题：以上方案后实施后，数据同步正常，但从日志中阅读全文

posted @ 2018-04-13 19:35 左正阅读(764) 评论(0) 推荐(0) 编辑

在sqlserver 中with(nolock)详解

摘要：所有Select加 With (NoLock)解决阻塞死锁在查询语句中使用 NOLOCK 和 READPAST 处理一个数据库死锁的异常时候，其中一个建议就是使用 NOLOCK 或者 READPAST 。有关 NOLOCK 和 READPAST的一些技术知识点：对于非银行等严格要求事务的行业，搜阅读全文

posted @ 2018-04-13 19:35 左正阅读(610) 评论(0) 推荐(0) 编辑

2018年4月10日

jquery-chosen设置默认值

摘要： [html] view plain copy [html] view plain copy 引入相应的js和css <script src="js/chosen/chosen.jquery.min.js"></script> <script src="js/jquery-1.11.0.min.js" 阅读全文

posted @ 2018-04-10 17:43 左正阅读(824) 评论(0) 推荐(0) 编辑

JSON返回DateTime/Date('123123123')/解决办法

摘要： function ConvertJSONDateToJSDateObject(jsondate) { var date = new Date(parseInt(jsondate.replace("/Date(", "").replace(")/", ""), 10)); return date; } 阅读全文

posted @ 2018-04-10 09:58 左正阅读(525) 评论(0) 推荐(0) 编辑

2018年4月4日

layer iframe层的使用，传参

摘要：父层点击添加，按钮，执行添加方法这个方法，打开一个iframe页面，页面中可以执行一些操作，添加分类，执行完毕后调用一个end方法。这个方法，很有用！不管执行结果如果，都会调用。 iframe可以传递参数到父页面。 end方法，根据传递的结果，执行一些后续操作。 iframe层表单提交，提交阅读全文

posted @ 2018-04-04 13:23 左正阅读(3167) 评论(0) 推荐(0) 编辑

2018年3月30日

Oracle外键需要建索引吗？

摘要：关于Oracle中的外键，首先要说明一下。 1. 除非已定义了父表主键或唯一键约束，否则oracle将不允许创建子表的外键约束。 2. 在定义外键约束时，oracle不会自动创建索引，所以必须手动在与外键约束相关的列上创建索引。所以我们这里要研究的是否需要在子表中创建索引，因为父表中对应的列是一定阅读全文

posted @ 2018-03-30 14:26 左正阅读(1471) 评论(0) 推荐(0) 编辑

2018年3月29日

简单易用的.NET免费开源RabbitMQ操作组件EasyNetQ解析

摘要：对于目前大多的.NET项目，其实使用的技术栈都是差不多，估计现在很少用控件开发项目的了，毕竟一大堆问题。对.NET的项目，目前比较适合的架构ASP.NET MVC，ASP.NET WebAPI，ORM（较多Dapper.NET或者其扩展，稍大一些的项目用EF等等），为了提高速度也会采用缓存（.NET 阅读全文

posted @ 2018-03-29 13:45 左正阅读(589) 评论(0) 推荐(0) 编辑

.NET操作RabbitMQ组件EasyNetQ使用中文简版文档。

摘要：本文出自EasyNetQ官方文档，内容为自己理解加翻译。文档地址：https://github.com/EasyNetQ/EasyNetQ/wiki/Quick-Start EasyNetQ简介 EasyNetQ是基于官方.NET组件RabbitMQ.Client 的又一层封装，使用起来更加方便，开阅读全文

posted @ 2018-03-29 13:34 左正阅读(427) 评论(0) 推荐(1) 编辑

2018年3月28日

外卖ERP管理系统(二)

摘要：京门时代旗下外卖ERP管理系统是一款专注外卖行业的解决方案系统！系统介绍： 1、外卖erp系统是一款集订单分发、一键派送、实时大屏监控、店铺进销存、仓储管理及数据分析为一体的智能化外卖管理系统。已服务于全国近千家门店，5个大型外卖连锁品牌，数十家单店品牌。 2、服务对象：外卖连锁品牌、外卖单店品牌阅读全文

posted @ 2018-03-28 10:42 左正阅读(1709) 评论(0) 推荐(0) 编辑

2018年3月27日

Jquery DataTable基本使用

摘要： 1，首先需要引用下面两个文件 <link rel="stylesheet" href="https://cdn.datatables.net/1.10.16/css/jquery.dataTables.min.css" /> > 2，DataTable支持的数据类型 https://www.data 阅读全文

posted @ 2018-03-27 11:15 左正阅读(5991) 评论(0) 推荐(0) 编辑

2018年3月24日

并发基础知识 — 线程安全性

摘要：前段时间看完了《并发编程的艺术》，总感觉自己对于并发缺少一些整体的认识。今天借助《Java并发编程实践》，从一些基本概念开始，重新整理一下自己学过并发编程。从并发基础开始，深入进去，系统学习一下并发编程。编写线程安全的代码，核心在于要对状态访问操作进行管理，特别是对共享的（Shared）和可变的（阅读全文

posted @ 2018-03-24 17:46 左正阅读(222) 评论(0) 推荐(0) 编辑

2018年3月22日

bootstrap之 formgroup表单布局样式

摘要：效果图：效果图：阅读全文

posted @ 2018-03-22 15:50 左正阅读(14672) 评论(1) 推荐(0) 编辑

左正

公告