05 2018 档案
摘要：通过从网上的开源项目下载源码，一般都是maven管理的项目，此类项目可以通过导入快捷运行项目，如图为下载的一个项目： 通过从网上的开源项目下载源码，一般都是maven管理的项目，此类项目可以通过导入快捷运行项目，如图为下载的一个项目： 2 打开IDEA，点击第二个选项“Import Porject”
阅读全文
摘要：网址：https://www.cnblogs.com/signheart/p/4d2058ae687f9a29680c070de85f7fbe.html language level 介绍 其他 IDE 没有看到类似 language level 的设置，所以这个功能应该算是 IntelliJ ID
阅读全文
摘要：1）开发环境搭建 首先下载安装vs2017 地址 ：https://www.visualstudio.com/zh-hans/downloads/ 安装勾选几项如下图 ,注意点在单个组件时.net core 运行时一定要勾上,很多人都没勾结果新增不了.net core 项目 2）开发 1.新增.ne
阅读全文
摘要：当抄完MusicStore时,你应该对MVC有一个比较清晰的认识了.接下来就需要做个网站来继续增加自己的知识了.那么,该做个什么网站呢.做个图片浏览网站吧,简单而实用. 简单设计 1.首先,页面中间是个图片列表.将所有图片列出来是不太科学的,所以要做个分页浏览的功能. 2.页面右边,有个图片排行榜,
阅读全文
摘要：接下来用 asp.net mvc 三层搭建一个完整的项目： 架构图: 使用的数据库: 一张公司的员工信息表，测试数据 解决方案项目设计： 1.新建一个空白解决方案名称为Company 2.在该解决方案下,新建解决方案文件夹(UI,BLL,DAL,Model) 当然还可以加上common 3.分别在B
阅读全文
摘要：网址：https://www.cnblogs.com/sggx/p/4555255.html 为什么要自己搭框架？ 大家伙别急，让我慢慢地告诉你！大家有没有这种感觉，从一家跳槽到另一家公司，公司的框架往往是不相同的，这样你必须就得摒弃原来的，学习新的框架。 问题是你用习惯了一种框架，比如封装的扩展方
阅读全文
该文被密码保护。
该文被密码保护。
摘要：1.直接在Global文件中配置： var formatters = GlobalConfiguration.Configuration.Formatters;var jsonFormatter = formatters.JsonFormatter;var settings = jsonFormat
阅读全文
该文被密码保护。
该文被密码保护。
该文被密码保护。
该文被密码保护。
摘要：人工智能是一门研究模拟人类智能，实现机器智能的一门科学，那么，在找工作过程中，这些面试题常常会被问到。了解一二，有备无患。 关于Python 1、Python的函数参数传递方法？ 2、Python中的元类(metaclass)有哪些？ 3、@staticmethod和@classmethod的区别？
阅读全文
摘要：认识微软Visual Studio Tools for AI 微软已经发布了其 Visual Studio Tools for AI 的测试版本，这是微软 Visual Studio 2017 IDE 的扩展，可以让开发人员和数据科学家将深度学习模型嵌入到应用程序中。Visual Studio To
阅读全文
摘要：新建一个cmd窗口，zkServer命令启动zookeeper 打开另一个cmd窗口,输入: cd D:\Worksoftware\Apachekafka2.11\bin\windows kafka-server-start D:\Worksoftware\Apachekafka2.11\confi
阅读全文
摘要：这个世界既不是有钱人的世界，也不是有权人的世界，它是有心人的世界。 一些有用的命令 实体类: KafkaProducerMessage.cs代码: KafkaConsumerMessage.cs代码: KafkaProducerMessageArchive.cs代码: vwMaxOffsetByPa
阅读全文
摘要：最近研究分布式消息队列，分享下！ 首先zookeeper 和 kafka 压缩包 解压 并配置好！ 我本机zookeeper环境配置如下: D:\Worksoftware\ApacheZookeeper3\conf\zoo.cfg 以下是kafka的配置 D:\Worksoftware\Apache
阅读全文
摘要：1.首先创建一个Topic，命令如下: kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MyTopic 2.创建两个控制台程序: 3.KafkaProduce
阅读全文
摘要：Storm集成Kafka应用的开发 我们知道storm的作用主要是进行流式计算，对于源源不断的均匀数据流流入处理是非常有效的，而现实生活中大部分场景并不是均匀的数据流，而是时而多时而少的数据流入，这种情况下显然用批量处理是不合适的，如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉，应
阅读全文
摘要：完整解决方案请参考： Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题，在这里先列出来，以方便查询： 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this tim
阅读全文
摘要：一.引子（Foreword） 最近公司里面要做窗体和网页交互的功能。网上找了一下资料，这里做一个简单的扩充和整理，部分内容可能是摘自其他博客，这里会注明出处和原文地址供大家和自己日后查阅。 二.基础知识（Foundation） （1）. WebSocket介绍 WebSocket协议是基于TCP的一
阅读全文
摘要：目录 API 应用框架（Application Frameworks） 应用模板（Application Templates） 人工智能（Artificial Intelligence） 程序集处理（Assembly Manipulation） 资源（Assets） 认证和授权（Authentica
阅读全文
摘要：目录 .NET 的 WebSocket 开发包比较 编者按 本文出现在第三方产品评论部分中。在这一部分的文章只提供给会员，不允许工具供应商用来以任何方式和形式来促销或宣传产品。请会员报告任何垃圾信息或广告。 Web项目常常需要将数据尽可能快地推送给客户，必要时无需等待客户端请求。对于与用户之间进行实
阅读全文
摘要：ASP.NET Web API上实现 Web Socket 1. 什么是Web Socket Web Socket是Html5中引入的通信机制，它为浏览器与后台服务器之间提供了基于TCP的全双工的通信通道。用以替代以往的LongPooling等comet style的实时解决方案。基于它们之间的比较
阅读全文
摘要：Scrapyd部署爬虫 准备工作 安装scrapyd: pip install scrapyd 安装scrapyd-client : pip install scrapyd-client 安装curl:[安装地址](http://ono60m7tl.bkt.clouddn.com/curl.exe)
阅读全文
摘要：初学python，记录学习过程。 新上榜，七日热门等同理。 此次主要为了学习python中对mongodb的操作，顺便巩固requests与BeautifulSoup。 点击，得到URL https://www.jianshu.com/trending/monthly?utm_medium=inde
阅读全文
摘要：MongoDB和Redis都是NoSQL，采用结构型数据存储。二者在使用场景中，存在一定的区别，这也主要由于二者在内存映射的处理过程，持久化的处理方法不同。 MongoDB建议集群部署，更多的考虑到集群方案，Redis更偏重于进程顺序写入，虽然支持集群，也仅限于主-从模式。 比较指标 MongoDB
阅读全文
摘要：摘 要： Redis+MySQL+MongoDB技术架构实现了本项目中大数据存储和实时云计算的需求。使用MongoDB切片的水平动态添加，可在不中断平台业务系统的同时保障扩容后的查询速度和云计算效能；依据切片键索引分片，位于各切片独立进行计算，使大数据下的实时分析成为现实。对于高频访问的数据放在了R
阅读全文
摘要：最近呢，比较忙，公司在接入银联全渠道支付，博主接手的wap支付，发表一下博主在接入的时候遇到的坑和注意事项，方便大家学习接入，爬坑的路上更顺利一点~ 开发步骤 1. 以表单的方式组装要发送给银联全渠道系统的数据对象（包括IC卡交易信息域，VPC交易信息域，风控信息域等各域）。每个域填写方法可参考文档
阅读全文
摘要：银联支付： ChinaPay的会员商户接入支付平台，以方便商户开展网上支付交易。 持卡人从商户网站中生成订单信息，通过公共支付交易平台中的支付网关子系统进行支付的过程，其交易流程包括订单确认、支付处理、支付完成三个部分，具体流程说明如下： 【流程一】订单确认 1. 持卡人浏览商户网站，选择支付项目，
阅读全文
摘要：银联对接开发主要包含测试环境以及生产环境两部分。 其中程序开发部分测试以及生产是相同的。 不同的是，测试环境与生产环境请求支付的Url地址，以及分别使用的证书不同。 一、配置部分 1，测试环境证书获取 银联测试平台地址： https://open.unionpay.com/ajweb/account
阅读全文
摘要：一、网关支付这是在线支付的最普遍形式。大致支付过程：第三方支付公司作为代理（网关），接入一堆银行。用户在网关页面（可以在商户端，也可以第三方支付平台端）选择银行，页面跳转到第三方支付平台，然后重定向到对应的银行，用户在银行电子银行官网，采用网银（个人网银或企业网银）完成支付。网关支付分为：B2C、B
阅读全文
摘要：支付基本上是很多产品都必须的一个模块，大家最熟悉的应该就是微信和支付宝支付了，不过更多的可能还是停留在直接sdk的调用上，甚至和业务系统高度耦合，网上也存在各种解决方案，但大多形式各异，东拼西凑而成。所以这里我介绍下OSS.PayCenter开源跨平台支付组件 及其框架设计。并对常用支付模式进行一个
阅读全文
摘要：目录 什么是分布式系统 分布式系统挑战 分布式系统特性与衡量标准 组件、理论、协议 用一个请求串起来 一个简化的架构图 概念与实现 总结 references 分布式系统挑战 分布式系统特性与衡量标准 用一个请求串起来 一个简化的架构图 概念与实现 正文 虽然本人在前面也写过好几篇分布式系统相关的文
阅读全文
摘要：如果是vs中前面绿色的点的话你试试 ctrl + R 然后 ctrl + W 试试看能不能去掉
阅读全文
摘要：2、选中启动项目-右键属性-生成，取消勾选“优化代码” 3、选中启动项目-右键属性-Web，勾选“ASP.NET”和“启用编辑并继续” 4、工具栏-调试-选项-常规，取消勾选“启用仅我的代码”，取消勾选“要求源文件与原始版本完全匹配”，勾选“启用编辑并继续”和“在调试时显示运行以单击按钮” 经过以上
阅读全文
摘要：一 什么是多线程 1、 什么是进程？一个 exe 运行一次就会产生一个进程，一个 exe 的多个进程之 间数据互相隔离。 2、 一个进程里至少有一个线程：主线程。我们平时写的控制台程序默认就是单线程的，代 码从上往下执行，一行执行完了再执行下一行； 3、 什么是多线程：一个人两件事情同时做效率高。同
阅读全文
摘要：优化 .NET的性能 1）避免使用ArrayList。 因为任何对象添加到ArrayList都要封箱为System.Object类型，从ArrayList取出数据时，要拆箱回实际的类型。建议使用自定义的集合类型代替ArrayList。.net 2.0提供了一个新的类型，叫泛型，这是一个强类型，使用泛
阅读全文
摘要：最近新接了一个需要调用第三方WebService的项目，看到这个第三方WebService被调用的时候，需要授权用户名和密码，于是自己也想对WebService的安全授权这个方面进行了一下研究，以前调用的WebService大部分都是局域网内部调用，几乎没有什么权限需要增加的，今天借此机会，深入研究
阅读全文
摘要：# -*- coding: utf-8 -*- #解决编码问题import urllibimport urllib2import reimport osimport timepage = 1url = 'http://www.qiushibaike.com/text/page/4/?s=497019
阅读全文
摘要：昨天晚上无聊时，想着练习一下Python所以写了一个小爬虫获取小刀娱乐网里的更新数据 [python] view plain copy #!/usr/bin/python # coding: utf-8 import urllib.request import re #定义一个获取网页源码的子程序
阅读全文
摘要：存储使用mysql，增量更新东方头条全站新闻的标题 新闻简介 发布时间 新闻的每一页的内容 以及新闻内的所有图片。项目文件结构。 这是run.py的内容 这是settings.py 这是pipelines.py,里面有建表文件。里面有个mysql检查url是否存在的语句，其实是多余的。因为url已经
阅读全文
摘要：一般我们写好scrapy爬虫，如果需要启动的话，需要进入scrapy项目的根目录，然后运行以下命令： 这样我们就可以在终端查看到爬虫信息了。但爬虫运行状态还需要给上级领导看，或者自己有空的时候就看看，总不可能想看的时候就登录服务器。 下面就给大家介绍scrapy官方推荐的部署爬虫项目的方法。 需要安
阅读全文
摘要：一.基本原理： Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码，将scra
阅读全文
摘要：Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。 而Scrapy-Redis则是一个基于Redis的S
阅读全文
摘要：一 scrapy-redis实现分布式爬取分析 所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository（链接：https://github.co
阅读全文
摘要：一、scrapy-redis（0.6）依赖的环境 Scrapy >= 1.0.0 #终于过了1版本，这个太重要了，总算坑小了点，感谢那些为了解决各种scrapy与scrapy-redis不兼容做出了贡献的开发者和博主。redis-py >= 2.10.0redis server >= 2.8.0 0
阅读全文
摘要：scrapy是python里面一个非常完善的爬虫框架，实现了非常多的功能，比如内存检测，对象引用查看，命令行，shell终端，还有各种中间件和扩展等，相信开发过scrapy的朋友都会觉得这个框架非常的强大。但是它有一个致命的缺点，不支持分布式。所以本文介绍的是scrapy_redis，继承了scra
阅读全文
摘要：前言 scrapy是python界出名的一个爬虫框架。Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 虽然scrapy能做的事情很多，但是要做到大规模的分布式应用则捉襟见肘。有能人改变了scrapy的队列调度，将
阅读全文
摘要：安装scrapy不再赘述， 在控制台中输入scrapy startproject tencent 创建爬虫项目名字为 tencent 接着cd tencent 用pycharm打开tencent项目 构建item文件 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
阅读全文
