08 2020 档案
摘要：Scrapyrt：为Scrapy提供了一个调度的HTTP接口，有了它就不需要再执行Scrapy命令，而是通过请求一个HTTP接口即可调度Scrapy任务 GitHub：https://github.com/scrapinghub/scrapyrt 官方文档：http://scrapyrt.readt
阅读全文
摘要：新建项目创建爬虫 1 scrapy startproject Scrapy_crawl # 新建Scrapy项目 2 3 scrapy genspider -l # 查看全部模板 4 # Available templates: 5 # basic 6 # crawl 7 # csvfeed 8 #
阅读全文
摘要：CrawlSpider：Scrapy提供的一个通用Spider 官方文档链接：http://scrapy.readthedocs.io/en/latest/topics/spiders.html#crawlspider 在Spider里，使用数据结构Rule表示用来实现页面的提取的爬取规则；Rule
阅读全文
摘要：Spider Middleware：介于Scrapy的Spider处理机制的钩子框架 在Downloader生成的Response发送给Spider之前对Response进行处理 在Spider生成的Request发送给Schedule之前对Request进行处理 在Spider生成Item发送给I
阅读全文
摘要：Downloader Middleware：下载中间件，它处于Scrapy的Request和Response之间的处理模块 在Schedule调度出队列中的Request发送给Downloader下载之前，对Request进行修改 在下载后生成的Response发送给Spider之前，可以对其进行解
阅读全文
摘要：创建Scrapy项目 1 # https://github.com/My-Sun-Shine/Python/tree/master/Python3/Scrapy_Learn/Scrapy_A 2 scrapy startproject Scrapy_A 项目结构： scrapy.cfg：Scrapy
阅读全文
摘要：爬虫框架Scrapy：该框架依赖的库比较多，至少需要依赖库有Twisted、lxml、pyOpenSSL；而在不同平台环境又各不相同，所以在安装之前最好确保把一些基本库安装好 官方网站：https://scrapy.org 官方文档：https://docs.scrapy.org PyPi：http
阅读全文
摘要：Robots协议：也被称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取，它通常是一个叫做 robots.txt 的文本文件，放在网站的根目录下； 当搜索爬虫访问一个站点时，它首先会检查
阅读全文
摘要：pyspider命令行 1 pyspider all # 启动pyspider 2 # pyspider [OPTIONS] COMMAND [ARGS] 3 # 可以查看https://www.cntofu.com/book/156/command.md 4 """ 5 TEXT是需要指定的文本字
阅读全文
摘要：pyspider的架构主要分为Scheduler调度器、Fetcher抓取器、Processer处理器三部分，整个抓取过程都会受到Monitor监控器的监控，抓取的结果被Result Worker结果处理器处理 点击Create按钮创建新项目 1 #!/usr/bin/env python 2 #
阅读全文
摘要：PySpider网络爬虫框架：带有强大的 WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器，同时它支持多种数据库后端、多种消息队列，另外它还支持 JavaScript 渲染页面的爬取 官方文档：http://docs.pyspider.org/ PyPi：https://pypi.pyt
阅读全文
摘要：百度字体编辑器：http://fontstore.baidu.com/static/editor/index.html 使用一种自定义的字体格式，新建ttf文件，通过https://cloudconvert.com/ttf-to-svg网站把ttf文件转换为svg文件，然后把svg文件上传http:
阅读全文
摘要：爬取网站：http://www.dianping.com/xian/ch0 反爬措施：对于某些数字和中文不是直接使用文本显示，如下图，对于"189条点评"中的8和9两个数字，"人均￥283"中的2、8和3三个数字，对于 "灞临路营背后西北200米"中的五个中文，都是经过一层字体加密 1 <!--HT
阅读全文
摘要：环境要求：windows 10，SonarQube 6.6，JDK 1.8，MySQL 5.7，sonar-scanner 3.3 SonarQube下载页面：https://www.sonarqube.org/downloads/ SonarQube中文文档：https://legacy.gitb
阅读全文
摘要：对于Windows10系统来说，启动docker之后，右键点击桌面右下角中的docker图标，选择SettingDocker官方中国区：https://registry.docker-cn.com 网易：http://hub-mirror.c.163.com 中国科技大学：https://docker.mirrors.ustc.edu.cn 阿里云：https://pee6w651.mirror....
阅读全文
摘要：win7、win8 系统 win7、win8 等需要利用 docker toolbox 来安装，国内可以使用阿里云的镜像来下载，下载地址：http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ docker toolbox 是
阅读全文
摘要：安装Splash：执行完下面命令之后，在浏览器中输入http://localhost:8050/打开Splash页面 1 docker pull scrapinghub/splash # 拉取镜像splash 2 docker run -p 8050:8050 -p 5023:5023 scrapi
阅读全文
摘要：开启Hyper-V：控制面板——>程序和功能——>启动或关闭Windows功能——>开启Hyper-V 安装Toolbox 下载地址：https://www.docker.com/get-started；进入下载地址，依次点击下图红框，下载得到Docker for Windows Installer
阅读全文
摘要：新建文本文件，复制一下内容 1 pushd "%~dp0" 2 3 dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt 4 5 for /f %%i in ('findstr /i . hyper-v.txt 2^>nu
阅读全文
摘要：ASP.NET MVC框架中的路由用途： 匹配传入的请求(该请求不匹配服务器文件系统的文件)，并将这些请求映射到控制器操作上 构造传入的URL，用来响应控制器操作 URL重写：首先获取一个进入的URL请求然后把它重写成网站可以处理的另一个URL，例如通过浏览器进来的URL是“UserProfile.
阅读全文
摘要：ViewBag和ViewData的使用和区别 ViewData：是Key/Value字典类型，赋值方式用字典方式，通过key值读取对应的value，如ViewData["myName"]； ViewBag：是dynamic动态类型，使用时直接添加属性赋值即可ViewBag.myName； ViewD
阅读全文
摘要：this的用法 this关键字在类中使用，代表当前类的实例对象，但是它只能被用于实例构造函数、实例方法、属性以及索引器中； 当局部变量名称与类中字段重名时，用来引用类的字段； 可以当做当前对象实例作为参数传递到其他方法中； 声明索引器； 在一个类中有多个构造函数，我们可以把一部分公共代码提取出来作为
阅读全文
摘要：public：最高访问级别，访问不受限制； protected：保护级别，只能自身以及派生类可以访问； internal：内部访问级别，只有是在同一程序集中才能访问； protected internal：内部保护级别，访问仅限于当前程序集或自身以及派生类访问； private：私有级别，最低访问级
阅读全文
摘要：忽略转义字符 让字符串跨行 在标识符中的用法中C#是不允许关键字作为标识符(类名、变量名、方法名、表空间名等)使用的，但如果加上@之后就可以了 1 public void GetVal(){ 2 string s1 = "D:\\文本文件\\text.txt"; 3 string s2 = @"D:
阅读全文
摘要：new 运算符：用于创建对象和调用构造函数，返回的是对象的内存地址，存放在线程栈上； new 修饰符：在用作修饰符时，new 关键字可以显式隐藏从基类继承的成员； new 约束：用于在泛型声明中约束可能用作类型参数的参数的类型； 1 class FClass{ 2 public string fie
阅读全文
摘要：新增：当向集合插入文档时，如果没有给文档指定_id属性(可以自行指定)，则数据库会自动为文档添加一个_id，该属性用来作为文档的唯一标识，可以使用ObjectId()生成 一次性插入大量数据：可以先把所有数据放在一个新数组中，然后一次性插入数组 1 /* <collection>集合名，doc是需要
阅读全文
摘要：db.<collection>.group(document)：首先根据cond查询条件筛选符合条件的数据，然后按照key分组属性把数据分成不同组，每一组都经过initial进行变量初始化，在经过reduce函数进行计算，其中curr参数代表该组的一个文档，result参数在最后的时候返回，统计完该
阅读全文
摘要：MongoDB 索引 注意在 3.0.0 版本前创建索引方法为 db.collection.ensureIndex()，之后的版本使用了 db.collection.createIndex() 方法，ensureIndex() 还能用，但只是 createIndex() 的别名 提高查询速度，降低写
阅读全文
摘要：下面四个命令都有的参数 1 # -h,--host ：代表远程连接的数据库地址，默认连接本地Mongo数据库 2 # --port：代表远程连接的数据库的端口，默认连接的远程端口27017 3 # -u,--username：代表连接远程数据库的账号，如果设置数据库的认证，需要指定用户账号 4 #
阅读全文
摘要：mongostat：是mongodb自带的状态检测工具，在命令行下使用，它会间隔固定时间获取mongodb的当前运行状态，并输出 1 mongostat --help # 查看帮助 2 -v --verbose # 详细的日志输出，包含更多的信息，可以添加多次，比如-vvv 3 -h --host
阅读全文
摘要：GridFS将大型文件分成块，这些块保存到MongoDB数据库的集合fs.chunks中，而有关文件的元数据存储到集合fs.files中；当在GridFS中查询文档是，将首先从集合fs.files中读取元数据，再从集合fs.chunks中读取并返回块 GridFS的优点：无需将整个文件读取到内存中就
阅读全文
摘要：游标：游标不是查询结果，而是查询的返回资源或者接口，通过这个接口，可以逐条读取 1 var myCursor = db.col.find() // 游标声明 2 myCursor.count() // 返回Curser对象表示的文档数量，是经过find函数查询的 3 myCursor.explain
阅读全文
摘要：MongoDB的用户管理 在MongoDB中，内置数据库admin，涉及到服务器配置层面的操作，需要切换到admin数据库，即use admin >>> 相当于进入超级用户管理模式 mongo的用户是以数据库为单位来建立的，每个数据库都有自己的管理员 在设置用户时，需要先在admin数据库下建立管理
阅读全文
摘要：MongoDB shell 原生方法和构造函数 1 Date() # 创建一个Date对象 2 _isWindows() # 判断是否为Windows操作系统 3 version() # 返回当前MongoDB shell实例的版本 4 hostname() # 返回当前运行MongoDB shel
阅读全文
摘要：主页面工具栏介绍New MongoDB Connection：打开连接数据库页面Shell：打开命令行操作页面打开连接数据库页面命令行操作页面F5：执行全部命令F6：执行某一行命令，光标放在那一行上面F9：执行选择的命令
阅读全文
摘要：MongoDB 复制(副本集) 多台机器共同维护相同的数据副本，提高服务器的可用性，并可以保证数据的安全性 mongodb的复制至少需要两个节点：其中一个是主节点Primary，负责处理客户端请求；其余的都是从节点Secondary，负责复制主节点的数据 副本集：有N个节点的集群，任何节点都可以作为
阅读全文
摘要：MongoDB：基于NoSQL文档存储模型，文档是以二进制JSON(BSON)对象的方式存储 MongoDB优点：面向文档、高性能、高可用性(复制集)、高可拓展性(分布式)、对SQL注入攻击免疫 文档之间的关系：1：1、1：N、N：1、N：N 传统关系型数据库和MongoDB非关系型文档数据库的比较
阅读全文
摘要：MongoDB：是由 C++ 语言编写的非关系型数据库，是一个基于分布式文档存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档，数组及文档数组，非常灵活 从MongoDB 4.0开始，您可以在安装期间配置和启动MongoDB作为Windows服务，并在成功安装后启动Mo
阅读全文
摘要：官方网站：https://www.mysql.com/cn 下载网站：https://dev.mysql.com/downloads/installer/ 中文教程：http://www.runoob.com/mysql/mysql-tutorial.html 下载之后的是MSI文件包mysql-i
阅读全文
摘要：异常筛选器：在App_Start里面新建一个类WebApiExceptionFilterAttribute.cs(这实际上是定义了一个新的特性)，它继承于ExceptionFilterAttribute类，但是我们需要重写里面的OnException()方法 在接口级别上使用新定义的异常类，同时还需
阅读全文
摘要：void无返回值的：在请求该方法时，返回值为空，状态吗为204 1 [HttpPost] 2 public void SaveOrder(ORDER name){ 3 //处理业务逻辑 4 } 返回值为IHttpActionResult类型 1 private readonly ORDER oRDE
阅读全文
摘要：get请求(数据都会包括在url地址上) 基础类型参数的get请求 1 //web api示例 2 [HttpGet] 3 public string GetAllChargingData(int id,string name){ 4 return "Charging" + id + " " + n
阅读全文
摘要：Web API项目的路由机制是在App_Start文件下自动生成一个WebApiConfig.cs文件 1 public static class WebApiConfig 2 { 3 public static void Register(HttpConfiguration config){ 4
阅读全文
摘要：同源策略：出于安全考虑，浏览器会限制脚本中发起的跨站请求，浏览器要求JavaScript或Cookie只能访问同域下的内容 跨域问题：因为同源策略，所以我们不同项目之间的调用会被浏览器所阻止 解决原理：采用CORS(Cross-Origin Resource Sharing，跨域资源共享)，主要是通
阅读全文
摘要：首先登陆的时候验证用户名、密码，如果登陆成功，则将用户名、密码按照一定的规则生成加密的票据信息Ticket，将票据信息返回到前端，(Web API是默认不开启Session的，需要进配置) 1 [HttpGet] 2 public object Login(string strUser, strin
阅读全文
摘要：Web API本身是默认没有开启Session配置的 建立SessionRouteHandler.cs和SessionControllerRouteHandler.cs并覆写类HttpControllerHandler、IRequiresSessionState、HttpControllerRout
阅读全文
摘要：WebApiTestClient是一个开源组件，开源地址：https://github.com/yaohuang/WebApiTestClient WebApiTestClient组件的作用 将Web API的接口展示在浏览器中，可以通过http://localhost:61218/help这样的地
阅读全文
摘要：问题1：安装Jenkins是Web页面出现该Jenkins实例似乎已经离线 解决方法1：修改hudson.model.UpdateCenter.xml文件 1 <?xml version='1.1' encoding='UTF-8'?> 2 <sites> 3 <site> 4 <id>defaul
阅读全文
摘要：配置安装Sonarqube 6.6，新建项目CS-project；配置安装sonar scanner 3.3；配置安装Jenkins 2.164.3，新建项目TestCI_DOTNET 进入Jenkins中系统管理中的插件管理，安装SonarQube插件 进入Jenkins中系统管理中的系统设置 进
阅读全文
摘要：GitHub设置与Jenkins搭建.NET .exe项目(使用GitHub)相同Jenkins中新建job的配置，对源码管理、构建触发器、构建环境、绑定的配置与Jenkins搭建.NET .exe项目(使用GitHub)相同Jenkins中新建job的构建配置；对于Web项目，一般都需要还原nuget包，编译生成，发布到文件夹系统对于发布web项目，首先在Visual Studio软件中需要配置...
阅读全文
摘要：进入Jenkins中的系统管理——>插件管理；安装GitHub Plugin和MSBuild Plugin插件 进入Jenkins中的系统管理——>系统设置——>添加GitHub服务器(GitHub token:5bae4daaeef4d8f0005d93a703ff0dd586986bb8) 进入
阅读全文
摘要：点击进入系统管理——>系统设置 设置Jenkins地址和管理员邮箱 配置系统管理员的邮件属性，点击高级配置系统管理员的邮件属性(如下图，其他设置可以默认) 配置邮件通知，点击高级 进入系统管理——>插件管理，安装邮件通知插件Email Ext Recipients Column Plugin和Ema
阅读全文
摘要：Jenkins官网地址：https://jenkins.io/index.html Jenkins之前需要安装Java环境(jdk、Tomcat)；对于Windows用户，下载之后，直接点击安装 如果是下载的war包，则可以通过其他方式安装： 执行命令行"java -jar jenkins.war"
阅读全文
