nick560

2018年6月5日

摘要：网络爬虫道德的话：客户授权or爬取公开数据、尽量放慢你的速度、尽量遵循robots、不要公开你的爬虫源码、不要分享你的爬虫数据。 2017.06.01号《中华人民共和国网络安全法》开始实施，这个安全法在爬虫的这一块宝地上掀一阵大风波，到处都在转这篇试图解读该规定的文章：「你的爬虫会送老板进监狱吗？阅读全文

posted @ 2018-06-05 12:23 nick560 阅读(4019) 评论(0) 推荐(0) 编辑

scrapy下载大文件

摘要： 1、spider.py # -*- coding: utf-8 -*- import scrapy from ..items import BigfileItem class ChoutiSpider(scrapy.Spider): name = "chouti" allowed_domains = 阅读全文

posted @ 2018-06-05 11:28 nick560 阅读(465) 评论(0) 推荐(0) 编辑

2018年6月4日

Scrapy 和 scrapy-redis的区别

摘要： Scrapy 和 scrapy-redis的区别 Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 pip install scrapy-redis Scrapy-redis提供阅读全文

posted @ 2018-06-04 20:53 nick560 阅读(1492) 评论(0) 推荐(0) 编辑

2018年6月1日

平安简单分析

摘要： 1、爬虫数据收集 import os import requests import pandas as pd headers={'User-Agent':'Mozilla 5.0'} def get_data_and_save(year_month): ''' 获取中国平安规模保费数据并保存为csv 阅读全文

posted @ 2018-06-01 10:40 nick560 阅读(389) 评论(2) 推荐(1) 编辑

word_python

摘要： #########################docx文件############################ ''' .docx文件有很多结构,有3种不同的类型来表示在最高一层,Document对象表示整个文档 Document对象包含一个Paragraph对象的列表,表示文档中的段落, 阅读全文

posted @ 2018-06-01 10:39 nick560 阅读(177) 评论(0) 推荐(0) 编辑

requests模块

摘要： #如果URL中传参数查询关键词是中文或者有其他特殊符号，则必须进行url编码 urlencode 旧写法一介绍二基于GET请求三基于POST请求四响应Response 五高级用法一介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，reque 阅读全文

posted @ 2018-06-01 10:39 nick560 阅读(158) 评论(0) 推荐(0) 编辑

Os Sys

摘要：这个模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话，这个模块是尤为重要的。即它允许一个程序在编写后不需要任何改动，也不会发生任何问题，就可以在Linux和Windows下运行。一个例子就是使用os.sep可以取代操作系统特定的路径分割符。下面列出了一些在os模块中比较有用的部分。阅读全文

posted @ 2018-06-01 10:39 nick560 阅读(139) 评论(0) 推荐(0) 编辑

代理池&cookie池

该文被密码保护。阅读全文

posted @ 2018-06-01 10:39 nick560 阅读(8) 评论(0) 推荐(0) 编辑

2018年5月31日

python评分卡

摘要： 1. 项目背景介绍 1.1 信用风险和评分卡模型的基本概念信用风险指的是交易对手未能履行约定合同中的义务造成经济损失的风险，即受信人不能履行还本付息的责任而使授信人的预期收益与实际收益发生偏离的可能性，它是金融风险的主要类型。借贷场景中的评分卡是一种以分数的形式来衡量风险几率的一种手段，也是对未阅读全文

posted @ 2018-05-31 17:27 nick560 阅读(2308) 评论(0) 推荐(0) 编辑

评分卡

摘要：由逻辑回归的基本原理，我们将客户违约的概率表示为p，则正常的概率为1-p。因此，可以得到：此时，客户违约的概率p可表示为：评分卡设定的分值刻度可以通过将分值表示为比率对数的线性表达式来定义，即可表示为下式：其中，A和B是常数。式中的负号可以使得违约概率越低，得分越高。通常情况下，这是分值的理想阅读全文

posted @ 2018-05-31 17:07 nick560 阅读(527) 评论(0) 推荐(0) 编辑

公告