07 2017 档案

转每天一个linux命令(2):cd命令
摘要:Linux cd 命令可以说是Linux中最基本的命令语句,其他的命令语句要进行操作,都是建立在使用 cd 命令上的。 所以,学习Linux 常用命令,首先就要学好 cd 命令的使用方法技巧。 1. 命令格式: cd [目录名] 2. 命令功能: 切换当前目录至dirName 3. 常用范例 3.1 阅读全文

posted @ 2017-07-31 15:33 多一点 阅读(266) 评论(0) 推荐(0) 编辑

转python爬虫:BeautifulSoup 使用select方法详解
摘要:1 html = """ 2 <html><head><title>The Dormouse's story</title></head> 3 <body> 4 <p class="title" name="dromouse"><b>The Dormouse's story</b></p> 5 <p 阅读全文

posted @ 2017-07-30 00:24 多一点 阅读(4384) 评论(0) 推荐(0) 编辑

SQL重复记录查询(转载)
摘要:(一) 1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId 阅读全文

posted @ 2017-07-29 20:34 多一点 阅读(216) 评论(0) 推荐(0) 编辑

转:每天一个linux命令(1):ls命令
摘要:ls命令是linux下最常用的命令。ls命令就是list的缩写缺省下ls用来打印出当前目录的清单如果ls指定其他目录那么就会显示指定目录里的文件及文件夹清单。 通过ls 命令不仅可以查看linux文件夹包含的文件而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。ls 命令 阅读全文

posted @ 2017-07-29 20:26 多一点 阅读(231) 评论(0) 推荐(0) 编辑

Python 装饰器
摘要:装饰器本质上是一个Python函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外功能,装饰器的返回值也是一个函数对象. 经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计,有了装饰器,我们就可以抽离出大量与函数功能本身无关的雷 阅读全文

posted @ 2017-07-29 11:28 多一点 阅读(233) 评论(0) 推荐(0) 编辑

Python | 多种编码文件(中文)乱码问题解决
摘要:1 可以知道的是,文本文件的默认编码并不是utf8。 我们打开一个文本文件,并点击另存为 2 我们在新窗口的编码一栏看到默认编码是ANSI。先不管这个编码是什么编码,但是通过下拉列表我们知道,这种编码不是utf8。 END 编码测试 1 对于Python里面的中文显示,我们常常使用utf8和gbk的 阅读全文

posted @ 2017-07-28 21:52 多一点 阅读(2714) 评论(1) 推荐(1) 编辑

将指定目录中的txt文件转化成excel文件
摘要:#!/usr/bin/env python#coding:utf-8import reimport osimport globimport xlwtimport sysdir=r"F:\test_py\tt" ##目的文件夹if os.path.exists(dir): print ("The di 阅读全文

posted @ 2017-07-28 20:57 多一点 阅读(1630) 评论(0) 推荐(0) 编辑

python 读取文件时报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multibyte sequence
摘要:python读写txt文件转化成excel文件 python读取文件时提示"UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multibyte sequence" 解决办法1. FILE_ 阅读全文

posted @ 2017-07-28 20:48 多一点 阅读(7431) 评论(0) 推荐(0) 编辑

having 子句
摘要:HAVING 子句 在 SQL 中增加 HAVING 子句原因是,WHERE 关键字无法与合计函数一起使用。 SQL HAVING 语法 SQL HAVING 实例 我们拥有下面这个 "Orders" 表: O_IdOrderDateOrderPriceCustomer 1 2008/12/29 1 阅读全文

posted @ 2017-07-28 00:37 多一点 阅读(442) 评论(0) 推荐(0) 编辑

(转)新手写爬虫v2.5(使用代理的异步爬虫)
摘要:开始 开篇:爬代理ip v2.0(未完待续),实现了获取代理ips,并把这些代理持久化(存在本地)。同时使用的是tornado的HTTPClient的库爬取内容。 中篇:开篇主要是获取代理ip;中篇打算使用代理ip,同时优化代码,并且异步爬取内容。所以接下来,就是写一个:异步,使用代理的爬虫。定义为 阅读全文

posted @ 2017-07-26 13:20 多一点 阅读(501) 评论(0) 推荐(0) 编辑

python异步爬虫
摘要:本文主要包括以下内容 线程池实现并发爬虫 回调方法实现异步爬虫 协程技术的介绍 一个基于协程的异步编程模型 协程实现异步爬虫 线程池、回调、协程 我们希望通过并发执行来加快爬虫抓取页面的速度。一般的实现方式有三种: 线程池方式:开一个线程池,每当爬虫发现一个新链接,就将链接放入任务队列中,线程池中的 阅读全文

posted @ 2017-07-26 13:09 多一点 阅读(4284) 评论(0) 推荐(0) 编辑

反反爬虫转载
摘要:作者:bsdr链接:https://zhuanlan.zhihu.com/p/20520370来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 0x01 常见的反爬虫 这几天在爬一个网站,网站做了很多反爬虫工作,爬起来有些艰难,花了一些时间才绕过反爬虫。在这里把我写爬虫 阅读全文

posted @ 2017-07-21 16:03 多一点 阅读(255) 评论(0) 推荐(0) 编辑

爬虫下载百度贴吧图片
摘要:本次爬取的贴吧是百度的美女吧,给广大男同胞们一些激励 在爬取之前需要在浏览器先登录百度贴吧的帐号,各位也可以在代码中使用post提交或者加入cookie 爬行地址:http://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=0 #-*- co 阅读全文

posted @ 2017-07-21 14:31 多一点 阅读(225) 评论(0) 推荐(0) 编辑

Python之Scrapy爬虫框架安装及简单使用
摘要:题记:早已听闻python爬虫框架的大名。近些天学习了下其中的Scrapy爬虫框架,将自己理解的跟大家分享。有表述不当之处,望大神们斧正。 一、初窥Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 其 阅读全文

posted @ 2017-07-21 14:13 多一点 阅读(434) 评论(1) 推荐(0) 编辑

python增量爬虫pyspider
摘要:1.为了能够将爬取到的数据存入本地数据库,现在本地创建一个MySQL数据库example,然后 在数据库中建立一张表格test,示例如下: 2.如果使用开源框架pyspider来进行爬虫的话,默认情况下,会把爬取到的结果存放到result.db这个sqilite数据库中,但是为了方便操作,我们将结果 阅读全文

posted @ 2017-07-21 13:31 多一点 阅读(1183) 评论(0) 推荐(0) 编辑

python进程池:multiprocessing.pool
摘要:阅读目录 例1:使用进程池 例2:使用进程池(阻塞) 例3:使用进程池,并关注结果 例4:使用多个进程池 在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。当被操作对象数目不大时,可以直接利用multiprocessing中的Proc 阅读全文

posted @ 2017-07-21 11:15 多一点 阅读(278) 评论(0) 推荐(0) 编辑

1. 装饰器入门
摘要:原文链接: http://www.cnblogs.com/huxi/archive/2011/03/01/1967600.html 1.1. 需求是怎么来的? 装饰器的定义很是抽象,我们来看一个小例子。 1 2 3 4 def foo(): print 'in foo()' foo() 1 2 3 阅读全文

posted @ 2017-07-21 10:16 多一点 阅读(205) 评论(0) 推荐(0) 编辑

python绘图:matplotlib和pandas的应用
摘要:在进行数据分析时,绘图是必不可少的模式探索方式。用Python进行数据分析时,matplotlib和pandas是最常用到的两个库。1、matplotlib库的应用准备工作如下:打开ipython,输入命令分别导入numpy和matplotlib.pylab库。 [python] view plai 阅读全文

posted @ 2017-07-20 13:40 多一点 阅读(4943) 评论(1) 推荐(2) 编辑

高效使用 Python 可视化工具 Matplotlib
摘要:Matplotlib是Python中最常用的可视化工具之一,可以非常方便地创建海量类型的2D图表和一些基本的3D图表。本文主要介绍了在学习Matplotlib时面临的一些挑战,为什么要使用Matplotlib,并推荐了一个学习使用Matplotlib的步骤。 简介 对于新手来说,进入Python可视 阅读全文

posted @ 2017-07-20 11:48 多一点 阅读(687) 评论(0) 推荐(1) 编辑

python制作爬虫爬取京东商品评论教程
摘要:作者:蓝鲸 类型:转载 作者:蓝鲸 类型:转载 本文是继前2篇Python爬虫系列文章的后续篇,给大家介绍的是如何使用Python爬取京东商品评论信息的方法,并根据数据绘制成各种统计图表,非常的细致,有需要的小伙伴可以参考下 本文是继前2篇Python爬虫系列文章的后续篇,给大家介绍的是如何使用Py 阅读全文

posted @ 2017-07-18 23:34 多一点 阅读(6665) 评论(0) 推荐(0) 编辑

python 爬取天猫美的评论数据
摘要:笔者最近迷上了数据挖掘和机器学习,要做数据分析首先得有数据才行。对于我等平民来说,最廉价的获取数据的方法,应该是用爬虫在网络上爬取数据了。本文记录一下笔者爬取天猫某商品的全过程,淘宝上面的店铺也是类似的做法,不赘述。主要是分析页面以及用Python实现简单方便的抓取。 笔者使用的工具如下 Pytho 阅读全文

posted @ 2017-07-18 23:12 多一点 阅读(3435) 评论(0) 推荐(0) 编辑

mysql view
摘要:定义:在 SQL 中,视图是基于 SQL 语句的结果集的可视化的表。 1、视图是一个虚拟存在的表,视图可以包含表的全部或者部分记录,也可以由一个表或者多个表来创建。使用视图就可以不用看到数据表中的所有数据,而是只想得到所需的数据。当我们创建一个视图的时候,实际上是在数据库里执行了SELECT语句,S 阅读全文

posted @ 2017-07-09 20:50 多一点 阅读(429) 评论(0) 推荐(0) 编辑

mysql alter使用
摘要:修改表名: ALTER TABLE Table_name_A RENAME TO Table_name_B; //增加主键 alter table tabelname add new_field_id int(5) unsigned default 0 not null auto_increment 阅读全文

posted @ 2017-07-08 23:44 多一点 阅读(665) 评论(0) 推荐(0) 编辑

sql default 约束
摘要:DEFAULT 约束用于向列中插入默认值。 如果没有规定其他的值,那么会将默认值添加到所有的新记录。 如果没有规定其他的值,那么会将默认值添加到所有的新记录。 SQL DEFAULT Constraint on CREATE TABLE 下面的 SQL 在 "Persons" 表创建时为 "City 阅读全文

posted @ 2017-07-08 22:40 多一点 阅读(321) 评论(0) 推荐(0) 编辑

sql primary key 约束
摘要:PRIMARY KEY 约束唯一标识数据库表中的每条记录。 PRIMARY KEY 约束唯一标识数据库表中的每条记录。 主键必须包含唯一的值。 主键列不能包含 NULL 值。 每个表都应该有一个主键,并且每个表只能有一个主键。 主键必须包含唯一的值。 主键列不能包含 NULL 值。 每个表都应该有一 阅读全文

posted @ 2017-07-08 22:37 多一点 阅读(524) 评论(0) 推荐(0) 编辑

sql unique约束详解
摘要:UNIQUE 约束唯一标识数据库表中的每条记录。 UNIQUE 和 PRIMARY KEY 约束均为列或列集合提供了唯一性的保证。 PRIMARY KEY 拥有自动定义的 UNIQUE 约束。 请注意,每个表可以有多个 UNIQUE 约束,但是每个表只能有一个 PRIMARY KEY 约束。 SQL 阅读全文

posted @ 2017-07-08 21:26 多一点 阅读(11773) 评论(0) 推荐(1) 编辑

sql约束
摘要:MySQL中约束保存在information_schema数据库的table_constraints中,可以通过该表查询约束信息; 约束主要完成对数据的检验,保证数据库数据的完整性;如果有相互依赖数据,保证该数据不被删除。 常用五类约束:not null:非空约束,指定某列不为空 unique: 唯 阅读全文

posted @ 2017-07-08 19:50 多一点 阅读(244) 评论(0) 推荐(0) 编辑

Mysql Join语法解析与性能分析
摘要:一.Join语法概述 join 用于多表中字段之间的联系,语法如下: ... FROM table1 INNER|LEFT|RIGHT JOIN table2 ON conditiona table1:左表;table2:右表。 JOIN 按照功能大致分为如下三类: INNER JOIN(内连接,或 阅读全文

posted @ 2017-07-08 19:43 多一点 阅读(661) 评论(0) 推荐(0) 编辑

mysql排序
摘要:MySQL里desc和asc的意思 desc是descend 降序意思 asc 是ascend 升序意思 sql = "select 表内容名 from 数据库表名 Putout=true order by 读取的排序表名 asc" 例如sql = "select * from user where 阅读全文

posted @ 2017-07-08 19:04 多一点 阅读(231) 评论(0) 推荐(0) 编辑

MySQL命令行导出数据库
摘要:MySQL命令行导出数据库: 1,进入MySQL目录下的bin文件夹:cd MySQL中到bin文件夹的目录如我输入的命令行:cd C:\Program Files\MySQL\MySQL Server 4.1\bin(或者直接将windows的环境变量path中添加该目录) 2,导出数据库:mys 阅读全文

posted @ 2017-07-08 15:13 多一点 阅读(2079) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示