摘要: 下面是源代码,在调试代码的过程中,发现用mysql存储特别慢,最好用mongodb或者redis,后面将会推出协程和线程搭配爬取数据 alter table ftx modify column price varchar(100) character set utf8 not null #修改字段的 阅读全文
posted @ 2017-09-02 21:10 双鱼男-huangsh 阅读(404) 评论(0) 推荐(0) 编辑
摘要: mongdb是基于c++编写的非关系型的分布式存储数据库,下面介绍mongodb的启动方式: 1.如果你在上一次使用的时候是正常关闭的,就可以先双击bin目录下的mongod.exe使mongodb服务器端口被监听(默认端口是27017) 2.然后再双击mongo.exe出现mongodb的shel 阅读全文
posted @ 2017-08-13 13:59 双鱼男-huangsh 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 转载:http://www.itcast.cn/news/20160831/1848418827.shtml os与sys模块的官方解释如下: os: This module provides a portable way of using operating system dependent fu 阅读全文
posted @ 2017-08-09 14:14 双鱼男-huangsh 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 这是之前写的一个简单爬取妹纸图的爬虫,下面是源代码: 阅读全文
posted @ 2017-08-06 11:31 双鱼男-huangsh 阅读(335) 评论(0) 推荐(0) 编辑
摘要: 前言 glances 可以为 Unix 和 Linux 性能专家提供监视和分析性能数据的功能,其中包括: CPU 使用率 内存使用情况 内核统计信息和运行队列信息 磁盘 I/O 速度、传输和读/写比率 文件系统中的可用空间 磁盘适配器 网络 I/O 速度、传输和读/写比率 页面空间和页面速度 消耗资 阅读全文
posted @ 2017-08-06 11:27 双鱼男-huangsh 阅读(6218) 评论(0) 推荐(0) 编辑
摘要: 函数:string.join() Python中有join()和os.path.join()两个函数,具体作用如下: join(): 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串 os.path.join(): 将多个路径组合后返回 一、函数说明1、joi 阅读全文
posted @ 2017-08-06 10:33 双鱼男-huangsh 阅读(8612) 评论(0) 推荐(0) 编辑
摘要: python的exec、eval详解 exec exec语句用来执行储存在字符串或文件中的Python语句。例如,我们可以在运行时生成一个包含Python代码的字符串,然后使用exec语句执行这些语句。下面是一个简单的例子。 exec 'print "Hello World"' 输出:Hello W 阅读全文
posted @ 2017-07-10 22:48 双鱼男-huangsh 阅读(327) 评论(0) 推荐(0) 编辑
摘要: MONGODB无法启动的解决方法 遇到MongoDB突然无法启动,第一反应是删除mongod.lock。这个文件在MongoDB的数据库目录下,默认是/data/db。这是最常见的问题了,产生原因是MongoDB没有正常结束(比如被kill -9杀掉或是其他意外情况导致中断)。 还一些其他情况会导致 阅读全文
posted @ 2017-07-09 12:52 双鱼男-huangsh 阅读(1182) 评论(0) 推荐(0) 编辑
摘要: 1 # -*- coding: utf-8 -*- 2 #coding:utf8 3 import requests,time,unittest 4 from lxml import etree 5 import pymysql 6 url ='http://cuiqingcai.com/1052.html' 7 8 head = {"User-Agent":"Mozilla/... 阅读全文
posted @ 2017-07-01 17:59 双鱼男-huangsh 阅读(1766) 评论(0) 推荐(0) 编辑
摘要: 下面源代码: 阅读全文
posted @ 2017-07-01 17:58 双鱼男-huangsh 阅读(586) 评论(0) 推荐(0) 编辑