随笔分类 -  数据库

分析Ajax请求并抓取今日头条街拍美图图集(进程池、MongoDB、二进制流文件、正则、requests)
摘要：流程如下： #1 配置好MongoDB的依赖库 #2 模拟搜索街拍的请求信息 #3 通过请求返回的json返回的url地址再次爬取 #4 爬取新的url地址，并爬取相关的图片地址 #5 获取url地址，并将爬取数据写至MongoDB，且通过二进制流下载下来，若文件相同，则通过md5判断 1、相关配置 阅读全文
posted @ 2017-12-03 00:31 来呀快活吧 阅读(645) 评论(0) 推荐(0)
mongodb的安装和使用
摘要：1、下载MongoDB 地址:【https://www.mongodb.com/download-center?jmp=nav#atlas】好像需要注册，可以从下面下载 【http://dl.mongodb.org/dl/win32/x86_64】 2、安装MongoDB 3、在安装路径下创建数据库 阅读全文
posted @ 2017-12-01 22:03 来呀快活吧 阅读(232) 评论(0) 推荐(0)
python bs4结合数据库用法
摘要：# -*- coding:utf-8 -*- from urllib.request import urlopen from bs4 import BeautifulSoup as bs import re from pymysql import cursors import pymysql #请求URL并把把结果用UTF-8编码 resp=urlopen('https://en.wikip... 阅读全文
posted @ 2017-10-31 21:12 来呀快活吧 阅读(500) 评论(0) 推荐(0)
jmeter造数据
摘要：1、第一步，多线程： 2、配置JDBC 3、命令： 阅读全文
posted @ 2017-10-15 17:27 来呀快活吧 阅读(743) 评论(0) 推荐(0)
Python连接数据库
摘要：#coding=utf-8 import csv import pymysql.cursors #建立数据库连接，注意中文编码方式utf8 conn=pymysql.connect( host='localhost', port=13306, user='root', password='root', db='test', charset='u... 阅读全文
posted @ 2017-10-11 18:11 来呀快活吧 阅读(264) 评论(0) 推荐(0)
JDBC操作数据库，比如修改电商数据库中的分类的id，让各商品随机
摘要：1 package CRM; 2 3 import java.sql.Connection; 4 import java.sql.DriverManager; 5 import java.sql.ResultSet; 6 import java.sql.SQLException; 7 import java.sql.Statement; 8 9 10 11 public... 阅读全文
posted @ 2017-08-02 22:06 来呀快活吧 阅读(389) 评论(0) 推荐(0)

cs