摘要: 安装jupyter后,并在浏览器成功运行后 1.若想要调用刚写的.ipynb,将其作为模块导入,只需将其转换为.py文件即可,上传到当前目录 2.已经转换到当前目录,但调用还是显示importerror,可能就是python解释器搜索不到当前文件 在任意一个.ipynb文件中输入&pwd 将py文件 阅读全文
posted @ 2021-04-27 20:26 晨曦yd 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 我所安装的是centos7.4,原有python版本是2.7.5 先去官网或镜像下载python3.6.2或者其余所需版本 首先,解决基础依赖 yum install -y openssl-devel openssl-static zlib-devel lzma tk-devel xz-devel 阅读全文
posted @ 2021-04-27 20:15 晨曦yd 阅读(72) 评论(0) 推荐(0) 编辑
摘要: from urllib import request import requests import time import pymysql from selenium import webdriver from selenium.common.exceptions import TimeoutExc 阅读全文
posted @ 2019-10-18 23:08 晨曦yd 阅读(473) 评论(0) 推荐(0) 编辑
摘要: items.py import scrapy class InsistItem(scrapy.Item): positionname=scrapy.Field() type=scrapy.Field() place=scrapy.Field() mian=scrapy.Field() time=sc 阅读全文
posted @ 2019-10-10 12:51 晨曦yd 阅读(2446) 评论(0) 推荐(0) 编辑
摘要: import urllib.request import requests import pymysql#连接数据库的包 from lxml import etree db=pymysql.connect('localhost','dsuser','badpassword','dsdb')#地址,用户,密码,数据库名 print('success') cur=db.cursor()#建立游标 ... 阅读全文
posted @ 2019-10-10 08:35 晨曦yd 阅读(1470) 评论(0) 推荐(0) 编辑
摘要: #items.py import scrapy class InsistItem(scrapy.Item): comment=scrapy.Field() #pipelines.py import json class InsistPipeline(object): def __init__(self): self.f=open('tencent.json','... 阅读全文
posted @ 2019-09-24 09:48 晨曦yd 阅读(461) 评论(0) 推荐(0) 编辑
摘要: #这里只爬取第一页 items.py import scrapy #定义爬取数据 class InsistItem(scrapy.Item): image_urls=scrapy.Field() tengxun.py import scrapy from insist.items import InsistItem import json class TengxunSpider(scrapy.Sp 阅读全文
posted @ 2019-09-20 23:05 晨曦yd 阅读(194) 评论(0) 推荐(0) 编辑
摘要: scrapy startproject insist #创建项目 scrapy genspider teng carees.tencent.com#创建爬虫(爬虫名字+域名) items.py #需要爬取的信息 import scrapy class InsistItem(scrapy.Item): # define the fields for your item here like: posi 阅读全文
posted @ 2019-09-20 08:36 晨曦yd 阅读(482) 评论(0) 推荐(0) 编辑
摘要: # -*- coding: utf-8 -*- #这只是爬虫文件内容,使用pycharm运行,在terminal中使用命令行,要用爬虫名字import scrapy from insist.items import InsistItem class InsistsSpider(scrapy.Spider): name = 'insists' allowed_domains = ['itcast.c 阅读全文
posted @ 2019-09-15 22:17 晨曦yd 阅读(156) 评论(0) 推荐(0) 编辑
摘要: import urllib.request import re import urllib import csv from selenium import webdriver from lxml import etree import requests x=0 header=['日期','开盘价','最高价','最低价','收盘价','涨跌额','涨跌幅','成交量','成交金额','振幅','换 阅读全文
posted @ 2019-09-03 12:37 晨曦yd 阅读(331) 评论(0) 推荐(0) 编辑