随笔分类 - 项目实战
摘要：项目说明 项目描述 以爬取的微博数据为例，使用pyqt开发一个队数据进行增删改查的界面 需求分析 自动连接数据库 excel文件导入数据库中 把数据库的数据导出为Excel文件 可以在界面增加、修改、删除数据、 通过下拉框选择值查询数据 实现步骤 安装qt designer插件 教程：https:/
阅读全文
摘要：目录说明步骤说明前期工作基础创建创建Django项目创建app创建文件夹修改settings添加首页将app1注册添加到settings中的INSTALL_APPS在static文件夹中放入bootstrap文件编写第一个页面index.html在app1的views.py中添加路由在urls.py
阅读全文
摘要：目录安装数据库安装Redis安装PostGreSQL实现步骤微博站点分析asyncio获取cookieaiohttp+redis构造待爬取URLpyppeteer构建爬虫执行爬虫性能优化thread构建线程redis Pipline爬取异常处理总结项目总结不足 安装数据库 安装Redis 该步骤实现
阅读全文
摘要：目录项目概述数据预处理数据爬取数据清洗构建敏感词字典树去除不相关问题和回答去除敏感词去除HTML标签去除标点符号去除emoji去除夸夸词过滤长度,转换格式 项目概述 该项目构建一个基于UniLM的生成式夸夸bot UniLM 是在微软研究院在BERT的基础上,最新产出的预训练语言模型,被称为统一预训
阅读全文
摘要：import requests, urllib, redis, pymongo, time, re, random, xlsxwriter, os, openpyxl, json, csv, pandas as pd from urllib import request from bs4 impor
阅读全文
摘要：import requests,time,random from fake_useragent import UserAgent urls=open(r'E:\01pycharm project\网络爬虫技术\sjj1.txt',encoding='utf-8').read().split() i=
阅读全文
摘要：目录使用selenium使用requests 使用selenium from selenium.webdriver import Chrome,ChromeOptions from selenium.webdriver.support.wait import WebDriverWait from s
阅读全文
摘要：写法一： 编写两个爬虫程序文件：爬虫1将豆瓣一周口碑榜的电影url添加到redis中名为movie_url的列表中（注意避免多次运行导致重复的问题）； 爬虫2从movie_url中读出网址，爬取每一部电影的导演、主演、类型、制片国家/地区、语言、上映日期、片长， 并将它们保存到redis的hash表
阅读全文
摘要：``` #编写程序，从丁香园获取国内近期疫情数据，按省份提取当前确诊数，# 确诊总数，疑似病例数，治愈数，死亡数，高危数等数据，保存到csv文件或excel文件中。import requestsimport xlsxwriterfrom fake_useragent import UserAgent
阅读全文
摘要：抓取豆瓣读书Top250（https://book.douban.com/top250） 每本书的书名、作者、出版社、出版时间、价格、评分等数据， 将结果分别保存为csv文件和excel文件 import xlwt import xlsxwriter import re import request
阅读全文
摘要：目录1)使用正则表达式2)使用bs4 1)使用正则表达式 #使用requests库和正则表达式抓取在https://www.kanunu8.com/book3/任选的一本电子书 import requests import re import os import time header = { 'u
阅读全文
摘要：目录使用re爬取+为请求头，保存为csv使用re爬取2+不保存使用xpath+lxml.html+lxml.etree+不保存 使用re爬取+为请求头，保存为csv import requests import re import csv from fake_useragent import Use
阅读全文
摘要：目录1）无代理+随机请求头+lxml.etree+百度地图api获取经纬度2）无代理+固定请求头+lxml.html3）无代理+固定请求头+使用HTMLSeesion4）代理池+固定请求头+lxml.html 1）无代理+随机请求头+lxml.etree+百度地图api获取经纬度 #使用reques
阅读全文
摘要：title: 项目说明：tensorflow实现猫狗图像识别 date: 2022-06-13 15:40:35 categories: - [计算机,项目] tags: - 深度学习 - 图像挖掘 ## 一、项目介绍 ### 1.1 背景 目的实现猫狗图像的高准确度智能分类。材料图像数据集data
阅读全文
摘要：### 项目预览  