五杀摇滚小拉夫

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
上一页 1 2 3 4 5 6 ··· 19 下一页

2024年3月26日

摘要: 摘自百度:1、VoIP和SIP的概念: VoIP和SIP都是通信领域中的重要概念,它们各自具有独特的功能和应用场景,但也存在一定的联系。 VoIP,即Voice over Internet Protocol,是一种语音通话技术,它利用互联网协议(IP)进行语音通话与多媒体会议。这种技术将模拟声音信号 阅读全文
posted @ 2024-03-26 11:20 五杀摇滚小拉夫 阅读(16) 评论(0) 推荐(0) 编辑

2024年1月3日

摘要: Scrapy的功能强大,爬取效率高,相关扩展组件多,可配置和可拓展程度非常高。基于Twisted的异步处理框架,是纯python实现的爬虫框架,架构清晰,模块之间耦合度低,可扩展型极强,可以灵活完成各种需求。Scrapy架构重要组成:Engine:引擎,处理系统的数据流数据、触发事务,框架核心。It 阅读全文
posted @ 2024-01-03 11:05 五杀摇滚小拉夫 阅读(2) 评论(0) 推荐(0) 编辑

2023年12月27日

摘要: 利用代理解决爬虫目标网站封ip的问题,可以使用免费的代理或者付费的代理ip,对于不可用的ip无法及时识别,可以通过搭建ip代理池提高爬虫的工作效率。1、首先所需redis库安装,redis是基于内存的高效的非关系型数据库。github下载地址:版本 3.2.100 ·微软存档/Redis ·GitH 阅读全文
posted @ 2023-12-27 15:44 五杀摇滚小拉夫 阅读(3) 评论(0) 推荐(0) 编辑

2023年12月15日

摘要: 1、数据需求: 采集当前配置任务及子任务的详细信息,页面请求返回数据是json格式。 # -*- coding: utf-8 -*- # 爬取公共数据平台数据归集任务 import math import re import pandas as pd import requests #初始化参数 a 阅读全文
posted @ 2023-12-15 17:29 五杀摇滚小拉夫 阅读(16) 评论(0) 推荐(0) 编辑

2023年12月11日

摘要: 1、需求:采集猫眼电影经典电影影片信息 url:https://www.maoyan.com/films?showType=3 采集页数 30104页 2、源代码如下: import random import pandas as pd import requests from lxml impor 阅读全文
posted @ 2023-12-11 17:11 五杀摇滚小拉夫 阅读(33) 评论(0) 推荐(0) 编辑

2023年12月5日

摘要: 1、需求:采集中科商务网区域工商信息2、需求数据字段: '名称': [title],'摘要': [content],'联系人': [lx_b],'联系电话': [tel],'电子邮件': [email],'公司地址': [address],'法定代表人': [fr],'经营状态': [state], 阅读全文
posted @ 2023-12-05 16:34 五杀摇滚小拉夫 阅读(13) 评论(0) 推荐(0) 编辑

2023年11月27日

摘要: #coding:utf-8 from pymysql import connect data_list=[] # 将数据存入数据库 conn = connect(host="10.36.128.83", port=20002, database="sthjj_sthj", user="lw_lwc" 阅读全文
posted @ 2023-11-27 11:26 五杀摇滚小拉夫 阅读(27) 评论(0) 推荐(0) 编辑

2023年11月13日

摘要: 1、采集网址url:https://data.wenzhou.gov.cn/jdop_front/index.do 需求:获取数据资源-数据来源单位(龙湾区50)的信息 具体要获取的信息如下:名称、摘要、更新、数源单位、地址、联系方式、数据领域、访问次数、下载次数、更新日期、发布日期、数据量。 2、 阅读全文
posted @ 2023-11-13 16:19 五杀摇滚小拉夫 阅读(34) 评论(0) 推荐(0) 编辑

2023年10月11日

摘要: # #coding:utf-8 # import requests # from lxml import etree # class login(object): # def __init__(self): # self.headers={ # 'Referer': 'http://www.qixi 阅读全文
posted @ 2023-10-11 11:19 五杀摇滚小拉夫 阅读(22) 评论(0) 推荐(0) 编辑

2023年9月27日

摘要: 1、查看当前时区与电脑端实际时间不一致 2、修改时区 再次查看发现时间已同步时区 阅读全文
posted @ 2023-09-27 15:11 五杀摇滚小拉夫 阅读(109) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 19 下一页