小橙子11 - 博客园

2023年9月19日

摘要： JSON动态数据在Python中扮演着重要的角色，为开发者提供了处理实时和灵活数据的能力。Python作为一种强大的编程语言，提供了丰富的工具和库来处理动态JSON数据使得解析和处理动态JSON数据变得简单和高效。例如，使用内置的json模块，我们可以轻松地将JSON数据转换为Python对象，并进阅读全文

posted @ 2023-09-19 16:42 小橙子11 阅读(102) 评论(0) 推荐(0) 编辑

2023年8月30日

如何使用Python的Selenium库进行网页抓取和JSON解析

摘要：随着互联网的快速发展，网页抓取和数据解析在许多行业中变得越来越重要。无论是电子商务、金融、社交媒体还是市场调研，都需要从网页中获取数据并进行分析。Python的Selenium库作为一种自动化测试工具，已经成为许多开发者的首选，因为它提供了强大的功能和灵活性。本文将介绍如何使用Python的Sele 阅读全文

posted @ 2023-08-30 16:44 小橙子11 阅读(229) 评论(0) 推荐(0) 编辑

2023年8月18日

如何利用日志记录与分析处理Python爬虫中的状态码超时问题

摘要：在编写Python爬虫的时候，经常会遇到状态码超时的问题。这个问题对于爬虫开发者来说是一个巨大的挑战，因为它会导致爬虫的效率降低，甚至无法正常工作。需要解决这个问题，我们可以利用日志记录与分析的方法来定位并处理状态码超时问题。首先，我们需要在爬虫代码中添加日志记录功能。日志记录是一种记录爬虫运行情阅读全文

posted @ 2023-08-18 16:17 小橙子11 阅读(34) 评论(0) 推荐(0) 编辑

2023年3月13日

前端开发爬虫首选puppeteer

摘要：很多前端同学可能对于爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如 python 、php 等。当然这是在 nodejs 前了，nodejs 的出现，使得 Javascript 也可以用来写爬虫了。但这是大数据时代，数据的需求是不分前端还是后端的，既然由于 nodejs 强大的异步特性，让我们可以阅读全文

posted @ 2023-03-13 16:48 小橙子11 阅读(115) 评论(0) 推荐(0) 编辑

2023年3月2日

python3和scrapy使用亿牛云隧道代理问题以及代码

摘要：一、前言近期，我参与了一个需要爬取国家食品药品监督局数据的项目，但该网站存在IP屏蔽机制。因此，我需要在Scrapy框架中实现自动IP切换，才能完成任务。然而，尽管我使用了第三方库scrapy-proxys和代理API接口，但测试并不成功。爬取药监局数据是一项不容易完成的任务。这是因为该网站采用了多阅读全文

posted @ 2023-03-02 17:28 小橙子11 阅读(150) 评论(0) 推荐(0) 编辑

2023年2月17日

如何用chatGPT、代理IP和网络爬虫，打造一个智能有趣的聊天机器人？

摘要： AI（人工智能）是指让机器具有感知、合成和推理信息的能力，与人类和非人类动物的智能相对应。AI可以实现从经验中学习、适应新的输入和执行类似人类的任务。我们今天听到的大多数AI的例子，从下棋的计算机到自动驾驶汽车，都严重依赖于深度学习和自然语言处理。 chatGPT是一种基于深度学习和自然语言处理的A 阅读全文

posted @ 2023-02-17 15:45 小橙子11 阅读(1522) 评论(0) 推荐(0) 编辑

2023年2月9日

常见的python技术难点分享

摘要： Python很强大，熟练的程序员可以在5分钟内写出一个有价值的爬虫，比如抓取旅游信息、抓取工商信息、抓取商品信息等都是有价值的数据网站。但像这样的有价值的网站是不会任由你无限爬取的，有爬取就有反抗。这是一场网站和程序员之间的一种博弈，最后能获取到多少的数据全凭你的技术能力。今天就重点来聊下这个网站之阅读全文

posted @ 2023-02-09 16:42 小橙子11 阅读(128) 评论(0) 推荐(0) 编辑

常见的python爬取难点

摘要： Python很强大，熟练的程序员可以在5分钟内写出一个有价值的爬虫，比如抓取旅游信息、抓取工商信息、抓取商品信息等都是有价值的数据网站。但像这样的有价值的网站是不会任由你无限爬取的，有爬取就有反抗。这是一场网站和程序员之间的一种博弈，最后能获取到多少的数据全凭你的技术能力。今天就重点来聊下这个网站之阅读全文

posted @ 2023-02-09 16:36 小橙子11 阅读(216) 评论(0) 推荐(0) 编辑

2022年11月14日

大家对取消区域全员核酸检测的看法

摘要：最近“20条出台”大家应该都有所了解吧？其中，没有发生疫情的地区严格按照第九版防控方案确定的范围对风险岗位、重点人员开展核酸检测，不得扩大核酸检测范围。一般不按行政区域开展全员核酸检测，只在感染来源和传播链条不清、社区传播时间较长等疫情底数不清时开展。制定规范核酸检测的具体实施办法，重申和细化有关要阅读全文

posted @ 2022-11-14 16:43 小橙子11 阅读(173) 评论(0) 推荐(0) 编辑

2022年11月7日

不再向流量低头，金鹰奖“脱水”成功获得好评

摘要： 11 月 6 日，第 31 届中国电视金鹰奖颁奖典礼如约而至。在国内最大的演播室集群 " 七彩盒子 "，全国优秀的电视人齐聚一堂，共享属于电视人的荣耀时刻。飞天奖的热度还未散去，金鹰奖乘势而来，这也让观众对金鹰奖颁奖晚会有了更多的期待。从获奖演员，电视类型总的来看，今年的金鹰奖成功 " 脱水 "，阅读全文

posted @ 2022-11-07 16:34 小橙子11 阅读(174) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔档案

阅读排行榜

评论排行榜

最新评论