随笔分类 - python
摘要：在python中元组，列表与集合，我都感觉头晕！ 仔细看下面就不会晕了
阅读全文
摘要：要求 1、遍历文件夹ddd下面所有的文件 2、并且获取所有文件所在文件夹的名称 解决方案 思路：先获取某个路径下面的其他路径，然后循环遍历，判断这个路径到底是文件路径还是文件夹路径，如果是文件路径，直接添加到集合里面，如果是文件夹的话，就递归循环遍历； import os ##第一步、加载文件，获取
阅读全文
摘要：https://blog.csdn.net/tian_jiangnan/article/details/105425944?spm=1001.2101.3001.6650.4&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7
阅读全文
摘要：随便找个快手主页练习一下：查看元素 先用apipost 通过post方式测试一下接口是否能够跑通，然后点击右侧生成代码： 可以生成python curl请求接口的代码格式： 复制粘贴金编辑器里面： from bs4 import BeautifulSoup #引用BeautifulSoup库 imp
阅读全文
摘要：接口直接返回的是json数据格式，那就不用去findall各种class了直接处理json数据保存即可 Request URL: https://api.bilibili.com/x/space/arc/search?mid=390461123&ps=30&tid=0&pn=17&keyword=&
阅读全文
摘要：网页network发现接口返回的是json数据，怎样通过python，通过分页方式爬取下载到excel里或者数据库里面 接口参数意义：https://stock.xueqiu.com/v5/stock/chart/kline.json?symbol=SZ159915&begin=1589340438
阅读全文
摘要：from bs4 import BeautifulSoup #引用BeautifulSoup库 import requests #引用requests import os #os import pandas as pd import csv import codecs import re impor
阅读全文
摘要：其实在当今社会，网络上充斥着大量有用的数据，我们只需要耐心的观察，再加上一些技术手段，就可以获取到大量的有价值数据。这里的“技术手段”就是网络爬虫。今天就给大家分享一篇爬虫基础知识和入门教程： 什么是爬虫？爬虫就是自动获取网页内容的程序，例如搜索引擎，Google，Baidu 等，每天都运行着庞大的
阅读全文
摘要：import requests #引用requests import os #os from bs4 import BeautifulSoup # 从bs4引入BeautifulSoup import csv import codecs import pymysql # 连接数据库 connect
阅读全文
摘要：经过了前面的努力，我们成功获取到了数据，并且学会了保存，但是只是用网页展示出来，是不是有一些不够美观呢？ 所以本节的内容是：数据的可视化。拿到了数据却不能使其简单易懂并且足够突出，那就是不是好的数据工程师。 作者：终可见丶链接：https://www.jianshu.com/p/47908cd4f4
阅读全文
摘要：查看具体html信息 #!/usr/bin/env python # coding=utf-8 import requests from bs4 import BeautifulSoup import pymysql import re import csv url = "https://movie
阅读全文
摘要：#!/usr/bin/env python3 #-*-coding:utf-8-*- # @Author : 杜文涛 # @Time : 2018/4/19 16:01 # @File : cpssq.py #×××双色球数据 import requests import re import xlw
阅读全文
摘要：1、模块说明 requests是使用Apache2 licensed 许可证的HTTP库。 用python编写。 比urllib2模块更简洁。 Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。
阅读全文
摘要：#!/usr/bin/env python # coding=utf-8 import requests from bs4 import BeautifulSoup import pymysql import re # 连接数据库 connect = pymysql.Connect( host='1
阅读全文
摘要：#!/usr/bin/env python # coding=utf-8 import requests from bs4 import BeautifulSoup import pymysql import re # 连接数据库 connect = pymysql.Connect( host='1
阅读全文
摘要：# -*- coding: utf-8 -*- import pymysql.cursors connect = pymysql.Connect( host='**********', port=3306, user='root', passwd='123456', db='ry', charset
阅读全文
摘要：#!/usr/bin/env python # coding=utf-8 import requests from bs4 import BeautifulSoup import MySQLdb print('连接到mysql服务器...') db = MySQLdb.connect("127.0.
阅读全文
摘要：#-*-coding:utf-8-*- import urllib, pymysql, requests, re # 配置数据库 config = { 'host': '127.0.0.1', 'port': 3306, 'user': 'root', 'password': '******', '
阅读全文
摘要：2. 数据库表的准备（MySQL）1） 确认要保存的字段：本文旨在获取妈妈网网站文章的数据，因此需要文章标题（title）、文章链接（href）、文章内容（content）和内容图片（imgs）2） 创建数据库表 CREATE TABLE `mamawang_info` ( `id` bigint(
阅读全文
