随笔- 310
文章- 1
评论- 0
阅读-
85655
10 2020 档案
python Scrapy爬虫框架
摘要：简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Servic
阅读全文
python 操作mysql数据库
摘要：安装mysql模块 pip install PyMySQLpip install sqlalchemy 操作mysql数据 #!/usr/bin/env python# -*- coding: utf-8 -*- # import cx_Oracle from sqlalchemy import c
阅读全文
pyspark——Rdd与DataFrame相互转换
摘要：Rdd转DataFrame from pyspark.sql.types import * from pyspark import SparkContext,SparkConf from pyspark.sql import SparkSession spark=SparkSession.build
阅读全文
hbase 安装与使用
摘要：安装 1.下载 wget http://mirrors.shu.edu.cn/apache/hbase/1.4.6/hbase-1.4.6-bin.tar.gz tar -zxvf hbase-1.4.6-bin.tar.gz 2.配置 hbase-site.xml 文件 <configuratio
阅读全文
python 读取pdf文本内容
摘要：#!/usr/bin/env python3 #-*- coding:utf-8 -*- # pip3 install pdfminer3k from pdfminer.converter import PDFPageAggregator from pdfminer.layout import LA
阅读全文
python web django 用户认证
摘要：创建用户对象 from django.contrib.auth.models import User create()：创建一个普通用户，密码是明文的。create_user()：创建一个普通用户，密码是密文的。create_superuser()：创建一个超级用户 User.objects.cre
阅读全文
《python web django 基本命令行》
摘要：1.新建一个 django project django-admin.py startproject project_name 2. 新建 app(要先进入项目目录下，cd project_name 然后执行下面的命令) python manage.py startapp app_name 或 dj
阅读全文
《python web django框架2——创建应用和配置数据库》
摘要：在项目下创建一个app应用 django-admin.py startapp app 创建模型 注：Django 规定，如果要使用模型，必须要创建一个 应用 vim app/models.py from django.db import models # Create your models her
阅读全文
《python web django框架1——新建项目》
摘要：下载安装Django pip3 install Django -i https://pypi.tuna.tsinghua.edu.cn/simple 创建项目和查看下项目的目录结构 django-admin.py startproject HelloWorld cd HelloWorld/tree
阅读全文
《python web flask框架》
摘要：一个最小的应用 #app.py #/usr/bin/env python3 #-*- coding:utf-8 -*- from flask import Flaskapp = Flask(__name__) @app.route('/')def hello_world(): return 'Hel
阅读全文
