07 2020 档案
摘要:Hbase连接使用 安装happybase和thrift pip install happybase pip install thrift import happybase # 1.从数据库导入到hbase if __name__ != '__main__': import pandas as pd
阅读全文
摘要:使用pyspark连接数据库 # spark操作数据库 from pyspark.sql import SQLContext, SparkSession from pyspark import SparkConf, SparkContext # spark地址 master_url = "spark
阅读全文
摘要:Scrapy 和 scrapy-redis的区别 scrapy是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件,可以让scrapy支持分布式策略,Slaver端共享Master端redis
阅读全文
摘要:python内置排序函数 python排序内置的排序函数有sort()和sorted list.sort():该函数的三个参数和分别是cmp(比较函数)、key(比较的关键字)、reverse(排序结果是否反转),该函数只适用于列表,而不是任意可迭代对象 sorted():该函数第一个对象是一个可迭
阅读全文
摘要:postman简介 postman是一款功能强大的网页调式和模拟发送HTTP请求的Chrome插件,支持几乎所有类型的HTTP请求,操作简单方便,Postman在发送网络HTTP请求方面可以说是Chrome插件类产品中的代表产品之一。 postman基础功能介绍 基本介绍 collection 在p
阅读全文
摘要:在windows下安装的mysql服务,如果忘记密码,可以通过如下操作重新设置密码 解决办法 首先关闭mysql服务,在cmd下输入如下命令(需要在管理员命令下输入): net stop mysql 然后用安全模式开启本地的mysql服务,在命令行下输入: mysqld --defaults-fil
阅读全文