2018 年 7月随笔档案 - WY~记录

selenium库

摘要：[TOC] selenium "安装,配置及连接" selenium 官方网站： GitHub： PyPI：官方文档：中文文档：安装: selenium需要配合浏览器及其驱动配合 ChromeDriver 官方网站：(墙) 下载地址：下载地址2: 版本映射表: 浏览器中查看Chrome版本( 阅读全文

posted @ 2018-07-30 15:51 WY~记录阅读(257) 评论(0) 推荐(0)

requests库+ajax数据分析+多线程爬取头条图集

摘要：``` ''' 根据关键字获取今日头条图集 ''' import os import requests from urllib.parse import quote from hashlib import md5 from multiprocessing.pool import Pool baseurl = 'https://www.toutiao.com/search_content/?'... 阅读全文

posted @ 2018-07-29 09:12 WY~记录阅读(500) 评论(0) 推荐(0)

requests微博爬取Ajax数据+mongoDB存储

摘要：``` import requests from pyquery import PyQuery as pq from pymongo import MongoClient headers = { 'Referer': 'https://m.weibo.cn/u/2830678474', 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) ... 阅读全文

posted @ 2018-07-28 15:04 WY~记录阅读(473) 评论(0) 推荐(0)

redis存储

摘要：[TOC] redis存储安装,链接与配置 "edis" 官方网站：官方文档：中文官网： GitHub：中文教程： Redis Desktop Manager：可视化管理工具，来管理Redis Redis Desktop Manager GitHub：安装: 进入命令行模式: 修改配置文件阅读全文

posted @ 2018-07-28 08:58 WY~记录阅读(488) 评论(0) 推荐(0)

pymongo操作MongoDB

摘要：[TOC] pymongo操作MongoDB 安装,启动及链接 MongoDB "返回目录" + 官方网站： + 官方文档： + GitHub： + 中文教程： + 16.04安装: + 导入MongoDB的GPG key: + 创建apt get源列表: + 更新apt get源: + 安装Mon 阅读全文

posted @ 2018-07-26 15:04 WY~记录阅读(677) 评论(0) 推荐(0)

用pymongo连接mongodb,操作时报错:pymongo.errors.OperationFailure: not authorized on test to execute command

摘要：创建连接对象时,用client = pymongo.MongoClient('mongodb://user:password@localhost:27017/')这样的方式,增加权限认证阅读全文

posted @ 2018-07-26 12:50 WY~记录阅读(5333) 评论(0) 推荐(0)

Ubuntu16.04下安装mongodb运行失败解决

摘要：原答案: 阅读全文

posted @ 2018-07-25 19:44 WY~记录阅读(400) 评论(0) 推荐(0)

pymysql操作mysql

摘要：[TOC] pymysql操作mysql 安装,启动及链接 "返回目标" MySQL + 官方网站： + 下载地址： + 中文教程： + 安装mysql: + 启动、关闭和重启MySQL服务: sudo service mysql start sudo service mysql stop sudo 阅读全文

posted @ 2018-07-25 16:47 WY~记录阅读(1361) 评论(0) 推荐(0)

ubuntu重装mysql

摘要：[TOC] 重装mysql 首先删除mysql: sudo apt get remove mysql dpkg l |grep ^rc|awk '{print $2}' |sudo xargs dpkg P 默认安装： sudo apt get install mysql client mysql 阅读全文

posted @ 2018-07-25 15:01 WY~记录阅读(320) 评论(0) 推荐(0)

文件存储

posted @ 2018-07-25 12:24 WY~记录阅读(268) 评论(0) 推荐(0)

CSV转化为markdown表格形式

摘要：符号分割文本转化为markdown表格形式写博客,做笔记的时候,有时需要复制表格到markdown文档,数量一多一个个添加格式还是很麻烦,然后就写了一个小工具,先将表格复制粘贴到文本,用工具转换,再复制粘贴到markdown文档.. 阅读全文

posted @ 2018-07-24 17:29 WY~记录阅读(809) 评论(1) 推荐(0)

爬取知乎发现页面pyquery+文件存储

摘要：```python # 爬取知乎发现页面,用文件存储 import requests from pyquery import PyQuery as pq def get_html(url): '''根据网址获取html页面 parameter:url目标网址 return:html页面 ''' headers = { ... 阅读全文

posted @ 2018-07-24 16:44 WY~记录阅读(433) 评论(0) 推荐(0)

pyquery库

摘要：[TOC] pyquery库侧重于css选择器,JQuery 安装:pip3 install pyquery GitHub： PyPI：官方文档： DOM操作文档: CSS选择器参考: 初始化基本CSS选择器函数操作函数和jQuery中函数的用法完全相同,函数中也可以传入选择器查找节点阅读全文

posted @ 2018-07-24 14:09 WY~记录阅读(191) 评论(0) 推荐(0)

BeautifulSoup库

摘要：[TOC] Beautiful Soup库官方文档: 中文文档： PyPI：安装:pip3 install beautifulsoup4 导入:包名为bs4: from bs4 import BeautifulSoup Beautiful Soup的HTML和XML解析器是依赖于lxml库,安装阅读全文

posted @ 2018-07-24 10:15 WY~记录阅读(181) 评论(0) 推荐(0)

xpath和lxml库

摘要：[TOC] XPath及lxml解析安装:pipenv install lxml XPath的用法: lxml库文档: xpath语法一般通过对Xpath解析对象方法xpath('')中运用xpath规则,得到所需节点和属性 1.XPath常用路径表达式 "返回目录" + nodename:选取阅读全文

posted @ 2018-07-24 08:14 WY~记录阅读(199) 评论(0) 推荐(0)

pipenv和autoenv

摘要：[TOC] pipenv 官方文档: 安装创建环境 + 创建环境: 生成了Pipfile文件,一个 TOML 格式的文件，标识了该项目依赖包的基本信息，还区分了生产环境和开发环境的包标识 + 激活虚拟环境: 虚拟环境目录下执行命令: + 退出环境:'exit' 常用命令 + 安装软件包: 生成了一阅读全文

posted @ 2018-07-23 10:24 WY~记录阅读(393) 评论(0) 推荐(0)

正则表达式

摘要：正则表达式在线正则表达式测试工具:http://tool.oschina.net/regex/ 1.常见匹配模式模式描述 \w 匹配字母数字及下划线 \W 匹配非字母数字下划线 \s 匹配任意空白字符，等价于 [\t\n\r\f]. \S 匹配任意非空字符 \d 匹配任意数字，等价于 [0-9] 阅读全文

posted @ 2018-07-22 17:25 WY~记录阅读(156) 评论(0) 推荐(0)

requests库

摘要：[TOC] request库官方文档: 安装:pip install requests 1.七个主要方法 "返回目录" 1. requests.Request() 构造一个请求，支撑以下各方法的基础方法 2. requests.get() 获取HTML网页的主要方法，对应于HTTP的GET 3. 阅读全文

posted @ 2018-07-22 14:59 WY~记录阅读(226) 评论(0) 推荐(0)

返回码和相应的查询条件

摘要：``` # 信息性状态码 100: ('continue',), 101: ('switching_protocols',), 102: ('processing',), 103: ('checkpoint',), 122: ('uri_too_long', 'request_uri_too_long'), # 成功状态码 200: ('ok', 'okay', 'all_ok', 'all_o... 阅读全文

posted @ 2018-07-22 10:42 WY~记录阅读(192) 评论(0) 推荐(0)

格式化文件转对象

摘要：格式化文件转对象爬虫构造请求头时,需要用到字典,在浏览器F12查看请求头,发现是类字典冒号分割文本,将其直接复制到本地文件,转化为字典对象,可拿来直接使用.代码是具有可扩展性的,需要其他格式转化为对象时,只用增加转化函数,自动提供文件名处理,持久化导入导出功能. 代码如下: 阅读全文

posted @ 2018-07-21 13:05 WY~记录阅读(226) 评论(0) 推荐(0)

urllib库

摘要：[TOC] urllib库 python内置的http请求库官方文档: 一个web测试网站： 1.urllib.request(请求模块) "返回目录" urlopen 发送请求 + url：链接,字符串 + data：post方式表单，bytes类型 + data = bytes(urllib. 阅读全文

posted @ 2018-07-21 09:24 WY~记录阅读(512) 评论(0) 推荐(0)

网页相关查询

摘要：[TOC] 在线工具菜鸟教程首页: html参考手册: 工具: HTTP请求方法 http头信息 Content Type(Mime Type) HTML转义字符 RGB颜色参考 ASCII对照表 HTTP状态码详解运算符优先级 TCP/UDP常见端口参考网页字体参阅读全文

posted @ 2018-07-20 09:00 WY~记录阅读(187) 评论(0) 推荐(0)

django-4.django模型

摘要：[TOC] django模型配置数据库 setting.py文件中的DATABASES设置 + ENGINE 告诉 Django 使用哪个数据库引擎 + NAME 告诉 Django 数据库的名称 Django应用应用方面有个严守的约定:如果使用 Django 的数据库层(模型),必须创建 Dj 阅读全文

posted @ 2018-07-17 10:43 WY~记录阅读(148) 评论(0) 推荐(0)

django-5.Django 管理后台

摘要：[TOC] Django 管理后台创建管理员用户然后依次输入用户名,邮箱,两次密码将模型添加到管理后台在startapp创建的应用的目录下,找到admin.py文件,输入: 通过模型层对管理界面设置 + 模型指定修改列表页面显示的字段默认为定义模型是的__str__函数的返回值 + 字段设为阅读全文

posted @ 2018-07-17 10:43 WY~记录阅读(772) 评论(0) 推荐(0)

django-3.模板引擎

摘要：[TOC] 模板引擎DTL(django template language) 模板系统 + 两对花括号包围的文本( {{ 变量 }} )是变量,意思是“把指定变量的值插入这里”. + 一对花括号和百分号包围的文本(如 {% 模板标签 %} )是模板标签 + 过滤器,这是调整变量格式:{{ 变量|过阅读全文

posted @ 2018-07-17 10:40 WY~记录阅读(209) 评论(0) 推荐(0)

django-2.视图与url配置

摘要：[TOC] 视图与url配置 + Django 中指定两个信息: + 页面的内容由视图函数(view function)生成 + URL 在 URL 配置(URLconf)中指定视图函数 + 项目目录中新建一个空文件,名为 views.py,编写视图函数 + 视图函数举例: 视图函数的第一个参数是阅读全文

posted @ 2018-07-17 10:39 WY~记录阅读(133) 评论(0) 推荐(0)

django- 1.环境与初始化项目

摘要：[TOC] 环境与初始化安装建立项目 Django设置运行开发服务器 MVC架构 Django 严格遵守 MVC 模式,但是有自己的实现逻辑MTV 框架: 模型(M):数据访问层模板(T):数据表现层,MVC中的V 视图(V):业务逻辑层 ,MVC中的C 阅读全文

posted @ 2018-07-17 10:38 WY~记录阅读(133) 评论(0) 推荐(0)

css层叠样式表

摘要：[TOC] css层叠样式表样式声明方式:优先级由高到低 + 元素内联样式: + 中的内联样式: + 外联样式: + 浏览器默认样式:不同浏览器不同 css语法 + 由选择器和样式属性组成: + 四种基本选择器: + 基本组合: + 其他选择器: 基于css和div的页面布局 + css布局常用属阅读全文

posted @ 2018-07-07 17:04 WY~记录阅读(144) 评论(0) 推荐(0)

python2的cgi程序

摘要：python2的cgi程序阅读全文

posted @ 2018-07-07 15:33 WY~记录阅读(287) 评论(0) 推荐(0)

开发环境和工具

摘要：[TOC] 开发环境和工具 python工具安装python Python 将被安装到 /opt/python2.7.9/bin,通过创建虚拟环境时 python=/usr/bin/python3.5 python参数指定版本路径包管理: "pip" 虚拟环境: "virtualenv" , " 阅读全文

posted @ 2018-07-07 10:45 WY~记录阅读(219) 评论(0) 推荐(0)

github入门

摘要：[TOC] 安装初始配置 1.设置姓名和邮箱地址会设置"~/.gitconfig"文件,可直接更改 global参数代表全局 2.提高命令输出可读性 3.查看配置配置有系统配置,用户配置,项目配置,小覆盖大 4.配置默认推送 github账户创建账户注册地址: username创建ID,个阅读全文

posted @ 2018-07-03 14:04 WY~记录阅读(161) 评论(0) 推荐(0)

Markdown

摘要：` 兼容html 1. 段落:空行换行:两个空格后回车 2. 标题: (1到6个) 3. 区块: 4. 倾斜: 内容 ,_内容_ 重点强调: 内容 ,__内容__ 删除线:~~内容~~ 5. 无序列表: ,+, 6. 有序列表:1. ,2. ,3. 7. 项中的多个段落:四个空格或tab缩进 8. 阅读全文

posted @ 2018-07-01 16:47 WY~记录阅读(99) 评论(0) 推荐(0)

07 2018 档案

公告