阿布_alone - 博客园

2020年11月1日

python3爬虫中文乱码之请求头‘Accept-Encoding’：br 的问题

摘要：当用python3做爬虫的时候，一些网站为了防爬虫会设置一些检查机制，这时我们就需要添加请求头，伪装成浏览器正常访问。 header的内容在浏览器的开发者工具中便可看到，将这些信息添加到我们的爬虫代码中即可。 ‘Accept-Encoding’：是浏览器发给服务器,声明浏览器支持的编码类型。一般有g 阅读全文

posted @ 2020-11-01 23:03 阿布_alone 阅读(868) 评论(0) 推荐(0) 编辑

mongo常见的一些进阶操作

摘要：摘自：微信公众号：无量测试之道 1、MongoDB 高级操作数据是随意构建的，大家在练习时可以自己创建，现有的数据为： > db.test.find(){ "_id" : ObjectId("5eecc55ec2e3725b5715931b"), "name" : "tony", "age" : 阅读全文

posted @ 2020-11-01 22:26 阿布_alone 阅读(124) 评论(0) 推荐(0) 编辑

curl

摘要： curl 介绍： curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP，FTPS，HTTP，HTTPS，GOPHER，TELNET，DICT，FILE及LDAP等协议。curl支持HTTPS认证，并且支持HTTP的POST,PUT等方法，FTP上传，kerberos认证，HTTP上阅读全文

posted @ 2020-11-01 22:18 阿布_alone 阅读(143) 评论(0) 推荐(0) 编辑

shcedule

摘要：简单例子: import schedule import time def run(): print("I'm doing something...") schedule.every(10).minutes.do(run) # 每隔十分钟执行一次任务 schedule.every().hour.do 阅读全文

posted @ 2020-11-01 21:23 阿布_alone 阅读(106) 评论(0) 推荐(0) 编辑

2020年9月13日

在爬虫工作中使用到的一个测试网站和一个快速把请求转换成为代码的网站

摘要： 1.查看本地请求的代理、 import requests res=requests.get('http://httpbin.org/ip', proxies={'http':'111.177.177.87:9999'}).json() 或者 2.https://httpbin.org/headers 阅读全文

posted @ 2020-09-13 21:34 阿布_alone 阅读(341) 评论(1) 推荐(0) 编辑

2020年7月17日

pyspark读取elasticsearch

摘要：代码： import json from pyspark.sql import SparkSession from pyspark import SparkConf def trans_form(data_tuple): """ 对从es读取出来的每一条数据进行格式转换 :param data_tu 阅读全文

posted @ 2020-07-17 20:31 阿布_alone 阅读(2163) 评论(0) 推荐(0) 编辑

2020年7月4日

查看服务器的内存使用与空余容量

摘要：一.python #!/usr/bin/env python # coding=utf-8 from collections import OrderedDict def meminfo(): '''Return the information in /proc/meminfo as a dicti 阅读全文

posted @ 2020-07-04 17:23 阿布_alone 阅读(1179) 评论(0) 推荐(0) 编辑

shell其他

摘要：一.输入重定向和输出重定向一样，Unix 命令也可以从文件获取输入，语法为： command < file 这样，本来需要从键盘获取输入的命令会转移到文件读取内容。注意：输出重定向是大于号(>)，输入重定向是小于号(<)。例如，计算 users 文件中的行数，可以使用下面的命令： wc -l 阅读全文

posted @ 2020-07-04 12:04 阿布_alone 阅读(154) 评论(0) 推荐(0) 编辑

Shell数据-字符串和数组

摘要：一.字符串字符串是shell编程中最常用最有用的数据类型（除了数字和字符串，也没啥其它类型好用了），字符串可以用单引号，也可以用双引号，也可以不用引号。单双引号的区别跟PHP类似：单双引号的区别：双引号里可以有变量，单引号则原样输出；双引号里可以出现转义字符，单引号则原样输出；单引号字串中阅读全文

posted @ 2020-07-04 00:06 阿布_alone 阅读(1498) 评论(1) 推荐(0) 编辑

2020年7月1日

shell进一步学习

摘要：一.关于解释器（1）Linux提供的Shell解析器有： [root@iZwz9fdluqx20m1qe0ml4qZ shell_learning]# cat /etc/shells /bin/sh /bin/bash /sbin/nologin /usr/bin/sh /usr/bin/bash 阅读全文

posted @ 2020-07-01 23:26 阿布_alone 阅读(180) 评论(0) 推荐(0) 编辑

阿布alone

公告