2019年11月29日
scrapy
摘要： 1.安装scrapy 1.5.0pip3 install Scrapy安装需要的软件pip3 install Pillow2.创建scrapy的软链接ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy 创建新项目Linux命令行输入 /root/s 阅读全文
posted @ 2019-11-29 15:47 糖醋排骨加辣椒 阅读(151) 评论(0) 推荐(0) 编辑
python pip install出现问题
摘要： 1、pip install时，还是出现了这个错误：subprocess.CalledProcessError: Command'('lsb_release', '-a')'returned non-zeroexitstatus 解决方法：找到lsb_release.py文件，把它们拷贝到报的错误中s 阅读全文
posted @ 2019-11-29 15:44 糖醋排骨加辣椒 阅读(1083) 评论(0) 推荐(0) 编辑
scala中执行shell命令
摘要： import sys.process._ //shell命令最后加上.!表示执行命令，也可是把执行结果赋值给一个不可变变量 //.!返回结果为int，0表示成功，.!!返回结果为打印的内容，为string "ls -l".! //执行命令，并把结果打印到控制台上 val list = "ls -la 阅读全文
posted @ 2019-11-29 14:04 糖醋排骨加辣椒 阅读(3562) 评论(0) 推荐(0) 编辑
2019年11月22日
spark 累加器
摘要： spark累加器：作用是在task计算的时候统计某些事件的数量。 注意：累加器变量只能执行加法操作；但其支持并行操作，意味着不同任务多次对累加器执行加法操作后，加法器最后的值等于所有累加的和；只能driver驱动程序读取到累加器的值，task端只能进行累加操作，无法访问该值。 Spark内置了三种类 阅读全文
posted @ 2019-11-22 15:30 糖醋排骨加辣椒 阅读(445) 评论(0) 推荐(0) 编辑
2019年11月18日
linux命令-scp,sftp远程上传下载文件
摘要： 1.本地下载远程的文件 scp user@ip:/源文件绝对地址 目的文件 #scp root@ip:/home/log.log ./ 2.scp带密码下载远程文件 #sudo apt-get install sshpass #sshpass -p 密码 scp user@ip:/源文件 目的文件 阅读全文
posted @ 2019-11-18 16:45 糖醋排骨加辣椒 阅读(969) 评论(0) 推荐(1) 编辑
2019年11月15日
python str和dict互转
摘要： 1.str转dict 内置函数eval s = "{'a':1,'b':2}" sd = eval(s) print(type(sd),sd['a']) #<class 'dict'> 1 json包 import json s = '{"a":1,"b":2}' sd = json.loads(s 阅读全文
posted @ 2019-11-15 14:55 糖醋排骨加辣椒 阅读(12951) 评论(0) 推荐(0) 编辑
2019年11月14日
Python3调用shell命令常用方法
摘要： 可以执行shell命令的相关内置模块和函数有： os.systemos.spawnos.popen --废弃popen2.* --废弃commands.* --废弃，3.x中被移除 subprocess：趋向替代os.system，os.spawn* https://docs.python.org/ 阅读全文
posted @ 2019-11-14 17:07 糖醋排骨加辣椒 阅读(7964) 评论(0) 推荐(0) 编辑
2019年10月30日
剑指offer 2. 字符串替换空格-Python
摘要： 题目描述 请实现一个函数，将一个字符串中的每个空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。 时间限制：1秒 空间限制：32768K 热度指数：1240896 本题知识点： 字符串 1.Python的replace方法 运行 阅读全文
posted @ 2019-10-30 08:53 糖醋排骨加辣椒 阅读(413) 评论(0) 推荐(0) 编辑
剑指offer 1.二维数组中查找-Python
摘要： 题目描述 在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。 时间限制：1秒 空间限制：32768K 热度指数：1448982 本题知识点： 查找 数组 1. 阅读全文
posted @ 2019-10-30 08:47 糖醋排骨加辣椒 阅读(189) 评论(0) 推荐(0) 编辑
2019年10月28日
java.io.IOException: No FileSystem for scheme: hdfs
摘要： maven工程，执行jar包的时候出错： 在函数中使用了hdfs://IP : port的schema，而在生成的最终jar包中，无法找到这个schema的实现。所以就抛出了 java.io.IOException: No FileSystem for scheme: hdfs 解决方案是，在设置h 阅读全文
posted @ 2019-10-28 14:39 糖醋排骨加辣椒 阅读(1695) 评论(0) 推荐(0) 编辑