上一页 1 2 3 4 5 6 ··· 14 下一页
摘要: 打包,并指定豆瓣数据源: pip download -r requirement.txt -d ./pip_packages -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 安装:(将包拷贝到项目下执行) pip ins 阅读全文
posted @ 2021-01-22 21:58 数据驱动 阅读(301) 评论(0) 推荐(0) 编辑
摘要: 环境信息 操作系统:CentOS Linux release 7.6.1810 Python:3.7.4 现状说明 当前CentOS系统自带了python2.7.5,因为yum会用到python2,所以不能删除,此次安装了python3之后就保持两个版本长期共存吧。 本次安装采用的是下载python 阅读全文
posted @ 2020-12-16 16:27 数据驱动 阅读(191) 评论(0) 推荐(0) 编辑
摘要: 今天在Liunx服务器上重启docker的时候,发现容器启动不了了,报的错误是:"ERROR:cannot create temporary directory!"。我的猜测应该就是磁盘空间满了,于是执行命令"df -h",出来的结果是 挂载点/var/lib/docker/overlay/ 已用% 阅读全文
posted @ 2020-12-16 16:25 数据驱动 阅读(650) 评论(0) 推荐(0) 编辑
摘要: 迁移到:/data/docker/lib 在/etc/systemd/system/docker.service.d/devicemapper.conf里面配置,没有的话创建文件 [Service]ExecStart=ExecStart=/usr/bin/dockerd --graph=/data/ 阅读全文
posted @ 2020-12-09 18:06 数据驱动 阅读(119) 评论(0) 推荐(0) 编辑
摘要: 如果要让别人依赖你的项目,最简单的是把代码直接给他,但这往往是不可取的,因为一个项目文件太大了,很多依赖包在对方已经存在了,所以我们需要打个包,把精简的源码给对方即可。 下面拿个demo进行演示。 1.新建一个Python项目,原始状态是这样的。 2.接下来在项目根目录下创建一个setup.py文件 阅读全文
posted @ 2020-12-07 11:53 数据驱动 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 这篇文章主要介绍了python生成requirements.txt的两种方法,每种方法给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下 python项目如何在另一个环境上重新构建项目所需要的运行环境依赖包? 使用的时候边记载是个很麻烦的事情,总会出现遗漏的包的问题,这个时候手动安装 阅读全文
posted @ 2020-12-03 16:10 数据驱动 阅读(15359) 评论(2) 推荐(1) 编辑
摘要: 今天从Gitlab拉取数据提示:SSL certificate problem: self signed certificat 异常。 问题原因:公司gitlab只支持https地址,需要client配置忽略https证书检验 解决方案:打开Git Bash运行如下命令 export GIT_SSL 阅读全文
posted @ 2020-11-24 12:57 数据驱动 阅读(7393) 评论(0) 推荐(0) 编辑
摘要: 作者:大数据之心链接:https://www.jianshu.com/p/5d889a67dcd3来源:简书著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 很高兴地告诉大家,具备新的里程碑意义的功能的Kafka 0.11.x版本(对应 Confluent Platform 3. 阅读全文
posted @ 2020-09-24 21:29 数据驱动 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 刚开始,新创建的表预分区:如图所示 然后插入数据 import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; i 阅读全文
posted @ 2020-09-02 11:14 数据驱动 阅读(689) 评论(0) 推荐(0) 编辑
摘要: (what)什么是预分区? HBase表在刚刚被创建时,只有1个分区(region),当一个region过大(达到hbase.hregion.max.filesize属性中定义的阈值,默认10GB)时, 表将会进行split,分裂为2个分区。表在进行split的时候,会耗费大量的资源,频繁的分区对H 阅读全文
posted @ 2020-09-02 11:10 数据驱动 阅读(1335) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 14 下一页