网站更新内容:请访问: https://bigdata.ministep.cn/
上一页 1 ··· 16 17 18 19 20 21 22 23 24 ··· 70 下一页
摘要: 本文将全面讲解数仓建设规范,从数据模型规范,到数仓公共规范,数仓各层规范,最后到数仓命名规范,包括表命名,指标字段命名规范等! 一、数据模型架构原则 1、数仓分层原则 优秀可靠的数仓体系,往往需要清晰的数据分层结构,即要保证数据层的稳定又要屏蔽对下游的影响,并且要避免链路过长。那么问题来了,一直在讲 阅读全文
posted @ 2022-06-29 17:49 ministep88 阅读(360) 评论(0) 推荐(0) 编辑
摘要: 一、业务背景 今天给大家分享一下我们在公司里,面向多个业务团队设计的数据中心架构,他是如何一步一步的从多业务团队数据现状分析开始,然后逐步的演化设计出一个数据中心架构来的,希望能帮助大家对现在很流行的数据中心这个概念构建起来系统化的认知。 首先跟大家说一下在没有数据中心的时候,公司里的各个业务团队是 阅读全文
posted @ 2022-06-29 17:30 ministep88 阅读(653) 评论(0) 推荐(0) 编辑
摘要: [摘要] 当你的mac提示“打不开xxx,因为Apple无法检查其是否包含恶意软件...”时,一般是由于你下载了非App […] 当你的mac提示“打不开xxx,因为Apple无法检查其是否包含恶意软件...”时,一般是由于你下载了非App Store且不受苹果信任的开发者的软件,怎么解决呢? 其实 阅读全文
posted @ 2022-06-29 15:18 ministep88 阅读(1332) 评论(0) 推荐(0) 编辑
摘要: 图片管理软件,先后也使用过 Eagle 、Billfish 等软件,就迫不及待进行了测试。 文章尾部赠送 10 个邀请码,问开发者要的。 初次使用 Pixcall 软件,它的界面风格,给我的感觉是很舒服那种,你说不出哪里优化的很好,也说不出它的配色多么的优秀,但是感觉就是舒服,就这么简单。 一、视觉 阅读全文
posted @ 2022-06-29 15:17 ministep88 阅读(469) 评论(0) 推荐(0) 编辑
摘要: 参考: [记一次微信公众号爬虫的经历(微信文章阅读点赞的获取) | Wnma's Blogs](https://wnma3mz.github.io/hexo_blog/2017/11/18/%E8%AE%B0%E4%B8%80%E6%AC%A1%E5%BE%AE%E4%BF%A1%E5%85%AC% 阅读全文
posted @ 2022-06-21 22:22 ministep88 阅读(996) 评论(0) 推荐(0) 编辑
摘要: pandas多列变一列或者多行变一行 合并重复的行 queryset = read_query_sql_cloud(query_sql) df = pd.DataFrame(queryset) def formatRecords(g): result = [] item=g.to_dict() re 阅读全文
posted @ 2022-06-20 20:47 ministep88 阅读(381) 评论(0) 推荐(0) 编辑
摘要: 有的时候需要在scrapy工程里面运行多个爬虫,试用了网上两种方法。 运行环境:scrapy:2.3.0 + python3.8 第一种: # coding:utf-8 from scrapy import cmdline cmdline.execute("scrapy crawl spider1" 阅读全文
posted @ 2022-06-20 19:20 ministep88 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 参考:[(36条消息) windows查看某目录所有子目录大小的方法_YANGYYID的博客-CSDN博客_windows查看目录大小](https://blog.csdn.net/YANGYYID/article/details/102658062) 有以下两个方法查看所有子目录大小,还可以手动清 阅读全文
posted @ 2022-06-19 15:05 ministep88 阅读(4119) 评论(0) 推荐(0) 编辑
摘要: cmd窗口操作 "C:\Program Files\7-Zip\7z.exe" a G:\backups\windows_localhost\backup_p11.zip D:\code\python -xr!*\venv\* -xr!*\.git\* -xr!*\.ipynb_checkpoint 阅读全文
posted @ 2022-06-19 13:51 ministep88 阅读(77) 评论(1) 推荐(0) 编辑
摘要: [zip -x排除文件 - 技术颜良 - 博客园](https://www.cnblogs.com/cheyunhua/p/14462346.html) zip -r httpdocs.zip httpdocs -x *cache* 上面的命令将压httpdocs目录下的所有文件和目录,除了命名为c 阅读全文
posted @ 2022-06-19 13:34 ministep88 阅读(310) 评论(0) 推荐(0) 编辑
上一页 1 ··· 16 17 18 19 20 21 22 23 24 ··· 70 下一页
网站更新内容:请访问:https://bigdata.ministep.cn/