02 2024 档案
摘要:今天建民老师在课上给我们推荐了几篇关于架构的博客,读后我收获了许多 首先什么是架构呢,我个人理解是复杂问题简单化,简单问题流程化。将一个整体切分成不同的部分,各个部分之间相互联系,共同组成整体,并且由不同的人担任不同的部分分工,提高整个系统效率,完成这个整体所需要的所有活动。 其次,为什么会产生架构
阅读全文
摘要:今天完成所有spark实验,主要困难是训练模型预测收入方面以及超参数调优
阅读全文
摘要:今天继续spark实验,对于flume还是有点不懂,但是感觉聊天室原理就是这样
阅读全文
摘要:今天继续学习spark,如何进行dataFrame的转换 1. 什么是DataFrame DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔值等)。DataFrame既有行索引也有列索引,它可以被看做由series组成的字典(共用同一个索引) 2
阅读全文
摘要:今天新配置了一台虚拟机,准备进行基于docker的直播平台搭建 设置主机名 hostnamectl set-hostname node8 修改配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="Ethernet"PROXY_METHOD
阅读全文
摘要:今天学习爬虫,了解了scrapy 新建项目 (scrapy startproject xxx):新建一个新的爬虫项目 明确目标 (编写items.py):明确你想要抓取的目标 制作爬虫 (spiders/xxspider.py):制作爬虫开始爬取网页 存储内容 (pipelines.py):设计管道
阅读全文