上一页 1 2 3 4 5 6 ··· 69 下一页
2023年5月6日
[HiBench] 安装HiBench，测试在Spark上跑PageRank与修改源码测试
摘要： [HiBench] 安装HiBench，测试在Spark上跑PageRank与修改源码测试 背景：我想在HiBench上测试在Spark上跑PageRank性能，并想要修改PageRank的源码进行测试。本来，HiBench在README里写的已经挺清楚的了，直接照着做就行。奈何我用的服务器没有珂学 阅读全文
posted @ 2023-05-06 15:39 CQzhangyu 阅读(258) 评论(0) 推荐(0) 编辑
[Hadoop] 在集群中安装Hadoop
摘要： [Hadoop] 在集群中安装Hadoop 类似的教程其实有很多，网上随便一搜就是一大把。这里简单的记录一下本人的安装过程，留给本人或者后人参考。 集群配置 内网互联的三台机器，IP分别为10.0.0.1,10.0.0.2,10.0.0.3。 我们的目标配置是让10.0.0.1做主节点，也就是mas 阅读全文
posted @ 2023-05-06 15:05 CQzhangyu 阅读(33) 评论(0) 推荐(0) 编辑
2023年4月27日
[CMake] 寻找一个动态链接库的所在路径
摘要： [CMake] 寻找一个链接库的所在路径 背景（可跳过） 由于之前犯病安装DOCA，导致我在编译DPDK时出现如下报错： fatal error: rxp-compiler.h: No such file or directory 这个rxp-compiler库并不是安装DPDK所必须的库，我用的集 阅读全文
posted @ 2023-04-27 21:52 CQzhangyu 阅读(432) 评论(0) 推荐(1) 编辑
[犯病记] 重新安装libc.so.6
摘要： # [犯病记] 重新安装libc.so.6 > 背景：有一天，我犯了个病，试图在一个机器上安装DOCA，然后安装程序就下了一堆库，把机器上的环境搞得一团糟，原来的DPDK也不能用了。DOCA的安装程序不仅重新安装了一大堆库，还更换了系统内核版本，修改了网卡配置，以及更换了网卡驱动（MLNX_OFED 阅读全文
posted @ 2023-04-27 21:29 CQzhangyu 阅读(2250) 评论(0) 推荐(0) 编辑
2023年4月20日
Linux切换内核版本
摘要： Linux切换内核版本 有些软件会对Linux内核的版本有要求。为此我们需要安装并切换到指定的内核版本。本文以5.4.0-26-generic为例。 参考：LayerStack Tutorials - LayerStack - How to change the default Boot Kerne 阅读全文
posted @ 2023-04-20 11:02 CQzhangyu 阅读(2347) 评论(0) 推荐(0) 编辑
2023年4月15日
[Mellanox] 安装MFT并配置网卡为以太网模式
摘要： [Mellanox] 安装MFT并配置网卡为以太网模式 当我们想要配置Mellanox网卡时，如果出现了下面情况： $ sudo mst start mst: command not found 这说明我们的系统中缺少MFT。 MFT是一套管理Mellanox网卡的工具，也是MLEX_OFED中的一 阅读全文
posted @ 2023-04-15 22:50 CQzhangyu 阅读(3875) 评论(0) 推荐(0) 编辑
2023年3月9日
[ssh] 本地访问远程服务器上的ui页面
摘要： [ssh] 本地访问远程服务器上的ui页面 问题：在我们使用某些系统（如Spark）时，系统本身会为我们提供一个ui界面，这个ui界面会默认开启在一个本地端口上（如localhost:8080）。通过这个ui界面，我们可以很方便地监视或者配置我们的系统。但是如果你的系统运行在远端的服务器上，你的服务 阅读全文
posted @ 2023-03-09 21:15 CQzhangyu 阅读(1250) 评论(0) 推荐(1) 编辑
2023年2月18日
[VScode] VScode Remote 报错：Could not establish connection to "workspace": Port forwarding is disabled.
摘要： VScode Remote 报错·Bug陈列 Could not establish connection to "workspace": Port forwarding is disabled. 这个网站中列举了一些可能的错误原因： https://stackoverflow.com/questi 阅读全文
posted @ 2023-02-18 19:44 CQzhangyu 阅读(205) 评论(0) 推荐(0) 编辑
2023年2月12日
[Spark] 用Maven构建Spark项目时可能出现的问题
摘要： [Spark] 用Maven构建Spark项目时可能出现的问题 至于如何安装Spark，这个网站写的很清楚：Apache Spark - Installation (tutorialspoint.com) 另外建议阅读官方文档。里面介绍了如何快速构建一个Spark项目。 这里我想Maven来构建一个 阅读全文
posted @ 2023-02-12 20:01 CQzhangyu 阅读(209) 评论(0) 推荐(0) 编辑
2022年12月6日
[杂记] 01背包记录路径
摘要： [杂记] 01背包记录路径 众所周知，01背包的时间复杂度是O(nm)（n为物品数量，m为背包容量），空间复杂度是O(m)。如果还需要输出最优解中的所有物品的话，时间复杂度不变，空间复杂度呢？ 你的第一反应可能是：我很快就可以给出一个空间复杂度也是O(m)的算法啊？ 但实际上这个算法是有 阅读全文
posted @ 2022-12-06 14:28 CQzhangyu 阅读(430) 评论(0) 推荐(1) 编辑
2022年12月2日
[DPDK] 创建hash表时报错·Bug陈列
摘要： [DPDK] 创建hash表时报错·Bug陈列 在使用DPDK的rte_hash_create时，出现如下报错。 RING: Cannot reserve memory HASH: memory allocation failed [ERRO] Unable to create hash_table 阅读全文
posted @ 2022-12-02 16:43 CQzhangyu 阅读(380) 评论(0) 推荐(0) 编辑
[DPDK] 多队列同时从网卡接收数据
摘要： [DPDK] 多队列同时从网卡接收数据 在DPDK中，如何让多个核/多个接收队列同时从一个网卡接收数据呢？ 其实很简单，在port_conf里开启一个mq_mode选项就行了。 struct rte_eth_conf port_conf_default = { .rxmode = { .mq_mod 阅读全文
posted @ 2022-12-02 16:38 CQzhangyu 阅读(1175) 评论(0) 推荐(0) 编辑
2022年11月18日
[gRPC] 使用gRPC异步通信时报错·Bug陈列
摘要： [gRPC] 使用gRPC异步通信时报错·Bug陈列 [Bug陈列]系列希望分享一些我自己写过的Bug，用于加深记忆以及帮助其他遇到类似Bug的人。 Bug#1： 在使用gRPC异步通信时，出现这样的报错 pure virtual method called terminate called wit 阅读全文
posted @ 2022-11-18 14:02 CQzhangyu 阅读(471) 评论(0) 推荐(0) 编辑
2022年11月10日
[CMake/gRPC] 用CMake构建gRPC项目
摘要： [CMake/gRPC] 用CMake构建gRPC项目 首先，gRPC的安装本身就是一件很麻烦的事。由于众所周知的原因，直接git clone gRPC是相当慢且成功率低的。目前个人的建议是在一个代理良好的环境中下载好gRPC，再通过scp传到其他服务器上。 如果你遵循着官网教程去安装gRPC，你应 阅读全文
posted @ 2022-11-10 23:15 CQzhangyu 阅读(1601) 评论(0) 推荐(0) 编辑
[gRPC] 关闭异步服务器
摘要： [gRPC] 关闭异步服务器 在grpc的异步模式下，如何正确的关闭grpc服务呢？ 一般来讲，我们使用异步模式时grpc会写一个主循环，轮询所有请求 void* tag; bool ok; while (likely(!(*force_quit))) { // 参见代码规范中的中断处理 cq.Ne 阅读全文
posted @ 2022-11-10 21:49 CQzhangyu 阅读(299) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 69 下一页
点击右上角即可分享
微信分享提示