使用Go处理HTTP压缩文件数据总结
摘要：前言 最近遇到了一个HTTP请求返回一个gz压缩包的问题，前前后后搞了3天，总算是把整个流程以及处理的细节搞明白了，总结一篇博客记录分享一下。 问题描述几解决方案 流量方的优化 获取某推广告成效数据的时候由于数据量很多，可能会导致Response数据量过大从而造成请求失败的问题。 某推服务方设计了这
阅读全文
posted @
2021-01-30 17:58
江湖乄夜雨
阅读(916)
推荐(0) 编辑
使用unpackit包解压gz包遇到的一个问题与解决方案
摘要：问题描述 上一篇博客介绍了使用go解决文件压缩问题：使用Golang解压缩文件遇到的问题及解决方法 文中用到了unpackit这个第三方包。 但是，实际中我在解压文件的时候遇到了这样的情况：在电脑手动解压的文件大概有120多k，文件是完整的，但是使用代码解压之后的文件竟然只有4k！ 毫无疑问：文件中
阅读全文
posted @
2021-01-28 20:48
江湖乄夜雨
阅读(415)
推荐(0) 编辑
使用Golang解压缩文件遇到的问题及解决方法
摘要：问题描述 最近做广告业务获取某推的广告成效，与其他渠道不同的是，最终拿到的成效数据是一个压缩包的HTTP流数据。 将数据写入到本地生成了一个以.gz为后缀的压缩包文件，解压以后的文件存放着json格式的成效数据。 当然需要程序去解压缩这个压缩包获取里面的文件了。 内置tar包的问题 参考网上大佬们
阅读全文
posted @
2021-01-27 20:14
江湖乄夜雨
阅读(3162)
推荐(1) 编辑
Golang函数或方法传递nil值的一个坑
摘要：本文记录了下自己之前在做项目的时候遇到的函数或方法传递nil值的一个坑，后面会附上说明与解决方案。 错误示范 下面这个BaseRequestString函数主要实现的功能是：分别处理GET或POST请求，requestBody参数在GET请求时传nil，POST请求如果请求体里有数据的话需要处理一下
阅读全文
posted @
2021-01-20 11:48
江湖乄夜雨
阅读(1803)
推荐(0) 编辑
使用golang实现一个LRU进程缓存模块
摘要：文件 需要用到：container/list 模块。 // This files was copied/modified from https://github.com/hashicorp/golang-lru // which was (see below) // This package pro
阅读全文
posted @
2021-01-08 14:58
江湖乄夜雨
阅读(477)
推荐(0) 编辑
doris中的临时分区以及golang删除doris临时分区的操作
摘要：分区与临时分区文档 关于doris中的partition与temporary partition参考官方文档说明： http://doris.apache.org/master/en/getting-started/data-partition.html http://doris.apache.or
阅读全文
posted @
2021-01-07 16:43
江湖乄夜雨
阅读(3172)
推荐(0) 编辑
golang基础数据类型转换小结
摘要：平时工作中总会遇到基础数据类型之间的转换，比如将string类型的数字“3.1415926”转换成float64类型。而且在golang中不能像python那样直接使用内置函数直接强制转换，这里总结一下自己平时使用到的方法。 使用fmt.Sprintf将基础数据类型转化为字符串 非字符串的数据类型转
阅读全文
posted @
2021-01-05 16:30
江湖乄夜雨
阅读(559)
推荐(0) 编辑
