删除文章

确定要删除这篇文章吗?

取消
确定

go 分批读取http应答数据

     阅读(68)  2019-09-06 17:38:10

我们读取http应答通常用:

ioutil.ReadAll(resp.Body)

很好用也很方便,但是如果应答的包很大时(下载文件),不仅会分配很大的内存而且慢。 所以我们需要分批读取,每次读取一块直到所有应答读取完成。

代码如下:

func ReadChunk(r io.Reader, maxChunkSize int, chanChunk chan<- []byte) {
    for {
        buf := make([]byte, maxChunkSize)
        n, err := r.Read(buf)
        if n < 0 {
            break
        }
        if err != nil && err != io.EOF {
            break
        }
        chanChunk <- buf[:n]
        if err == io.EOF {
            break
        }
    }
    close(chanChunk)
}
  • 注意当读到io.EOF时不能立马退出,它还是会返回一部分数据的;
  • 用chan的好处是可以单独开启goroutine下载,一边读一边写;

如下,可以这样处理数据:

    chanChunk := make(chan []byte, 5)
    go ReadChunk(resp.Body, maxUploadSize/2, chanChunk)
    total := 0
    for chunk := range chanChunk {
        total += len(chunk)
        goutil.PanicIfErr(goutil.WriteFileAppend(to, chunk))
        fmt.Printf("\r%d %s\t", total, goutil.FormatBytes(float64(total)))
    }

文章评论

Keep it simple,stupid
文章数
300
总访问量
444234
今日访问
572
最近评论

xuehaoyun : 很不错,来围观一下
tujiaw : 抱歉csdn code服务关闭了,这个代码我也找不到了
于淞 : 你好,这个文章的源码能分享一下吗,songsong9181@163.com,谢谢了 上面的写错了
于淞 : 你好,这个文章的源码能分享一下吗,838106303@163.com,谢谢了 上面的链接不能用了
tujiaw : 多谢多谢
essaypinglun college-paper.org : 很好的博客,赞赞
Folly : 这个实现有点奇怪,Qt为什么没有统一的比对方法。
过多s : alert("hello, world!")
tujiaw : 还不错哦
回到顶部