蝙蝠岛资源网

golang实战之truncate日志文件详解
脚本专栏 2025/10/31 佚名
2 0
蝙蝠岛资源网 Design By www.hbtsch.com

前言

有时候我们生成的日志文件很大，如果文件过大，或者磁盘空间有限，那么我们就需要把日志文件改小一点。

(当然实际应用场景中，一般采用log rotate的方式实现多个日志文件，定期把旧的日志文件挪走或者删除)

现在我们考虑如何把日志文件变小的场景。

首先想到的是文件truncate，遗憾的是truncate是把新的内容删掉，而不是把旧的内容删掉；因为通常我们的做法是要把旧的日志内容删除，而保留最新的日志内容。

方法1：拷贝文件，然后把前半部分删除，保留新的后半部分

$ wc -l logfile
$ tail -n {LINENUM}/2 logfile > logfile2
$ mv logfile2 logfile

缺点是需要额外的临时磁盘空间(logfile2)，保留新拷贝的文件

方法2：把日志文件读入内存，截去前半部分，把后半部分重新写会文件。

缺点也是要创建一个临时文件，或者把整个文件内容一次性读入内存。

下面是一个实现创建临时文件的例子：

(如果采用整个文件读入内存，那么可以重复覆盖使用原来的读入文件，不用创建临时文件)：

package main

import (
 "bufio"
 "log"
 "io"
 "os"
)

func ReadLine(r *bufio.Reader, w *bufio.Writer) error {
 for i := 0; ; i++ {
  line, err := r.ReadString('\n')
  if i >= 12554364/2 { // this number is hard-codes just for example use
   if _,err := w.WriteString(line); err != nil {
    log.Fatal(err)
   }
  }

  if err != nil {
   if err == io.EOF {
    return nil
   }
   return err
  }
 }
 return nil
}

func main() {
 fin, err := os.Open("data.in")
 if err != nil {
  log.Fatal(err)
 }
 defer fin.Close()

 fout, err := os.Create("data.dat")
 if err != nil {
  log.Fatal(err)
 }
 defer fout.Close()

 reader := bufio.NewReader(fin)
 writer := bufio.NewWriter(fout)
 if err := ReadLine(reader, writer); err != nil {
  log.Fatal(err)
 }
 writer.Flush()
}

运行：

对于1G大小的日志文件，在我的Linux上执行时间大约是：

$ go build && time ./main
real 0m6.972s
user 0m4.668s
sys  0m2.055s

方法3：也是利用文件，把文件mmap映射到内存，然后使用copy函数覆盖内存。

缺点是，mmap操作日志文件不能过大。

下面是一个实现的代码例子：

package main

import (
 "fmt"
 "log"
 "os"
 "syscall"
)

// Truncate file to half size, with line aligned.
func truncateText(f *os.File) error {
 fi, err := f.Stat()
 if err != nil {
  return err
 }

 mem, err := syscall.Mmap(int(f.Fd()), 0, int(fi.Size()), syscall.PROT_READ|syscall.PROT_WRITE, syscall.MAP_SHARED)
 if err != nil {
  return err
 }

 size := fi.Size()
 if size <= 1 {
  // Don't need to truncate file if it's too small
  return nil
 }

 trun := size/2 - 1
 for ; trun < fi.Size(); trun ++ {
  if mem[trun] == '\n' {
   break
  }
 }

 //fmt.Printf("size=%d, trun=%d\n", size, trun)
 if trun >= size - 1 {
  trun = size/2
 } else {
  trun = trun + 1
 }

 // Overwrite file content
 copy(mem[0:], mem[trun:])
 
 err = syscall.Munmap(mem)
 if err != nil {
  return err
 }

 // truncate file
 f.Truncate(fi.Size() - trun)

 // reset file offset
 f.Seek(trun,0)

 return nil
}


func main() {
 path := "data.dat"

 f, err := os.OpenFile(path, os.O_RDWR|os.O_CREATE, 0644)
 if err != nil {
  fmt.Println("Cannot create file")
  log.Fatal(err)
 }

 err = truncateText(f)
 if err != nil {
  fmt.Println("Cannot truncateLog file")
  log.Fatal(err)
 }

 f.Write([]byte("ABCD"))
 f.Close()
}

函数truncateText的功能就是把文件截取到原来的一半大小，并保持按行对齐；分如下几步：

  • 先把文件映射syscall.Mmap 到内存。
  • 查找到中间行的位置。
  • 然后用内置函数copy，把中间行以后的挪动到文件开始位置。
  • 修改文件的大小file.Truncate
  • 重置文件的偏移指针offset
  • 取消文件映射syscall.Munmap

运行：

对于1G大小的日志文件，在我的Linux上执行时间大约是：

$ go build && time ./main
real 0m1.861s
user 0m0.335s
sys  0m0.650s

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。

标签：
golang,truncate,golang,日志文件,go,time,truncate
蝙蝠岛资源网 Design By www.hbtsch.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
蝙蝠岛资源网 Design By www.hbtsch.com

评论“golang实战之truncate日志文件详解”

暂无golang实战之truncate日志文件详解的评论...
www.hbtsch.com 蝙蝠岛资源网
139,976影音资源
144,792福利资源
21,817软件资源
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 MicroAirGrinder 南强小屋 幽灵资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 HerbalExtract 蝙蝠岛资源网 白云城资源网 天枫庄资源网 无争山庄资源网 HerbalExtracts FoodColouring NaturalHerbal HerbalOnline NaturalColouring 更多链接
蝙蝠岛资源网 Design By www.hbtsch.com