Golang定制化zap日志库使用过程分析

2023-03-31 11:13 开发作者：捶捶自己

前言

本文主要介绍Go语言日志库如何简易定制化，以及如何在开发中使用。

为什么需要日志

一个产品的诞生一定是因为有需求！新技术大部分都是为了更加便利和实用而诞生的，日志也不例外。日志顾名思义就是对整个项目的事件进行记录。日志可以帮助我们查看某一天中某一时刻项目的运转情况等等。

日志的好处

在日常开发过程中难免会遇到BUG出现的情况，日志可以记录这些BUG出现的地点从而方便进行快速定位和排查。可以根据需求对日志进行自定义的输出，比如输出到控制台、文件等。日志也可以帮助我们在开发过程中检测到程序潜在的问题和程序运行的流程，能够有效的提高我们的开发效率。

日志都有什么

要让程序记录有效的，便利的日志。** Logger (日志记录器) 应该具备以下特点**：

可以将日志信息输出到控制台、文件等地方，输出到文件便于项目长久运行，输出到控制台有助于开发过程中检错的效率。
一个日志应该具有多个基本的级别，比如info，debug，warn，error，fatal等，他们可以对日志进行分类。
可以对日志进行切割，按照日志大小、日期、时间间隔等因素分割。
可以手动或自动记录一些开发信息。如前端传入的数据，异常错误信息，程序运行结果，错误行数，日志打印位置等等信息进行打印。

Go中默认的日志

Go语言中默认集成了一个log日志库

func New(out io.Writer, prefix string, flag int) *Logger {
   l := &Logger{out: out, prefix: prefix, flag: flag}
   if out == io.Discard {
      l.isDiscard = 1
   }
   return l
}

使用New可以获取到该日志对象。第一个参数为实现了Writer接口的对象。可以使用os.OpenFile()选择一个文件，然后将该文件对象作为输出，也可以使用os.Stdout或os.Stderr输出到控制台。第二个参数需要传入一个日志信息每一行的前缀(如果输出到控制台该处可以填空字符串)。第三个参数是设置打印默认信息的能力，比如打印时间等。

测试日志

var l *log.Logger
func main() {
	l.Printf("main method exec fail, err: %v", errors.New("nil Pointer error"))
	l.Println("test go log status")
	l.Fatal("wait five seconds")
	time.Sleep(time.Second * 5)
	l.Println("five seconds after!")
}
func init() {
	l = log.New(os.Stdout, "[我是一个前缀]", log.LstdFlags)
}

打印信息

[我是一个前缀]2023/02/10 21:15:22 main method exec fail, err: nil Pointer error

[我是一个前缀]2023/02/10 21:15:22 test go log status

[我是一个前缀]2023/02/10 21:15:22 wait five seconds

// Fatal is equivalent to l.Print() followed by a call to os.Exit(1).
func (l *Logger) Fatal(v ...any) {
   l.Output(2, fmt.Sprint(v...))
   os.Exit(1)
}

在Fatal之后的程序均不会执行，因为Fatal执行后会在内部调用os.Exit(1)，从而在打印结束后退出进程。

goLogger的不足

日志级别只支持Fatal，只有一个Print函数，没有其他级别
日志自定义参数过少，无法打印栈信息，无法确定请求位置等
Fatal和Painc都是执行后退出，无法容忍错误情况的出现就会退出程序
无法指定输出格式，只能以文本形式进行输出，没有根据日志大小、时间间隔、日期进行分割的能力

虽然gologger支持并发，但也只限于简单用着还行，实际开发用起来并不舒服的情况。

Zap日志库

引入日志库依赖

go get -u go.uber.org/zap

zap日志库是Uber开源的。性能很好，因为不用反射实现，但需要自己去手动指明打印信息的类型（下面会有示例）。个人觉得自己指定打印还是挺舒服的。zap的使用率非常高，不仅支持日志库的基本功能，而且很灵活的支持开发者_开发入门你去进一步的封装或者定制化。zap支持异步打印。

如何使用zap

格式化配置

func NewDevelopmentEncoderConfig() zapcore.EncoderConfig
func NewproductionEncoderConfig() zapcore.EncoderConfig
func NewProductionConfig() Config
func NewDevelopmentConfig() Config

这里可以根据实际生产和测试环境需求进行选择，也可以直接使用其他初始化方式。

// NewProductionEncoderConfig returns an opinionated EncoderConfig for
// production environments.
func NewProductionEncoderConfig() zapcore.EncoderConfig {
   return zapcore.EncoderConfig{
       // 设置log内容里的一些javascript属性的key
      TimeKey:        "ts",//时间对应的key名
      LevelKey:       "level",//日志级别对应的key名
      NameKey:        "logger",//logger名对应的key名
      CallerKey:      "caller",//调用者对应的key名
      FunctionKey:    zapcore.OmitKey,
      MessageKey:     "msg",//日志内容对应的key名，此参数必须不为空，否则日志主体不处理
      StacktraceKey:  "stacktrace",//栈追踪的key名
       // const DefaultLineEnding = "\n" 行末输出格式
      LineEnding:     zapcore.DefaultLineEnding,
       // 日志编码级别
      EncodeLevel:    zapcore.LowercaseLevelEncoder,
       // 日志时间解析
      EncodeTime:     zapcore.EpochTimeEncoder,
       // 日志日期解析
      EncodeDuration: zapcore.SecondsDurationEncoder,
       // 日志调用路径
      EncodeCaller:   zapcore.ShortCallerEncoder,
   }
}

使用NewProductionEncoderConfig()创建的 Logger 在记录日志时会自动记录调用函数的信息、打日志的时间，日志级别等信息。

EncodeLevel

// A LevelEncoder serializes a Level to a primitive type.
type LevelEncoder func(Level, PrimitiveArrayEncoder)
// 将日志级别进行大写并带上颜色
func CapitalColorLevelEncoder(l Level, enc PrimitiveArrayEncoder)
// 将日志级别大写不带颜色
func CapitalLevelEncoder(l Level, enc PrimitiveArrayEncoder)
// 将日志级别小写带上颜色
func LowercaseColorLevelEncoder(l Level, enc PrimitiveArrayEncoder)
// 将日志级别小写不带颜色
func LowercaseLevelEncoder(l Level, enc PrimitiveArrayEncoder)

需要实现LevelEncoder接口。可以调整日志编码级别，并且选择带上或者不带输出颜色。

EncodeTime

// A TimeEncoder serializes a time.Time to a primitive type.
type TimeEncoder func(time.Time, PrimitiveArrayEncoder)
// 根据不同时间进行格式化
func EpochTimeEncoder(t time.Time, enc PrimitiveArrayEncoder)
func EpochMillisTimeEncoder(t time.Time, enc PrimitiveArrayEncoder)
func EpochNanosTimeEncoder(t time.Time, enc PrimitiveArrayEncoder)

定制化时间格式解析，需要实现编程客栈TimeEncoder接口。

EncodeDruation

// A DurationEncoder serializes a time.Duration to a primitive type.
type DurationEncoder fun编程c(time.Duration, PrimitiveArrayEncoder)
// 将日期根据不同时间进行格式化
func SecondsDurationEncoder(d time.Duration, enc PrimitiveArrayEncoder)
func NanosDurationEncoder(d time.Duration, enc PrimitiveAhttp://www.devze.comrrayEncoder)
func MillisDurationEncoder(d time.Duration, enc PrimitiveArrayEncoder)
func StringDurationEncoder(d time.Duration, enc PrimitiveArrayEncoder)

定制日期格式解析。需要实现DruationEncoder接口

定制化zap

编码格式

encoderConfig := zap.NewProductionEncoderConfig()
// 打印级别为大写 & 彩色
encoderConfig.EncodeLevel = zapcore.CapitalColorLevelEncoder
// 时间编码进行指定格式解析 layout -> "[2006-01-02 15:04:05]"
encoderConfig.EncodeTime = parseTime(settings.Conf.Layout)

修改日志打印级别和时间编码格式

// parseTime 进行时间格式处理
func parseTime(layout string) zapcore.TimeEncoder {
   return func(t time.Time, enc zapcore.PrimitiveArrayEncoder) {
      type appendTimeEncoder interface {
         AppendTimeLayout(time.Time, string)
      }
      if enc, ok := enc.(appendTimeEncoder); ok {
         enc.AppendTimeLayout(t, layout)
         return
      }
      enc.AppendString(t.Format(layout))
   }
}

实现zapcore.TimeEncoder接口，将指定的Layout参数进行传入实现闭包即可。

日志分割

// 日志输出配置, 借助另外一个库 lumberjack 协助完成日志切割。
lumberjackLogger := &lumberjack.Logger{
   Filename:   settings.Conf.Filename,   // -- 日志文件名
   MaxSize:    settings.Conf.MaxSize,    // -- 最大日志数 M为单位!!!
   MaxAge:     settings.Conf.MaxAge,     // -- 最大存在天数
   MaxBackups: settings.Conf.MaxBackups, // -- 最大备份数量
   Compress:   false,                    // --是否压缩
}
syncer := zapcore.AddSync(lumberjackLogger)

zap日志本身不支持日志切割，借助另外一个库 lumberjack 协助完成日志切割。

// -- 用于开发者模式和生产模式之间的切换
var core zapcore.Core
if settings.Conf.AppConfig.Mode == "debug" {
   encoder := zapcore.NewConsoleEncoder(encoderConfig) // 输出控制台编码格式
   core = zapcore.NewTee(
      zapcore.NewCore(encoder, syncer, zapcore.DebugLevel), // debug级别打印到日志文件
      zapcore.NewCore(encoder, zapcore.Lock(os.Stdout), zapcore.DebugLevel), // debug级别打印到控制台
   )
} else {
   encoder := zapcore.NewjsONEncoder(encoderConfig)// 输出Json格式，便于日志检索
   core = zapcore.NewCore(encoder, syncer, zapcore.InfoLevel)// info级别打印到日志文件
}
lg := zap.New(core, zap.AddCaller()) // --添加函数调用信息

根据配置信息去选择具体打印需求。

zap.ReplaceGlobals(lg)               // 替换该日志为全局日志
var (
	_globalMu sync.RWMutex
	_globalL  = NewNop()
)
// L returns the global Logger, which can be reconfigured with ReplaceGlobals.
// It's safe for concurrent use.
func L() *Logger {
	_globalMu.RLock()
	l := _globalL
	_globalMu.RUnlock()
	return l
}

设置该日志为全局日志，将原日志进行替换，即可在任意位置使用zap.L()调用该日志。

完整代码

// init 初始化日志库
func init() {
   encoderConfig := zap.NewProductionEncoderConfig()
   // 打印级别为大写 & 彩色
   encoderConfig.EncodeLevel = zapcore.CapitalColorLevelEncoder
   // 时间编码进行指定格式解析
   encoderConfig.EncodeTime = parseTime(settings.Conf.Layout)
   // 日志输出配置, 借助另外一个库 lumberjack 协助完成日志切割。
   lumberjackLogger := &lumberjack.Logger{
      Filename:   settings.Conf.Filename,   // -- 日志文件名
      MaxSize:    settings.Conf.MaxSize,    // -- 最大日志数 M为单位!!!
      MaxAge:     settings.Conf.MaxAge,     // -- 最大存在天数
      MaxBackups: settings.Conf.MaxBackups, // -- 最大备份数量
      Compress:   false,                    // --是否压缩
   }
   syncer := zapcore.AddSync(lumberjackL编程客栈ogger)
   // -- 用于开发者模式和生产模式之间的切换
   var core zapcore.Core
   if settings.Conf.AppConfig.Mode == "debug" {
      encoder := zapcore.NewConsoleEncoder(encoderConfig)
      core = zapcore.NewTee(
         zapcore.NewCore(encoder, syncer, zapcore.DebugLevel),
         zapcore.NewCore(encoder, zapcore.Lock(os.Stdout), zapcore.DebugLevel),
      )
   } else {
      encoder := zapcore.NewJSONEncoder(encoderConfig)
      core = zapcore.NewCore(encoder, syncer, zapcore.InfoLevel)
   }
   lg := zap.New(core, zap.AddCaller()) // --添加函数调用信息
   zap.ReplaceGlobals(lg)               // 替换该日志为全局日志
}
// parseTime 进行时间格式处理
func parseTime(layout string) zapcore.TimeEncoder {
   return func(t time.Time, enc zapcore.PrimitiveArrayEncoder) {
      type appendTimeEncoder interface {
         AppendTimeLayout(time.Time, string)
      }
      if enc, ok := enc.(appendTimeEncoder); ok {
         enc.AppendTimeLayout(t, layout)
         return
      }
      enc.AppendString(t.Format(layout))
   }
}

测试日志打印情况

zap.L().Info("test info", zap.String("test String", "ok"), zap.Int("test cnt", 1))
zap.L().Debug("test debug", zap.String("test String", "ok"), zap.Int("test cnt", 2))
zap.L().Error("test error", zap.String("test String", "ok"), zap.Int("test cnt", 3))

[2023-02-10 22:22:17] INFO xxxxx/main.go:22 test info {“test String”: “ok”, “test cnt”: 1}

[2023-02-10 22:22:17] DEBUG xxxxx/main.go:23 test debug {“test String”: “ok”, “test cnt”: 2}

[2023-02-10 22:22:17] ERROR xxxxx/main.go:24 test error {“test String”: “ok”, “test cnt”: 3}

这里就是上述所说的自指定类型进行输出的情况。

结合gin框架进行使用

虽然gin框架有自带的logger中间件，但我们可以根据gin框架实现的原生日志和异常恢复中间件进行改造并进行替换。

Loger

// GinLogger 替换gin中默认的logger
func GinLogger() gin.HandlerFunc {
	return func(c *gin.Context) {
		start := time.Now()
		path := c.Request.URL.Path
		query := c.Request.URL.RawQuery
		c.Next()
	cost := time.Since(start)
	if c.Writer.Status() != http.StatusOK {
		// 记录异常信息
		zap.L().Error(query,
			zap.Int("status", c.Writer.Status()),
			zap.String("method", c.Request.Method),
			zap.String("path", path),
			zap.String("ip", c.ClientIP()),
			zap.String("user-agent", c.Request.UserAgent()),
			zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
			zap.Duration("cost", cost),
		)
	}
}

如果有错误请求，只要不是状态码为200的全部进行打印->状态码、请求方法（get、post…）、路径、ip、用户授权方、错误信息、请求花费时间。

// GinRecovery recover掉项目可能出现的panic
func GinRecovery(stack bool) gin.HandlerFunc {
	return func(c *gin.Context) {
		defer func() {
			if err := recover(); err != nil {
				// Check for a broken connection, as it is not really a
				// condition that warrants a panic stack trace.
				var brokenPipe bool
				if ne, ok := err.(*net.OpError); ok {
					if se, ok := ne.Err.(*os.SyscallError); ok {
						if strings.Contains(strings.ToLower(se.Error()), "broken pipe") ||
							strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
							brokenPipe = true
						}
					}
				}
				httpRequest, _ := httputil.DumpRequest(c.Request, false)
				if brokenPipe {
					zap.L().Error(c.Request.URL.Path,
						zap.Any("error", err),
						zap.String("httpRequest", string(httpRequest)),
					)
					// If the connection is dead, we can't write a status to it.
					c.Error(err.(error)) // nolint: errcheck
					c.Abort()
					return
				}
                // 这里可以选择全部打印出来不必要分割然后循环输出
				request := strings.Split(string(httpRequest), "\r\n")
				split := strings.Split(string(debug.Stack()), "\n\t")
				if stack {
					zap.L().Error("[Recovery from panic]",
						zap.Any("error", err))
					for _, str := range request {
						zap.L().Error("[Recovery from request panic]", zap.String("request", str))
					}
					for _, str := range split {
						zap.L().Error("[Recovery from Stack panic]", zap.String("stack", str))
					}
				} else {
					zap.L().Error("[Recovery from panic]",
						zap.Any("error", err))
					for _, str := range request {
						zap.L().Error("[Recovery from request panic]", zap.String("request", str))
					}
				}
				c.AbortWithStatus(http.StatusInternalServerError)
			}
		}()
		c.Next()
	}
}

这里在Panic的时候我采用了分割循环打印的方法，也可以全部输出，但是一堆异常情况，不容易看清楚。也可以选择不打印栈轨迹输出，只需要在使用recover中间件时传入false参数即可。

小结

zap日志可以灵活的定制时间、编码输出格式、颜色等信息。

zap日志级别丰富，不利用反射，效率高，但需要手动对类型进行定义。

到此这篇关于golang定制化zap日志库使用过程分析的文章就介绍到这了,更多相关Go定制化zap日志库内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

继续阅读：Go zap日志库 Go定制zap日志库

Golang定制化zap日志库使用过程分析

目录

前言

为什么需要日志

日志的好处

日志都有什么

Go中默认的日志

测试日志

打印信息

goLogger的不足

Zap日志库

引入日志库依赖

如何使用zap

格式化配置

EncodeLevel

EncodeTime

EncodeDruation

定制化zap

编码格式

日志分割

完整代码

测试日志打印情况

结合gin框架进行使用

小结

更多精彩内容

精彩评论

最新开发

如何实现Python编写的图形界面可以自由拖动

mysql字符集引起的java.sql.SQLException:Incorrect string value:问题

解决Feign异步调用丢失上下文问题

python模拟重载初始化函数的方法详解

SQL注入攻击及其在SpringBoot中使用MyBatisPlus的防范策略的方法

开发排行榜

springboot后端存储富文本内容的思路与步骤(含图片内容)

PyCharm运行python测试,报错“没有发现测试”/“空套件”的解决

return base64.b64encode(b).decode(

基于C语言实现钻石棋游戏的示例代码

Sublime Text 3解决中文乱码问题（实测可用）