python通用日志使用小结

目录

• 背景
• 日志模块
• 日志使用

环境： python 3.10.x

背景

最近在进行数据处理方面的事。 对爬虫，数据处理任务加日志， 便于知晓任务是否正确执行以及发生的错误。

日志模块

spiphpder_log.py

import logging
frompython logging.handlers import TimedRotatingFileHandler
import os
cwd =  os.path.dirname(os.path.abspath(__file__))
log_path = os.path.join(cwd, "logs")
if not os.ppythonath.exists(log_path):
    os.mkdir(log_path)

logger = logging.getLogjsger()
logger.setLevel(logging.INFO)
ch = logging.StreamHandler()
#fh = logging.handlers.RotatingFileHandler(log_path, encoding='utf-8',qgPRm mode="a", maxBytes =30*1024*1024, backupCount =10)
fh = TimedRotatingFileHandler(filename= os.path.join(log_path, "spider.log"), when='midnight', backupCount=30)
fh.suffix = "%Y-%m-%d.log"
fh.encoding = "utf-8"

formatter = logging.Formatter(
    "%(asctime)s - %(module)s - %(funcName)s - line:%(lineno)d - %(levelname)s - %(message)s"
)

ch.setFormatter(formatter)
fh.setFormatter(formatter)
logger.addHandler(ch) #将日志输出至屏幕
logger.addHandler(fh) #将日志输出至文件

此处， 设置日志按照时间滚动保存， 每天一个日志文件。最多保留30天日志文件。

日志使用

1、import 日志模块

2、添加日志记录

test.py

from  spider_log import logger
import logging
import json

logger.log(msg=json.dumps({"Task":"product-spider","url":"https://example.com"}), level=logging.INFO)
logger.log(msg="Exception:  timeout 10s" , level=logging.ERROR)

说明：

有关日志的更多使用方法， 请查阅 python logging 的使用文档。此处只是个人笔记记录。

到此这篇关于python通用日志使用小结的文章就介绍到这了,更多相关python通用日志内容请搜索编程客栈(www.devze.com)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程客栈(www.devze.com)！