将所有celery任务的日志消息发送到单个文件

将所有celery任务的日志消息发送到单个文件

注意：此答案在Celery
3.0上已经过时，现在您可以在此处使用它

get_task_logger()

来设置每任务记录器。有关详细信息，请参见“
Celery
3.0的新增功能”文档的“日志记录”部分。

---

Celery为每个任务提供了专门的日志记录支持。请参阅有关此主题的任务文档：

您可以使用工作日志记录器将诊断输出添加到工作日志：

@celery.task()def add(x, y):    logger = add.get_logger()    logger.info("Adding %s + %s" % (x, y))    return x + y

有多个日志记录级别可用，并且worker日志级别设置决定是否将它们写入日志文件。

当然，您也可以简单地使用print，因为任何写入标准out / -err的内容也将被写入日志文件。

在后台，这仍然是标准的python日志记录模块。您可以将

CELERYD_HIJACK_ROOT_LOGGER

选项设置为False，以允许您自己的日志记录设置起作用，否则Celery将为您配置处理方式。

但是，对于任务，

.get_logger()

调用确实允许您为每个单独的任务设置单独的日志文件。只需传入一个

logfile

参数，它将日志消息路由到该单独的文件：

@celery.task()def add(x, y):    logger = add.get_logger(logfile='tasks.log')    logger.info("Adding %s + %s" % (x, y))    return x + y

最后但并非最不重要的一点是，您可以在python日志记录模块中配置顶级程序包，并为其提供自己的文件处理程序。我将使用

celery.signals.after_setup_task_logger

信号进行设置；在这里，我假设您所有的模块都生活在一个名为

foo.tasks

（如

foo.tasks.email

和中

foo.tasks.scaling

）的包中：

from celery.signals import after_setup_task_loggerimport loggingdef foo_tasks_setup_logging(**kw):    logger = logging.getLogger('foo.tasks')    if not logger.handlers:        handler = logging.FileHandler('tasks.log')        formatter = logging.Formatter(logging.BASIC_FORMAT) # you may want to customize this.        handler.setFormatter(formatter)        logger.addHandler(handler)        logger.propagate = Falseafter_setup_task_logger.connect(foo_tasks_setup_logging)

现在，任何以名字开头的记录器

foo.tasks

都将发送其所有消息，

tasks.log

而不是发送到根记录器（由于

.propagate

False
，它不会看到任何这些消息）。