Log em Python: use milissegundos em formato de hora

Por padrão, logging.Formatter('%(asctime)s')imprime com o seguinte formato:

2011-06-09 10:54:40,638

onde 638 é o milissegundo. Preciso alterar a vírgula para um ponto:

2011-06-09 10:54:40.638

Para formatar a hora que posso usar:

logging.Formatter(fmt='%(asctime)s',datestr=date_format_str)

no entanto, a documentação não especifica como formatar milissegundos. Eu encontrei esta pergunta SO que fala sobre microssegundos, mas a) eu preferiria milissegundos eb) o seguinte não funciona no Python 2.6 (no qual estou trabalhando) devido ao %f:

logging.Formatter(fmt='%(asctime)s',datefmt='%Y-%m-%d,%H:%M:%S.%f')

Observe que a solução de Craig McDaniel é claramente melhor.

O formatTimemétodo do log de formatação é assim:

def formatTime(self, record, datefmt=None):
    ct = self.converter(record.created)
    if datefmt:
        s = time.strftime(datefmt, ct)
    else:
        t = time.strftime("%Y-%m-%d %H:%M:%S", ct)
        s = "%s,%03d" % (t, record.msecs)
    return s

Observe a vírgula em "%s,%03d". Isso não pode ser corrigido especificando a datefmtporque cté a time.struct_timee esses objetos não registram milissegundos.

Se mudarmos a definição de ctpara torná-lo um datetimeobjeto em vez de a struct_time, então (pelo menos nas versões modernas do Python) podemos chamar ct.strftimee então podemos usar %fpara formatar microssegundos:

import logging
import datetime as dt

class MyFormatter(logging.Formatter):
    converter=dt.datetime.fromtimestamp
    def formatTime(self, record, datefmt=None):
        ct = self.converter(record.created)
        if datefmt:
            s = ct.strftime(datefmt)
        else:
            t = ct.strftime("%Y-%m-%d %H:%M:%S")
            s = "%s,%03d" % (t, record.msecs)
        return s

logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)

console = logging.StreamHandler()
logger.addHandler(console)

formatter = MyFormatter(fmt='%(asctime)s %(message)s',datefmt='%Y-%m-%d,%H:%M:%S.%f')
console.setFormatter(formatter)

logger.debug('Jackdaws love my big sphinx of quartz.')
# 2011-06-09,07:12:36.553554 Jackdaws love my big sphinx of quartz.

Ou, para obter milissegundos, altere a vírgula para um ponto decimal e omita o datefmtargumento:

class MyFormatter(logging.Formatter):
    converter=dt.datetime.fromtimestamp
    def formatTime(self, record, datefmt=None):
        ct = self.converter(record.created)
        if datefmt:
            s = ct.strftime(datefmt)
        else:
            t = ct.strftime("%Y-%m-%d %H:%M:%S")
            s = "%s.%03d" % (t, record.msecs)
        return s

...
formatter = MyFormatter(fmt='%(asctime)s %(message)s')
...
logger.debug('Jackdaws love my big sphinx of quartz.')
# 2011-06-09 08:14:38.343 Jackdaws love my big sphinx of quartz.

Isso deve funcionar também:

logging.Formatter(fmt='%(asctime)s.%(msecs)03d',datefmt='%Y-%m-%d,%H:%M:%S')

Adicionar msegs foi a melhor opção, obrigado. Aqui está a minha alteração usando isso com o Python 3.5.3 no Blender

import logging
logging.basicConfig(level=logging.DEBUG, format='%(asctime)s.%(msecs)03d %(levelname)s:\t%(message)s', datefmt='%Y-%m-%d %H:%M:%S')
log = logging.getLogger(__name__)
log.info("Logging Info")
log.debug("Logging Debug")

A maneira mais simples que encontrei foi substituir default_msec_format:

formatter = logging.Formatter('%(asctime)s')
formatter.default_msec_format = '%s.%03d'

Depois de instanciar um Formattereu costumo definir formatter.converter = gmtime. Portanto, para que a resposta do @ unutbu funcione nesse caso, você precisará:

class MyFormatter(logging.Formatter):
    def formatTime(self, record, datefmt=None):
        ct = self.converter(record.created)
        if datefmt:
            s = time.strftime(datefmt, ct)
        else:
            t = time.strftime("%Y-%m-%d %H:%M:%S", ct)
            s = "%s.%03d" % (t, record.msecs)
        return s

Uma expansão simples que não requer o datetimemódulo e não é prejudicada como algumas outras soluções é usar a substituição simples de cadeias da seguinte maneira:

import logging
import time

class MyFormatter(logging.Formatter):
    def formatTime(self, record, datefmt=None):
    ct = self.converter(record.created)
    if datefmt:
        if "%F" in datefmt:
            msec = "%03d" % record.msecs
            datefmt = datefmt.replace("%F", msec)
        s = time.strftime(datefmt, ct)
    else:
        t = time.strftime("%Y-%m-%d %H:%M:%S", ct)
        s = "%s,%03d" % (t, record.msecs)
    return s

Dessa forma, um formato de data pode ser gravado da maneira que você desejar, mesmo permitindo diferenças de região, usando %Fpor milissegundos. Por exemplo:

log = logging.getLogger(__name__)
log.setLevel(logging.INFO)

sh = logging.StreamHandler()
log.addHandler(sh)

fm = MyFormatter(fmt='%(asctime)s-%(levelname)s-%(message)s',datefmt='%H:%M:%S.%F')
sh.setFormatter(fm)

log.info("Foo, Bar, Baz")
# 03:26:33.757-INFO-Foo, Bar, Baz

Se você estiver usando flecha ou se não se importa em usar flecha. Você pode substituir a formatação da hora do python pela seta.

import logging

from arrow.arrow import Arrow


class ArrowTimeFormatter(logging.Formatter):

    def formatTime(self, record, datefmt=None):
        arrow_time = Arrow.fromtimestamp(record.created)

        if datefmt:
            arrow_time = arrow_time.format(datefmt)

        return str(arrow_time)


logger = logging.getLogger(__name__)

default_handler = logging.StreamHandler()
default_handler.setFormatter(ArrowTimeFormatter(
    fmt='%(asctime)s',
    datefmt='YYYY-MM-DD HH:mm:ss.SSS'
))

logger.setLevel(logging.DEBUG)
logger.addHandler(default_handler)

Agora você pode usar toda a formatação da hora da seta no datefmtatributo

tl; dr para pessoas que procuram aqui uma data no formato ISO:

datefmt: '% Y-% m-% d% H:% M:% S.% 03d% z'

A partir de agora, o seguinte funciona perfeitamente com o python 3.

         logging.basicConfig(level=logging.DEBUG,
                     format='%(asctime)s %(levelname)-8s %(message)s',
                     datefmt='%Y/%m/%d %H:%M:%S.%03d',
                     filename=self.log_filepath,
                     filemode='w')

dá a seguinte saída

2020/01/11 18: 51: 19.011 INFO