python中使用logging模块在控制台打印日志的同时也打印log文件，但发现控制台的信息会出现重复打印

由于工作需要在一大堆日志里面提取相应的一些固定字符，如果单纯靠手工取提取，数据量大，劳心劳力，于是自然而然想到了用Python做一个对应的提取工具，代替手工提取的繁杂，涉及中文字符，正则表达式不好匹配，但不是不可以实现，这个以后优化时再说。

需求描述：

一个父目录中存在多个子文件夹，子文件夹下有多个txt形式化的Log日志，要求从所有地方Log日志中找出CardType=9, CardNo=0时的CardID的值，并将其统计存储到一个文本文件中，要求CardID不能够重复。

需求解析：

首先获取所有的Log日志的全路径，根据路径分别加载到将各个Log日志加载到内存中进行提取分析，并将结果存储到给定的文本文件中。

解决方案：

为了尽可能的简洁通用，这里使用配置文件作为输入变量的依据。不多说，上代码：

配置文件如下：

103文件夹下有两个文件：log1txt和log2txt, 内容类似如下：

Python代码实现如下：

# -- coding: utf-8 --

#!/usr/bin/python

# filename: picktoolspy

# codedtime:2015-3-25

import os

import configparser

# 遍历一个目录，输出所有文件名

def itemsbrowse(path):

for home, dirs, files in oswalk(path):

for filename in files:

yield ospathjoin(home, filename)

# 给的文件中查找对应的字符串所在行      

def findchars(filename, chars):

file = open(filename, 'r')

for eachline in file:

if eachlinefind(chars) >= 0:

yield eachline

fileclose()

# 添加到指定的文件

def addtofile(filename, mygenerator):

file = open(filename, 'a')   # 追加方式打开

for line in mygenerator:

filewrite(line)

fileclose()

# 过滤重复的字符行

def filter(filename):

mylist = []

file = open(filename, 'r')

for eachline in file:

mylistappend(eachlinestrip())

fileclose()

file2 = open(ospathsplitext(filename)[0] + '_filtertxt', 'w')

for line in list(set(mylist)):

print(line, file = file2)

#file2write(line)

file2close()

def excute():

iniconf = configparserConfigParser()

iniconfread('configini')

ifile = iniconfget('setting', 'ifilepath')

ofile = iniconfget('setting', 'ofilepath')

chars = iniconfget('setting', 'searchstr')

for fullname in itemsbrowse(ifile):

mygenerator = findchars(fullname, chars)

addtofile(ofile, mygenerator)

filter(ofile)

if __name__ == '__main__':

excute()

输出结果：输出两个文件resulttxt 和result_filtertxt

心得体会：

1、利用Python去处理一些日常的小任务，可以很方便的完成，相比较C/C++来说，这方面生产力高了不少。

2、本文设计对中文字符的处理，所以使用正则表达式不太怎么方便，但不少不可以，后续版本中会添加对正则的支持！

3、由于初学中，所以代码写的不够精炼简洁，后续进行再优化！

本文使用Python27解析nginx日志文件，并把nginx的时间转化为时间戳（1970纪元后经过的浮点秒数），并存放到特定文件中。

Nginx的>

这个简单啊。通过管道输出到另一个程序里去，另外一个程序同时打印并输出到outlog

这是我常用的办法。

还有一个笨办法，用自己的myprint代替所有的print语句。这样你可以同时输出到屏幕与文件了。

第三个办法是通过logging。这个模块支持多个listener，可以同时输出到屏幕与文件以及网络。

在部署状态页面日志，将会打开日志页面，下个图就是日志的输出页面。

简约时尚小清新的日志页面出来了，是不是很想一个terminal，有没有觉得俺弄的页面很漂亮。哈哈哈哈，写不好前端的运维不是好DBA。

刚开始拿到这个需求，咋觉得很难。因为在服务器上我们看一个日志，经常会tail -f 看着刷屏的感觉倍爽。如何在web页面上实现tailf的效果呢？

后来想想这样实现是可行的。前端写一个js定时器，不断的发ajax请求到后台，每回取出一段日志。后台取日志可以直接调用系统命令，或者直接调取shell脚本，取日志，判断日志文件是否存在，是否为空，返回数据的起始位置等，都可以交给shell来做。事实上我就是这么干的。后台程序写一堆shell命令调用有点别扭。想到解决方案之后，实现的过程就比较简单了。我的开发环境是基于python的Django框架来做的，现在就展示这个功能的实现过程。

from socket import

ADDR = ('' , 21567)

udpSerSock = socket(AF_INET,SOCK_DGRAM)

udpSerSockbind(ADDR)

while True:

data, addr = udpSerSockrecvfrom(1024)

print data

udpSerSockclose()

客户机:from socket import

ADDR = ('localhost', 21567)

udpCliSock = socket(AF_INET, SOCK_DGRAM)

while True :

data = raw_input('> ')

udpCliSocksendto(data, ADDR)

udpCliSockclose()

实现的功能也很简单 , 服务器断运行到recvfrom 函数时 , 就处于堵塞状态 , 等待消息来临

这时候 , 客户端向 'localhost' 这个地址发送了一段数据 (localhost 在Python 代表 127001 )

recvfrom 接收到消息 , 然后将其打印出来 , 然后新的一轮循环开始

你好：

请看下面代码：

# -- coding: utf-8 --

from bs4 import BeautifulSoup

html='''<dict>

        <key>LogType</key>

        <string>Default</string>

        <key>Message</key>

        <string>测试场景:订餐提交页面</string>

        <string>Loop in : 2 durTime:0266s</string>

        <key>Timestamp</key>

        <date>2014-06-06T12:16:24Z</date>

        <key>Type</key>

        <integer>1</integer>

</dict>'''

soup= BeautifulSoup(html)

trs=soupfindAll("string")

length=len(trs)

arr=[]

for i in range(length):

    print trs[i]contents

需要安装BeautifulSoup，代码很容易懂的！

以上就是关于python中使用logging模块在控制台打印日志的同时也打印log文件，但发现控制台的信息会出现重复打印全部的内容，包括:python中使用logging模块在控制台打印日志的同时也打印log文件，但发现控制台的信息会出现重复打印、如何用python获取websocket数据、Python编写一个程序 可以读取邮件日志（mbox.txt)，统计每个邮件发出的邮件数量，并输出结果。等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！