1.difflib模块

简介

difflib 模块是 Python 标准库中用于比较序列之间差异的工具。它提供了几种不同的比较算法，可以用于比较文本文件、字符串、列表等序列的差异，并生成差异报告。

常用的类和函数

SequenceMatcher 类 ：

• SequenceMatcher 类用于比较两个序列之间的差异。
• 可以用 ratio() 方法计算两个序列的相似度。
• 可以用 get_opcodes() 方法获取描述两个序列差异的操作列表。
• 可以用 get_matching_blocks() 方法获取匹配块的列表。

Differ 类 ：

• Differ 类用于比较两个文本序列之间的差异，并生成差异报告。
• 可以用 compare() 方法生成差异报告，返回一个包含差异行的列表。
• 差异报告中的行以 +、-、? 分别表示在第一个序列、第二个序列、两个序列中都存在的行。

HtmlDiff 类 ：

• HtmlDiff 类用于生成 HTML 格式的差异报告，可用于在网页中展示文本差异。
• 可以用 make_file() 方法生成 HTML 格式的差异报告。

其他函数 ：

• ndiff()：生成以行为单位的文本差异报告。
• restore()：根据差异报告恢复原始序列。
• unified_diff()：生成类似于 Unix diff 命令的差异报告。

使用场景

• 版本控制系统 ： 在版本控制系统中，difflib 模块可以用来比较两个版本之间的文件差异，并生成差异报告。这样可以帮助开发人员了解代码变更的情况，进行代码审查，或者在合并分支时解决冲突。
• 配置文件比较 ： 在服务器管理和配置管理中，经常需要比较两个配置文件之间的差异。使用 difflib 模块可以轻松地比较两个配置文件，并生成差异报告，帮助管理员快速识别配置的变更。
• 日志分析 ： 在系统运维中，difflib 模块可以用于分析日志文件之间的差异，帮助管理员追踪系统变化、排查问题和分析异常情况。
• 数据比较和同步 ： 在数据处理领域，difflib 模块可以用来比较两个数据集之间的差异，并找出新增、删除、修改的数据。这对于数据同步、数据清洗和数据质量控制非常有用。
• 文档生成 ： 在文档生成过程中，difflib 模块可以用来比较文档的不同版本，并生成差异报告。这对于撰写技术文档、报告和变更记录非常有帮助。

示例：比较字符串差异

• 计算了两个字符串的相似度
• 使用 Differ 类生成了两个字符串之间的差异报告。

import difflib

text1 = "hello world"
text2 = "hello there"

# 使用 SequenceMatcher 比较两个字符串的相似度
matcher = difflib.SequenceMatcher(None, text1, text2)
similarity_ratio = matcher.ratio()
print("Similarity Ratio:", similarity_ratio)

# 使用 Differ 类生成差异报告
differ = difflib.Differ()
diff_result = differ.compare(text1.splitlines(), text2.splitlines())
print("Diff Report:")
print('\n'.join(diff_result))

输出：

Similarity Ratio: 0.6363636363636364
Diff Report:
- hello world
+ hello there

示例：比较文本文件差异

实现了以下功能：

1. 用户输入两个文件的路径。
2. 脚本读取这两个文件的内容。
3. 使用 Differ 类比较这两个文件的差异，生成差异报告。
4. 将差异报告写入到文本格式（'text'）或 HTML 格式（'html'）文件中。

import difflib

def compare_files(file1_path, file2_path, output_format='text', output_file=None):
    """
    比较两个文件的差异，并生成差异报告

    参数：
    - file1_path: 第一个文件的路径
    - file2_path: 第二个文件的路径
    - output_format: 输出格式，可以是 'text' 或 'html'，默认为 'text'
    - output_file: 输出文件路径，如果为 None，则默认输出到屏幕上
    """
    try:
        # 读取文件内容
        with open(file1_path, 'r', encoding='utf-8') as file1:
            file1_lines = file1.readlines()
        with open(file2_path, 'r', encoding='utf-8') as file2:
            file2_lines = file2.readlines()

        # 使用 Differ 类生成差异报告
        differ = difflib.Differ()
        diff_result = list(differ.compare(file1_lines, file2_lines))

        # 根据输出格式选择输出方式
        if output_format == 'html':
            html_diff_result = difflib.HtmlDiff().make_file(file1_lines, file2_lines)
            if output_file:
                with open(output_file, 'w', encoding='utf-8') as html_diff_file:
                    html_diff_file.write(html_diff_result)
                print(f"差异报告已保存至 {output_file}")
            else:
                print(html_diff_result)
        else:
            # 将差异报告写入文件或打印到屏幕
            if output_file:
                with open(output_file, 'w', encoding='utf-8') as diff_file:
                    diff_file.write('\n'.join(diff_result))
                print(f"差异报告已保存至 {output_file}")
            else:
                print('\n'.join(diff_result))

    except FileNotFoundError as e:
        print(f"文件未找到：{e.filename}")
    except Exception as e:
        print(f"发生异常：{e}")

if __name__ == "__main__":
    file1_path = input("请输入第一个文件路径：")
    file2_path = input("请输入第二个文件路径：")
    output_format = input("请选择输出格式（text 或 html）：")
    output_file = input("请输入输出文件路径（如果不需要保存到文件，请直接回车）：")
    compare_files(file1_path, file2_path, output_format, output_file)

示例：比较配置文件差异

• 判断2个nginx文件差异

nginx.conf.v1

# For more information on configuration, see:
#   * Official English Documentation: http://nginx.org/en/docs/
#   * Official Russian Documentation: http://nginx.org/ru/docs/

user              nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log;
#error_log  /var/log/nginx/error.log  notice;
#error_log  /var/log/nginx/error.log  info;

pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    # Load config files from the /etc/nginx/conf.d directory
    # The default server is in conf.d/default.conf
    include /etc/nginx/conf.d/*.conf;

}

nginx.conf.v2

# For more information on configuration, see:
#   * Official English Documentation: http://nginx.org/en/docs/
#   * Official Russian Documentation: http://nginx.org/ru/docs/

user              nginx;
worker_processes  4;

error_log  /var/log/nginx/error.log;
error_log  /data/logs/nginx/error.log  notice;
error_log  /data/logs/nginx/error.log  info;

pid        /var/run/nginx.pid;


events {
    worker_connections  51200;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /data/logs/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    gzip  on;

    # Load config files from the /etc/nginx/conf.d directory
    # The default server is in conf.d/default.conf
    include /etc/nginx/conf.d/*.conf;
    #Last Updated by liuts
}

比较差异，使用示例2中的代码比较即可

示例：比较日志差异

• 比较两个日志文件的差异，并生成差异报告

import difflib
import argparse
import sys

def compare_logs(log_file1, log_file2, output_format='text', output_file=None):
    """
    比较两个日志文件的差异，并生成差异报告

    参数：
    - log_file1: 第一个日志文件路径
    - log_file2: 第二个日志文件路径
    - output_format: 输出格式，可以是 'text' 或 'html'，默认为 'text'
    - output_file: 输出文件路径，如果为 None，则默认输出到屏幕上
    """
    try:
        # 读取日志文件内容
        with open(log_file1, 'r', encoding='utf-8') as file1:
            log1_lines = file1.readlines()
        with open(log_file2, 'r', encoding='utf-8') as file2:
            log2_lines = file2.readlines()

        # 使用 Differ 类生成差异报告
        differ = difflib.Differ()
        diff_result = list(differ.compare(log1_lines, log2_lines))

        # 根据输出格式选择输出方式
        if output_format == 'html':
            html_diff_result = difflib.HtmlDiff().make_file(log1_lines, log2_lines)
            if output_file:
                with open(output_file, 'w', encoding='utf-8') as html_diff_file:
                    html_diff_file.write(html_diff_result)
                print(f"差异报告已保存至 {output_file}")
            else:
                print(html_diff_result)
        else:
            # 将差异报告写入文件或打印到屏幕
            if output_file:
                with open(output_file, 'w', encoding='utf-8') as diff_file:
                    diff_file.write('\n'.join(diff_result))
                print(f"差异报告已保存至 {output_file}")
            else:
                print('\n'.join(diff_result))

    except FileNotFoundError as e:
        print(f"文件未找到：{e.filename}")
    except Exception as e:
        print(f"发生异常：{e}")

def main():
    # 解析命令行参数
    parser = argparse.ArgumentParser(description="日志分析工具")
    parser.add_argument("log_file1", help="第一个日志文件路径")
    parser.add_argument("log_file2", help="第二个日志文件路径")
    parser.add_argument("-f", "--format", choices=["text", "html"], default="text", help="输出格式，默认为文本格式")
    parser.add_argument("-o", "--output", help="输出文件路径")
    args = parser.parse_args()

    # 比较日志文件差异并生成报告
    compare_logs(args.log_file1, args.log_file2, args.format, args.output)

if __name__ == "__main__":
    main()

执行：

python log_analyzer.py logfile1.log logfile2.log -f html -o diff_report.html

示例：比较数据集差异

• 较两个数据集之间的差异，并生成差异报告

import difflib
import argparse
import sys

def compare_data(data1, data2, output_format='text', output_file=None):
    """
    比较两个数据集的差异，并生成差异报告

    参数：
    - data1: 第一个数据集，类型为列表
    - data2: 第二个数据集，类型为列表
    - output_format: 输出格式，可以是 'text' 或 'html'，默认为 'text'
    - output_file: 输出文件路径，如果为 None，则默认输出到屏幕上
    """
    try:
        # 使用 Differ 类生成差异报告
        differ = difflib.Differ()
        diff_result = list(differ.compare(data1, data2))

        # 根据输出格式选择输出方式
        if output_format == 'html':
            html_diff_result = difflib.HtmlDiff().make_table(data1, data2)
            if output_file:
                with open(output_file, 'w', encoding='utf-8') as html_diff_file:
                    html_diff_file.write(html_diff_result)
                print(f"差异报告已保存至 {output_file}")
            else:
                print(html_diff_result)
        else:
            # 将差异报告写入文件或打印到屏幕
            if output_file:
                with open(output_file, 'w', encoding='utf-8') as diff_file:
                    diff_file.write('\n'.join(diff_result))
                print(f"差异报告已保存至 {output_file}")
            else:
                print('\n'.join(diff_result))

    except Exception as e:
        print(f"发生异常：{e}")

def main():
    # 解析命令行参数
    parser = argparse.ArgumentParser(description="数据比较和同步工具")
    parser.add_argument("data_file1", help="第一个数据文件路径")
    parser.add_argument("data_file2", help="第二个数据文件路径")
    parser.add_argument("-f", "--format", choices=["text", "html"], default="text", help="输出格式，默认为文本格式")
    parser.add_argument("-o", "--output", help="输出文件路径")
    args = parser.parse_args()

    # 读取数据文件内容
    with open(args.data_file1, 'r', encoding='utf-8') as file1:
        data1 = file1.readlines()
    with open(args.data_file2, 'r', encoding='utf-8') as file2:
        data2 = file2.readlines()

    # 比较数据集差异并生成报告
    compare_data(data1, data2, args.format, args.output)

if __name__ == "__main__":
    main()