文件内容去重工具：删除文本文件重复行、四种去重策略、实时统计去重率、一键导出干净文件

🖥️ 运行效果

🚀 实例简介

一款实用的 Tkinter GUI 桌面工具，用于删除文本文件中的重复行。支持四种去重策略（精确匹配、忽略大小写、忽略首尾空白、忽略所有空白），可选择保留首次或最后一次出现的行，实时统计去重率，一键导出干净文件。适用于清理日志文件、CSV数据、配置文件中的重复内容。

💻 核心代码

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
文件内容去重工具
功能：删除文本文件中的重复行，保留首次出现，支持多种去重策略
作者：好例子网 (haolizi.com)
"""

import tkinter as tk
from tkinter import ttk, filedialog, messagebox, scrolledtext
import os
import platform

# 中文字体配置
CHINESE_FONT = "WenQuanYi Zen Hei" if platform.system() == "Linux" else "Microsoft YaHei"


class FileDeduplicator:
    def __init__(self, root):
        self.root = root
        self.root.title("文件内容去重工具")
        self.root.geometry("800x600")
        
        self.input_file = tk.StringVar()
        self.output_file = tk.StringVar()
        self.strategy = tk.StringVar(value="exact")
        self.keep_first = tk.BooleanVar(value=True)
        
        self.create_widgets()
    
    def create_widgets(self):
        """创建界面组件"""
        # 标题
        title_label = tk.Label(
            self.root, 
            text="📄 文件内容去重工具", 
            font=(CHINESE_FONT, 18, "bold"),
            fg="#2c3e50"
        )
        title_label.pack(pady=10)
        
        # 输入文件选择
        input_frame = tk.Frame(self.root)
        input_frame.pack(fill=tk.X, padx=20, pady=5)
        
        tk.Label(input_frame, text="输入文件:", font=(CHINESE_FONT, 11)).pack(side=tk.LEFT)
        tk.Entry(input_frame, textvariable=self.input_file, width=50, font=(CHINESE_FONT, 10)).pack(side=tk.LEFT, padx=5)
        tk.Button(input_frame, text="浏览...", command=self.browse_input, font=(CHINESE_FONT, 10)).pack(side=tk.LEFT)
        
        # 输出文件选择
        output_frame = tk.Frame(self.root)
        output_frame.pack(fill=tk.X, padx=20, pady=5)
        
        tk.Label(output_frame, text="输出文件:", font=(CHINESE_FONT, 11)).pack(side=tk.LEFT)
        tk.Entry(output_frame, textvariable=self.output_file, width=50, font=(CHINESE_FONT, 10)).pack(side=tk.LEFT, padx=5)
        tk.Button(output_frame, text="浏览...", command=self.browse_output, font=(CHINESE_FONT, 10)).pack(side=tk.LEFT)
        
        # 去重策略选择
        strategy_frame = tk.Frame(self.root)
        strategy_frame.pack(fill=tk.X, padx=20, pady=10)
        
        tk.Label(strategy_frame, text="去重策略:", font=(CHINESE_FONT, 11)).pack(side=tk.LEFT)
        
        strategies = [
            ("精确匹配", "exact"),
            ("忽略大小写", "ignore_case"),
            ("忽略首尾空白", "strip_whitespace"),
            ("忽略所有空白", "ignore_whitespace")
        ]
        
        for text, value in strategies:
            tk.Radiobutton(
                strategy_frame, 
                text=text, 
                variable=self.strategy, 
                value=value,
                font=(CHINESE_FONT, 10)
            ).pack(side=tk.LEFT, padx=10)
        
        # 保留策略

💡 适用场景

办公自动化、数据分析、快速原型开发