防止数据库中出现重复记录是数据完整性的核心需求，可通过数据库设计约束、应用层校验和查询优化三方面实现。应用层则作为补充，通过插入前查询或乐观锁机制处理复杂场景，但需注意并发冲突风险。以下是具体方案和示例，跟着小编一起详细了解下吧。
一、数据库设计约束(推荐优先使用)
主键(PRIMARY KEY)约束
原理：主键字段值必须唯一且非空，数据库会自动拒绝重复插入。
示例：
sqlCREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY, -- 自增主键username VARCHAR(50) UNIQUE, -- 用户名唯一(可选组合唯一)email VARCHAR(100) UNIQUE -- 邮箱唯一);
适用场景：需要唯一标识的字段(如用户ID、订单号)。
唯一约束(UNIQUE KEY)
原理：允许字段为空，但非空值必须唯一。
示例：
sqlALTER TABLE products ADD UNIQUE (product_code); -- 商品编码唯一
注意：复合唯一约束(多字段组合唯一)：
sqlCREATE TABLE orders (order_id INT,product_id INT,PRIMARY KEY (order_id, product_id) -- 订单与商品组合唯一);
复合索引与唯一性
原理：通过多字段组合索引实现唯一性，适用于复杂业务场景。
示例：
sqlCREATE UNIQUE INDEX idx_user_email ON users (email); -- 索引强制唯一
二、应用层校验(补充手段)
插入前查询检查
示例(伪代码)：
pythondef add_user(username, email):if db.query("SELECT 1 FROM users WHERE email = ?", email).exists():raise ValueError("邮箱已存在")db.execute("ｉｎｓｅｒｔ INTO users (username, email) VALUES (?, ?)", username, email)
缺点：并发场景下可能失效(需结合数据库事务)。
乐观锁与冲突处理
原理：通过版本号或时间戳字段检测冲突，适合高并发场景。
示例：
sqlUPDATE products SET stock = stock - 1, version = version + 1 WHERE id = 1 AND version = 0; -- 仅当版本号为0时更新
三、查询优化与去重
使用 DISTINCT 或 GROUP BY
示例：
sqlSELECT DISTINCT username FROM users; -- 查询不重复的用户名SELECT product_id, COUNT(*) FROM orders GROUP BY product_id HAVING COUNT(*) > 1; -- 查找重复订单
定期清理重复数据
示例(删除重复记录，保留一条)：
sqlDELETE t1 FROM users t1INNER JOIN users t2 WHERE t1.id < t2.id AND t1.email = t2.email; -- 保留ID较大的记录
四、高级场景处理
分布式系统中的唯一性
方案：使用分布式ID生成器(如Snowflake)或Redis分布式锁。
示例(Redis锁)：
pythonimport redisr = redis.Redis()def generate_unique_code():with r.lock("unique_code_lock", timeout=10):code = generate_code() # 生成唯一码if db.query("SELECT 1 FROM codes WHERE code = ?", code).exists():return generate_unique_code() # 递归重试db.execute("ｉｎｓｅｒｔ INTO codes (code) VALUES (?)", code)return code
模糊匹配去重(如相似用户名)
方案：使用全文索引或相似度算法(如Levenshtein距离)。
示例(MySQL全文索引)：
sqlALTER TABLE users ADD FULLTEXT(username);SELECT * FROM users WHERE MATCH(username) AGAINST('user1' IN NATURAL LANGUAGE MODE);
五、注意事项
性能权衡
唯一约束会降低插入性能(需检查索引)，但能避免后续数据清理成本。
事务处理
确保插入操作在事务中执行，避免部分成功导致数据不一致。
示例：
sqlSTART TRANSACTION;ｉｎｓｅｒｔ INTO users (username, email) VALUES ('test', 'test@example.com');-- 其他操作...COMMIT; -- 或 ROLLBACK 回滚
错误处理
捕获数据库抛出的唯一约束异常(如MySQL的1062 Duplicate entry错误)。
示例(Python)：
pythontry:db.execute("ｉｎｓｅｒｔ INTO users (email) VALUES (?)", email)except pymysql.IntegrityError as e:if e.args[0] == 1062: # 重复键错误print("邮箱已存在")
数据库重复记录会导致数据冗余、查询效率下降甚至业务逻辑错误。解决该问题需从预防主动约束和处理被动清理两方面入手，结合数据库设计、应用层逻辑和运维工具实现。
