（转）菜鸟去重复之Sql

阅读量：5289 次

发布时间：2019-06-14

本文共 3936 字，大约阅读时间需要 13 分钟。

原文地址：http://www.cnblogs.com/fatbird/p/Sql-Remove-duplicate.html

前言

本文主要是总结平时工作学习中遇到的使用Sql Server的去除重复的心得体会。

由于平时工作使用Sql并不多，此次在写本文的测试过程中，就遇到了问题，如能有幸得到高手点播，将不胜感激。

高手可以直接看个开头，直接跳过文章内容，点到后面的遇到的问题，辛苦！

准备

本文使用的工具是SQL SERVER 2008，使用的是微软的案例Northwind，选取的数据集以Products表的前10条数据为例，如下图：

Distinct

根据之后紧跟关键字distinct后的字段去除重复，而distinct只能放在所有要查询字段的前面。distinct后的字段有一个不一样即为不同。

示例：根据SupplierID,CategoryID去除重复的内容

Select distinct a.SupplierID,a.CategoryID from (SELECT TOP 10 [ProductID]      ,[ProductName]      ,[SupplierID]      ,[CategoryID]      ,[QuantityPerUnit]      ,[UnitPrice]      ,[UnitsInStock]      ,[UnitsOnOrder]      ,[ReorderLevel]      ,[Discontinued]  FROM [Northwind].[dbo].[Products]) a

获得结果：

Note:使用distinct是针对其后面跟着的所有字段，而不是一个或两个字段。

这直接导致如果查询的时候需要查询的字段比较多，去除重复只是根据其中的一两个字段就无法获得想要的结果。

Group by

指定由查询 () 表达式返回的对象要分入的组。使用group by时可以巧妙地使用聚合函数达到去除重复的目的。

Select Max(a.ProductID) as ID,a.CategoryID ,a.SupplierID from (SELECT TOP 10 [ProductID]      ,[ProductName]      ,[SupplierID]      ,[CategoryID]      ,[QuantityPerUnit]      ,[UnitPrice]      ,[UnitsInStock]      ,[UnitsOnOrder]      ,[ReorderLevel]      ,[Discontinued]  FROM [Northwind].[dbo].[Products]) a  group by a.CategoryID ,a.SupplierID

获得结果：

这次可以获得去除重复过程中ID最大(获取ID最小列可以使用Min函数)的数据行，有了ID唯一标识列就可以解决上面distinct遗留下来的问题。

内联原来的表就可以获取想要的任意字段的值了。

顺带附上Min函数的结果：

Row_Number() over()

over()里面有两个参数

Partition by value_expression

将子句生成的结果集划入应用了 ROW_NUMBER 函数的分区。 value_expression 指定对结果集进行分区所依据的列。如果未指定 PARTITION BY，则此函数将查询结果集的所有行视为单个组。

也就是说partition by后面的字段是要去重复的字段。

Order by

ORDER BY 子句可确定在特定分区中为行分配唯一 ROW_NUMBER 的顺序。

它是必需的。

Select a.ProductID,a.SupplierID,a.CategoryID, ROW_NUMBER() over(partition by CategoryID ,SupplierID order by ProductID)as RowN from (SELECT TOP 10 [ProductID]      ,[ProductName]      ,[SupplierID]      ,[CategoryID]      ,[QuantityPerUnit]      ,[UnitPrice]      ,[UnitsInStock]      ,[UnitsOnOrder]      ,[ReorderLevel]      ,[Discontinued]  FROM [Northwind].[dbo].[Products]) a

获得结果：

Note:此处的数据稍微有点问题，最后会说到。

此次并没有达到去除重复的结果，但稍微看下就发现了多了一行RowN。

这个是根据SupplierID,CategoryID分区并根据ProductID升序获得的行号。所以去除重复也就非常容易了。

Select* from (Select a.ProductID,a.SupplierID,a.CategoryID, ROW_NUMBER() over(partition by CategoryID ,SupplierID order by ProductID)as RowN from (SELECT TOP 10 [ProductID]      ,[ProductName]      ,[SupplierID]      ,[CategoryID]      ,[QuantityPerUnit]      ,[UnitPrice]      ,[UnitsInStock]      ,[UnitsOnOrder]      ,[ReorderLevel]      ,[Discontinued]  FROM [Northwind].[dbo].[Products]) a) b where b.RowN=1

获得结果：

顺带附上b.RowN=2结果：

面试问题

取出某年某月每一天的记录的第一条

姑且认为每天第一条记录是当天ID最小的那条，以下为测试使用数据集

SELECT  [OrderID]      ,[CustomerID]      ,[EmployeeID]      ,[OrderDate]    FROM [Northwind].[dbo].[Orders]  where DATEPART(YEAR,OrderDate)=1997 AND DATEPART(MONTH,OrderDate)=1

方法一：Group by

with Dataset as (SELECT  [OrderID]      ,[CustomerID]      ,[EmployeeID]      ,[OrderDate]    FROM [Northwind].[dbo].[Orders]  where DATEPART(YEAR,OrderDate)=1997 AND DATEPART(MONTH,OrderDate)=1)  Select a.* from Dataset a,  (SELECT Min([OrderID]) as ID           ,DATEPART(DAYOFYEAR,OrderDate) as dayofOrder    FROM [Northwind].[dbo].[Orders]  where DATEPART(YEAR,OrderDate)=1997 AND DATEPART(MONTH,OrderDate)=1  group by DATEPART(DAYOFYEAR,OrderDate)) b  where a.OrderID=b.ID

获得结果：

方法二：Row_Number() over()

with Dataset as (SELECT  [OrderID]      ,[CustomerID]      ,[EmployeeID]      ,[OrderDate]    FROM [Northwind].[dbo].[Orders]  where DATEPART(YEAR,OrderDate)=1997 AND DATEPART(MONTH,OrderDate)=1) select a.* from(Select *,ROW_NUMBER() over(Partition by DatePart(dayofyear,OrderDate)  order by OrderID) as RowN from Dataset) a where a.RowN=1

获得结果：