使用Expression实现数据的任意字段过滤(1)

时间:2022-11-14 17:24:58

在项目常常要和数据表格打交道。 现在BS的通常做法都是前端用一个js的Grid控件, 然后通过ajax的方式从后台加载数据, 然后将数据和Grid绑定。 数据往往不是一页可以显示完的, 所以要加分页;然后就是根据关键字段做排序, 做筛选过滤。 作为后端人员, 要考虑的是如何优雅的实现分页、排序、筛选的功能。

本文先谈谈筛选。 因为分页、排序、筛选这3个动作, 一定是先处理筛选的——筛选后的结果再去排序, 然后再做分页 , 才有意义。

筛选首先要考虑如下两个问题:

1) 字段类型

2) 比较方式

以下面的模拟数据为例( 该数据为服务器的性能监控, 包括处理器、内存的监控结果和时间)。

ServerName

ProcessorMaxValue

ProcessorMinValue

ProcessorAvgValue

MemoryMaxValue

MemoryMinValue

MemoryAvgValue

DateTime

Server1

8

3

3.29

82.18

82.11

82.14

2016/10/1

Server1

10

3

3.29

82.23

82.12

82.17

2016/10/2

Server1

11

3

3.32

82.21

82.15

82.18

2016/10/3

Server1

10

3

3.29

82.21

82.10

82.16

2016/10/4

Server1

10

3

3.42

82.20

82.12

82.15

2016/10/5

Server2

10

3

3.40

82.20

82.12

82.16

2016/10/6

Server2

9

3

4.08

82.22

82.11

82.15

2016/10/7

Server2

10

3

3.69

82.20

82.12

82.16

2016/10/8

Server3

11

3

4.13

82.21

82.14

82.16

2016/10/9

Server3

11

3

4.03

82.20

82.15

82.17

2016/10/10

对于用户来讲, 可能会使用所有的字段来做过滤。比如 "ServerName like 'Server'", "ProcessorMaxValue>10 ", "DateTime < '2016/10/9'"。

小结下, 比较常见的字段类型有字符串、数值、日期,以及boolean值。为什么要强调字段类型, 因为一样的值在不同的字段类型要求下, 比较结果是不同的, 比如说数字11>2 , 但字符串”11”<”2”。

其次考虑比较方式, 比较常见的有“大于、大于等于、等于、小于等于、小于、不等于”, 其次还有 “in (…set)”; 字符串类型可能有”包含”, “开头匹配”, “结尾匹配”等。

如果需求比较固定,直接在代码中依次处理有限的若干字段的筛选完全不是事。可是实际的项目中,这种情况很少。 更多的是, 客户一会要加这条件, 一会要加那条件。 如果都老老实实的一个一个加, 代码就很容易臃肿,甚至失控了。

本文中推荐的是使用Expression方案。 由于Expression是 对集合进行操作, 所以不使用于自己拼SQL然后使用SQLCommand的场景。比较适用于:

1) 使用EntityFramework作为ORM框架的

2) 直接对全集合处理的

先感受下代码

 public class CriteriaCollectionHandler : ICollectionHandler
{
/* By Harvey Hu. @2016 */ protected string PropertyName { get; set; } protected ComparerEnum Comparer { get; set; } protected object Target { get; set; } // public CriteriaCollectionHandler(string propertyName, object target, ComparerEnum comparer)
{
this.PropertyName = propertyName;
this.Comparer = comparer;
this.Target = target;
} private IQueryable<T> Filter<T>(IQueryable<T> source, string propertyName, ComparerEnum comparer, object target)
{
var type = typeof(T);
var property = type.GetProperty(propertyName, BindingFlags.Public | BindingFlags.Instance | BindingFlags.IgnoreCase); var parameter = Expression.Parameter(type, "p");
Expression propertyAccess = Expression.MakeMemberAccess(parameter, property);
if (property.PropertyType.IsGenericType && property.PropertyType.GetGenericTypeDefinition() == typeof(Nullable<>))
{
var getValueOrDefault = property.PropertyType.GetMethods().First(p => p.Name == "GetValueOrDefault");
propertyAccess = Expression.Call(propertyAccess, getValueOrDefault);
}
var constExpression = Expression.Constant(ConvertTo(target, property.PropertyType)); // 转换为target的类型,以作比较
Expression comparisionExpression;
switch (comparer)
{
case ComparerEnum.Eq:
comparisionExpression = Expression.Equal(propertyAccess, constExpression);
break;
case ComparerEnum.Ne:
comparisionExpression = Expression.NotEqual(propertyAccess, constExpression);
break;
case ComparerEnum.Lt:
comparisionExpression = Expression.LessThan(propertyAccess, constExpression);
break;
case ComparerEnum.Gt:
comparisionExpression = Expression.GreaterThan(propertyAccess, constExpression);
break;
case ComparerEnum.Le:
comparisionExpression = Expression.LessThanOrEqual(propertyAccess, constExpression);
break;
case ComparerEnum.Ge:
comparisionExpression = Expression.GreaterThanOrEqual(propertyAccess, constExpression);
break;
case ComparerEnum.StringLike:
if (property.PropertyType != typeof(string))
{
throw new NotSupportedException("StringLike is only suitable for string type property!");
} var stringContainsMethod = typeof(CriteriaCollectionHandler).GetMethod("StringContains"); comparisionExpression = Expression.Call(stringContainsMethod, propertyAccess, constExpression); break;
default:
comparisionExpression = Expression.Equal(propertyAccess, constExpression);
break;
} var compareExp = Expression.Lambda(comparisionExpression, parameter);
var typeArguments = new Type[] { type };
var methodName = "Where"; //sortOrder == SortDirection.Ascending ? "OrderBy" : "OrderByDescending";
var resultExp = Expression.Call(typeof(Queryable), methodName, typeArguments, source.Expression, Expression.Quote(compareExp)); return source.Provider.CreateQuery<T>(resultExp);
} public static bool StringContains(string value, string subValue)
{
if (value == null)
{
return false;
} return value.Contains(subValue);
} protected object ConvertTo(object convertibleValue, Type targetType)
{
if (null == convertibleValue)
{
return null;
} if (!targetType.IsGenericType)
{
return Convert.ChangeType(convertibleValue, targetType);
}
else
{
Type genericTypeDefinition = targetType.GetGenericTypeDefinition();
if (genericTypeDefinition == typeof(Nullable<>))
{
var temp = Convert.ChangeType(convertibleValue, Nullable.GetUnderlyingType(targetType));
var result = Activator.CreateInstance(targetType, temp);
return result;
}
}
throw new InvalidCastException(string.Format("Invalid cast from type \"{0}\" to type \"{1}\".", convertibleValue.GetType().FullName, targetType.FullName));
} public virtual ICollection<T> Execute<T>(ICollection<T> values)
{
var result = Filter(values.AsQueryable(), this.PropertyName, this.Comparer, this.Target).ToList();
return result;
} }

使用示例(伪码):

 var criteria1 = New CriteriaCollectionHandler(“ServerName”, “server”, ComparerEnum.StringLike);  // serverName like 'server'”
var criteria2 = New CriteriaCollectionHandler(“ProcessorMaxValue”, , ComparerEnum.Gt);
var criteria3 = New CriteriaCollectionHandler(“Datetime”, Datetime.Parse("2016/12/9"), ComparerEnum.lt);
ICollection<T> result = criteria3.Execute(
criteria2.Execute(
criteria1.Execute(YourDataCollection)));

核心是Filter()方法 ——IQueryable<T> Filter<T>(IQueryable<T> source, string propertyName, ComparerEnum comparer, object target)。

ICollectionHandler是用来处理集合Collection的对象接口,前面提到的分页、排序和筛选处理, 都可以适用于这个接口。这个接口的Execute方法处理一个集合,并返回一个集合。筛选也是这个逻辑,所以适用这个接口。

在Filter()方法中, 通过Expression构建了一个Lamda表达式, 如p=>p.Property == target。这个表达式有几个问题需要注意下:

1) 如何取到p.Property? 通过类型反射获取。

2) 如何取到判断操作? 根据比较符comparer枚举。如果是常规比较, 则直接调用Expression的相关方法生成, 比如Expression.Equal(); 如果是特殊, 则通过Expression.Call调用自定义的方法生成, 比如StringLike

3) 比较值的类型用什么?获取p.Property类型,并将target强制转换为该类型;参考ConvertTo()方法。

4) 是否支持Nullable类型?支持。但这个是个比较坑的事情。因为Nullable<T>实际上不支持和T的直接比较,所以不能将target转换为Nullable<T>类型,只能是T类型,因此lamda表达式只能用p=>p.Property.GetValueOrDefault() == target 规格来处理 。所以在ConvertTo()方法中, 对nullable<T>类型也做了判断处理。

Lamda表达式构造好了, 就可以通过Linq的Where方法来实现筛选了。这同样适用Expression的Call方法构造出来。最后通过IQuaryable的IQueryProvider
的CreateQuery()方法完成调用。

5) 是否支持其他比较操作? 通过适当的扩展,我想应该可以实现的。 比如StringLike就是我们自己扩展的比较方法, 当然这个不是EntityFramework提供的,所以不支持EF的Queryable。

代码实现分析到此暂告段落。 在实际使用中, 将每个条件都分别封装成CriteriaCollectionHandler对象, 然后依次调用即可完成”逻辑与”的操作。参考上面的实现示例。

如果要实现”逻辑或”怎么办?目前的考虑结果是将两个集合intersect()处理。如果各位有什么更好的办法, 欢迎回复讨论。

下一篇《使用Expression实现数据的任意字段过滤(2)》, 我将讨论下一些特殊字段的情况, 比如非Public的Property过滤。

注: 使用Expression过程也参考了博客园的其他朋友的文章。在此贡献出来, 也希望能帮助一些朋友。

相关文章