NewLife.XCode是一个有15年历史的开源数据中间件,支持netcore/net45/net40,由新生命团队(2002~2020)开发完成并维护至今,以下简称XCode。

整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目。

开源地址:https://github.com/NewLifeX/X (求star, 1067+)

 

XCode以添删改查为基础,进一步发展了数据统计与分析,本篇将作为大数据分析处理开篇!

!!阅读本文之前,建议阅读

此处为内容卡片,点击链接查看:https://newlifex.com/xcode/search


分组统计

回顾前文,所有查询的标准结构都是 Select xxx From table Where yyy Order By zzz Limit 0, 20

分组查询也不例外,仅仅是在where子句处做文章。

对于最标准的5参数查询,FindAll(String where, String order, String selects, Int64 startRowIndex, Int64 maximumRows),分组查询就写在where参数里面,直接group by字段,甚至还可以 having 。

为了减少字符串拼接的失误,常用以下扩展写法:

WhereExpression.GroupBy

条件表达式WhereExpression后用GroupBy扩展方法,多个待排序字段作为参数

var exp = new WhereExpression();
exp &= _.Enable == true;

return FindAll(exp.GroupBy(_.RoleID, _.DepartmentID), null, _.ID.Count() & _.RoleID & _.DepartmentID);

输出

Select Count(ID) as ID,RoleID,DepartmentID From User Where Enable=1 Group By RoleID,DepartmentID

(这里用了一个小技巧,把每个分组内行数,映射到ID字段上)

 

Field.GroupBy

条件后加上字段GroupBy,该用法很接近sql写法  where enable=1 group by roleid,缺点就是不支持多个排序字段

var exp = new WhereExpression();
exp &= _.Enable == true;

return FindAll(exp + _.RoleID.GroupBy(), null, _.ID.Count() & _.RoleID);

输出:

Select Count(ID) as ID,RoleID From User Where Enable=1 Group By RoleID


如果这两种扩展都无法满足要求,那就直接拼接where字符串吧。


聚合函数

光有分组查询足够,往往还需要配合使用聚合函数,如 Count/Sum/Max/Min/Avg 等。

在标准数据查询中,这属于Select部分。

var exp = new WhereExpression();
exp &= _.Enable == true;

return FindAll(exp.GroupBy(_.RoleID, _.DepartmentID), null, 
    _.ID.Count() & _.Logins.Sum() & _.LastLogin.Max() & _.RoleID & _.DepartmentID);

 

常用 FindAll(Expression where, PageParameter page = null, String selects = null) 中,我们把需要聚合的表达式卸载selects参数里面。

  • _.ID.Count() 表示对ID字段做Count计算,默认还是映射到ID字段,计算结构取值时 list[0].ID 就是 count()值
  • _.Logins.Sum() 取 Logins 字段累加,默认映射到 Logins,取结果 list[0].Logins。
  • Sum(aliasName) 也可以指定别名,如果aliasName不是实体类字段,XCode无法映射,只能这样取值 list[0][aliasName]
  • 最后两个是分组字段,由于运算符重载的缘故,它们不能放在第一位,可以放在第二位开始的任意位置。

最后得到的SQL语句如下:

Select Count(ID) as ID,Sum(Logins) as Logins,Max(LastLogin) as LastLogin,RoleID,DepartmentID From User Where Enable=1 Group By RoleID,DepartmentID

 

 以上介绍了高级统计的基本用法,实际项目中需要灵活应用。

近几年工作中,经常用到多字段表达式聚合,并且根据需要写一些扩展,如Oracle中 _.Status.CaseSum(0, "S0") & _.Status.CaseSum(1, "S1") & _.Status.CaseSum(2, "S2")

CaseSum不受XCode支持,因其只能用在Oracle上,所以在应用项目里面给 FieldItem 做了一个扩展方法。