我的TDD实践:可测试性驱动开发(下)
2009-10-19 08:48 by 老赵, 19713 visits在上一篇文章里,我谈到自己在采用传统TDD方式进行开发时感到有些尴尬,最后不得不放弃这种先写测试再写代码最后重构的方式。不过我还是非常注重单元测试的实践,慢慢发现自己的做法开始转向另一种TDD方式,也就是“可测试性驱动开发”。简单的说,我现在采取的做法是,先开发,再测试,一旦发现产品代码不太容易测试,则将其重构为容易测试的代码。我发现,这种时刻注重可测试性的开发方式,其最终也能够得到质量较高的代码。例如,它和SOLID原则也颇为融洽。上次谈的比较理论,而这次我便通过一个简单功能的开发过程,来表现我的思维方式及常用做法。
任务描述
这个功能是开发ASP.NET MVC项目时的常见任务:构建一个Model Binder。ASP.NET MVC中Model Binder的职责是根据请求的数据来生成Action方法的参数(即构建一个对象)。那么这次,我们将为负责产品搜索的Action方法提供一个SearchCriteria参数作为查询条件:
public class SearchCriteria { public PriceRange Price; public string Keywords { get; set; } public Color Colors { get; set; } } [Flags] public enum Color { Red = 1, Black = 1 << 1, White = 1 << 2 } public class PriceRange { public float Min { get; set; } public float Max { get; set; } }
SearchCriteria中包含三个条件,一是复杂类型的Price条件,二是字符串类型的Keywords条件,三是一个Color枚举类型。作为查询条件,它总是需要在URL中表示出来的,而表现方式则是最近在《趣味编程:从字符串中提取信息》中定义的做法。例如,如果是这样的URL:
/keywords-hello%20world--price-100-200--color-black-red
它表示的便是这样的条件:
- 价格为100到200之间
- 关键字为“hello world”(注意URL转义)
- 颜色为黑或红(使用Color.Black | Color.White表示)
而最终,我要使用“可测试性驱动开发”来实现的便是这个方法:
public class SearchCriteriaBinder : IModelBinder { public object BindModel(ControllerContext controllerContext, ModelBindingContext bindingContext) { throw new NotImplementedException(); } }
那么,我又会怎么做呢?
实现步骤
其实这也是个比较简单的功能,于是我一开始便用最直接的方式进行开发:
public class SearchCriteriaBinder : IModelBinder { public object BindModel(ControllerContext controllerContext, ModelBindingContext bindingContext) { var modelName = bindingContext.ModelName; var rawValue = bindingContext.ValueProvider[modelName].RawValue; var text = HttpUtility.UrlDecode(rawValue.ToString()); var tokenGroups = this.Tokenize(text); ... } private List<string[]> Tokenize(string text) { ... } }
这个Model Binder会从Value Provider中得到Model Name(一般Action参数的名称,在这里不是重点)所对应的rawValue,经过了URL Decode之后便得到了text,它是一个带有信息的字符串,也便是《趣味编程》所要解析的对象。如上面的例子,text便是:
keywords-hello world--price-10-20--color-black-red
请注意,原本在URL中表示为%20的字符,已经被URL Decode为一个空格。在得到text之后,我便要将其拆分为一个List<string[]>对象,这便是分割好的结果。拆分字符串的逻辑比较复杂,因此我将其提取到一个独立的Tokenize方法中去。于是我接下来就开始实现Tokenize方法了,写啊写,写完了。但是,我到底写的正不正确?我不知道。我唯一知道的东西是,这个逻辑不简单,我需要测试一下才放心。因此,在继续其他工作之前,我想要为它写一些单元测试。
这就是涉及到一个问题,我们该如何为一个私有方法作单元测试呢?我以前也想在博客上讨论这个问题,但是最终不知为何没有进行。我的看法是,如果设计得当,每个类的职责单一,应该不会出现需要进行单元测试的私有方法。如果一个私有方法需要测试,那么说明它的逻辑相对较为复杂,而且有独立的职责,应该将其提取到外部的类型中。例如在这里,Tokenize方法便值得我这样么做——因为我想要单元测试。于是我提取出一个Tokenizer抽象,以及一个默认的逻辑实现:
internal interface ITokenizer { List<string[]> Tokenize(string text); } internal class Tokenizer : ITokenizer { public List<string[]> Tokenize(string text) { ... } }
我现在便可以对Tokenizer进行充分的单元测试,以确保它的功能满足我的要求。测试完成后,我就对它完全放心了。而此时,我的SearchCriteriaBinder便会直接使用Tokenizer对象,而不是内部的私有方法——当然,是基于抽象来的:
public class SearchCriteriaBinder : IModelBinder { public SearchCriteriaBinder() : this(new Tokenizer()) { } internal SearchCriteriaBinder(ITokenizer tokenizer) { this.m_tokenizer = tokenizer; } private readonly ITokenizer m_tokenizer; public object BindModel(ControllerContext controllerContext, ModelBindingContext bindingContext) { var modelName = bindingContext.ModelName; var rawValue = bindingContext.ValueProvider[modelName].RawValue; var text = HttpUtility.UrlDecode(rawValue.ToString()); var tokenGroups = this.m_tokenizer.Tokenize(text); ... } }
原本由私有的Tokenize方法负责的逻辑,现在已经委托给ITokenzier对象了,而这个对象可以在构造SearchCriteriaBinder对象时通过构造函数提供。请注意,提供ITokenizer对象的构造函数访问级别是internal,也就是说,它可以被单元测试代码所访问(通过InternalVisibleToAttribute),但是无法被另一个程序集的使用方调用。也就是说,经过重构的SearchCriteriaBinder,它的可测试性提了,但是对外的表现却没有丝毫变化。
经过简单思考,便可以发现这一简单的改变其实也较为满足SOLID原则中的一部分:
- 单一职责:SearchCriteriaBinder职责很单一,解析工作交由同样职责单一的Tokenizer进行。
- 依赖注入:这里使用了构造函数注入的方式,SearchCriteriaBinder对Tokenizer的依赖不是写死在代码里的。
- 接口分离:SearchCriteriaBinder并不直接访问Tokenizer,而是通过一个抽象(ITokenizer)使用的。
这便是我常用的“可测试性驱动开发”,我一开始只是按照惯例直接实现BindModel方法,然后发现一个需要测试的私有方法,因此为了提高可测试性,我将部分功能提取到独立的Tokenizer对象中去。在实际开发过程中,我也可能是直接在脑子里进行简单的分析,然后直接发现我们的确需要一个Tokenizer方法(这点想象应该不难),于是直接实现ITokenzier接口,Tokenizer类以及单元测试。这样,可能SearchCriteriaBinder从一开始就会变成目前的样子。不过更多的情况,的确是写着写着,为了“可测试性”而进行的重构。为了说明这个“思路”,我接下来还是使用“编写代码——尝试测试而不能——重构”的方式来进行开发。
好,我已经拆分成功了,也就是得到了一个List<string[]>对象。接下来,我要读取其中的数据,将其转化为一个SearchCriteria对象:
public object BindModel(ControllerContext controllerContext, ModelBindingContext bindingContext) { ... var tokenGroups = this.m_tokenizer.Tokenize(text); return this.Build(tokenGroups); } private SearchCriteria Build(List<string[]> tokenGroups) { var fieldTokens = tokenGroups.ToDictionary( g => g[0].ToLowerInvariant(), g => g.Skip(1).ToList()); var searchCriteria = new SearchCriteria(); List<string> values; if (fieldTokens.TryGetValue("keywords", out values)) { searchCriteria.Keywords = values[0]; } if (fieldTokens.TryGetValue("price", out values)) { searchCriteria.Price = new PriceRange { Min = float.Parse(values[0]), Max = float.Parse(values[1]) }; } if (fieldTokens.TryGetValue("color", out values)) { ... } return searchCriteria; }
在BindModel方法中得到了tokenGroups之后,便交由Build方法进行SearchCriteria对象的构建。首先,我先将List<string[]>对象转化为“字段”和“值”的对应关系,这样我们便可以使用keywords、price等字符串获取数据(也就是一个List<string>对象),并生成SerachCriteria各属性所需要的值了。在这里,我们这一切都放在Build方法中的几个if里进行,但这很显然不是容易单元测试的方法。要知道,这里的代码看上去容易,但事实上每个if里的逻辑其实并不仅仅如此。例如,在输入不合法的情况下是容错,还是抛出异常?如果Min大于Max的情况下,是否直接将其交换再继续处理?因此,其实在每个if之中还会有if,还会有for等复杂的逻辑。对于这样的逻辑,我想要单元测试。
于是,我为List<string>到特定对象的转换操作也定义一个抽象:
public interface IConverter { object Convert(List<string> values); } public class KeywordConverter : IConverter { public object Convert(List<string> values) { return values[0]; } } public class PriceRangeConverter : IConverter { public object Convert(List<string> values) { return new PriceRange { Min = float.Parse(values[0]), Max = float.Parse(values[1]) }; } } public class ColorConverter : IConverter { ... }
在这里,我为每个字段定义了一种转化器(而在实际开发过程中,我们可能也会为“每种类型”定义一个)。每个转化器对象均可独立的进行单元测试,其中复杂的边界条件,错误判断等等都是测试的目标。待几种转换器测试完毕,我们便可以重构SerachCriteriaBinder的Build方法:
private SearchCriteria Build(List<string[]> tokenGroups) { var fieldTokens = tokenGroups.ToDictionary( g => g[0].ToLowerInvariant(), g => g.Skip(1).ToList()); var searchCriteria = new SearchCriteria(); List<string> values; if (fieldTokens.TryGetValue("keywords", out values)) { searchCriteria.Keywords = (string)this.GetConverter("keywords").Convert(values); } if (fieldTokens.TryGetValue("price", out values)) { searchCriteria.Price = (PriceRange)this.GetConverter("price").Convert(values); } if (fieldTokens.TryGetValue("color", out values)) { searchCriteria.Colors = (Color)this.GetConverter("color").Convert(values); } return searchCriteria; } private IConverter GetConverter(string field) { // 使用if ... else或是字典 }
我又想测试GetConverter方法了,怎么办?那就还是把GetConverter这部分逻辑从外部注入吧——哎,难道还要我写一个IConverterFactory接口和ConverterFactory类吗?也不一定,我们还是用“轻量”些的方法吧:
public class SearchCriteriaBinder : IModelBinder { ... public SearchCriteriaBinder() : this(new Tokenizer(), GetConverter) { } internal SearchCriteriaBinder(ITokenizer tokenizer, Func<string, IConverter> converterGetter) { this.m_tokenizer = tokenizer; this.m_getConverter = converterGetter; } private readonly ITokenizer m_tokenizer; private readonly Func<string, IConverter> m_getConverter; internal static IConverter GetConverter(string field) { // 使用if ... else或是字典 } private SearchCriteria Build(List<string[]> tokenGroups) { ... if (fieldTokens.TryGetValue("keywords", out values)) { searchCriteria.Keywords = (string)this.m_getConverter("keywords").Convert(values); } ... } }
这一次,我使用了委托对象的方式注入一段逻辑,它其实也是我们可以使用的一种方式。这样,我们便可以为GetConverter方法作独立的单元测试了。不过,我这里使用委托也有点“展示”的意味在里面,在实际开发过程中,可能我还是会使用ConverterFactory,这对我来说更“正规”一些。这种“接口”与“实现”分离的做法,除了能够独立测试之外,还有一个目的就是为了在测试Build方法时不依赖GetConverter的实现,也意味着不依赖PriceRangeConverter,KeywordConverter的实现等等,因为我们在测试Build方法时,可以提供一个针对测试的GetConverter方法逻辑,返回一些IConverter的Mock或Stub对象。这样,Build方法也就非常独立,不依赖外部实现了。
没错,我们想要独立测试Build方法,但是现在SearchCriteriaBinder还不允许我们这么做。那么,继续重构吧:
internal interface ISearchCriteriaBuilder { SearchCriteria Build(List<string[]> tokenGroups); } internal class SearchCriteriaBuilder : ISearchCriteriaBuilder { internal SearchCriteriaBuilder() : this(GetConverter) { } internal SearchCriteriaBuilder(Func<string, IConverter> converterGetter) { this.m_getConverter = converterGetter; } internal static IConverter GetConverter(string field) { // 使用if ... else或是字典 } private readonly Func<string, IConverter> m_getConverter; public SearchCriteria Build(List<string[]> tokenGroups) { ... } }
把Build的逻辑独立提取成类之后,自然需要让SearchCriteriaBinder使用SearchCriteriaBuilder:
public class SearchCriteriaBinder : IModelBinder { public SearchCriteriaBinder() : this(new Tokenizer(), new SearchCriteriaBuilder()) { } internal SearchCriteriaBinder(ITokenizer tokenizer, ISearchCriteriaBuilder builder) { this.m_tokenizer = tokenizer; this.m_builder = builder; } private readonly ITokenizer m_tokenizer; private readonly ISearchCriteriaBuilder m_builder; public object BindModel(ControllerContext controllerContext, ModelBindingContext bindingContext) { var modelName = bindingContext.ModelName; var rawValue = bindingContext.ValueProvider[modelName].RawValue; var text = HttpUtility.UrlDecode(rawValue.ToString()); var tokenGroups = this.m_tokenizer.Tokenize(text); return this.m_builder.Build(tokenGroups); } }
至此,我们的SearchCriteriaBinder便开发完成了。您可以访问http://gist.github.com/212644浏览最终的结果。
总结
以上便是一个完整的SearchCriteriaBinder的开发过程。可以发现,虽然我们的目标只有SearchCriteriaBinder一个,它也是唯一在外部可以访问到的类型(即public),但是我们这里总共出现了9个接口或是类。整个SearchCriteriaBinder是通过它们的协作完成的。9个看上去很多,但其实它们之间并没有复杂的交互,你会发现每个类本身只是和另外1至2个抽象有联系,它们也没有复杂的依赖关系。确切地说,我只是把它们拆成了一个个独立的小功能而已。
拆成小功能,只是为了进行独立的,细致的单元测试。也就是说,我的每一次重构,每一次拆分,目的都是为提高“可测试性”(我把它们都标红了),因此它是“可测试性驱动开发”。在为某个类进行单元测试的时候,也不会依赖其他类的具体实现,因为所有的类访问的都是抽象,我们只需要为这些抽象创建Mock——其实只是Stub就可以了。例如:
- 测试SearchCriteriaBinder时,为ITokenizer和ISearchCriteriaBuilder创建Stub。
- 测试SearchCriteriaBuilder时,为Func<string, IConverter>委托提供实现(也就是个Stub)。
这样,SearchCriteriaBinder的单元测试出错了,那么有问题的一定是SearchCriteriaBinder的实现,而不会是因为Tokenizer实现出错而造成的“连锁反应”。至于其他的类,都只是最简单的“工具类”,没有比它们更容易进行单元测试的东西了。
与传统的TDD相比,我常用的这种“可测试性驱动开发”使用的还是先开发,再测试的做法。在开发的时候,我们使用传统的设计方式,可能设计的只是一套类库/框架对外的表现。例如,我们在开发ASP.NET MVC应用程序时,知道我们需要一个SearchCriteriaBinder来生成Action的参数。于是,这个程序集的职责只是暴露出这个Binder而已。在具体实现这个Binder的过程中,我们也是用非常直接的开发方式,只是会时不时地关注“可测试性”。
“时不时”地关注,这点并不夸张。因为我在实际开发过程中,不会编写大段的逻辑再进行测试,而是写完一段之后(如Tokenize方法)我就会担心“这部分写的到底对不对”。于是,我不会等整个SearchCriteriaBinder实现完成便会提取出Tokenizer,实现并测试。这么做,也可以保证我的开发过程是渐进的,每一步都是走踏实的。使用这种方法,似乎也可以得到TDD的优势:
- 得到许多测试
- 模块化
- 对重构和修改代码进行保护
- 框架内部设计的文档
- ……
如果要使用传统的TDD开发SearchCriteriaBinder的话,可能就需要先设计一个输入字符串,然后为它直接设计一个输出。此时,在这个测试中就要考虑许许多多的东西了,例如字符串的拆分,数据的转化,以及转化的各种边界情况等等。事实上,我认为如果不对SearchCriteriaBinder进行分割,是根本无法做到细致的完整的单元测试的。因此,即便是传统的TDD方式,最终也一定会将SearchCriteriaBinder分割成更小的部分。
我认为,使用传统的TDD方式最终得到的结果和“可测试性驱动开发”是很接近的——我是指产品代码。其中的区别可能是使用TDD的方式会有更多更细小的测试,也就是那些被人认为是非常stupid的测试。在开发一些“工具类”的时候,我们很容易想到此类细小的测试,但是大类就不一定了。在面向对象的方式进行开发时,涉及到更多的可能是类之间的交互。这时候“测试驱动”的思维(对我来说)就有些奇怪了。因此,我会选择先进行开发,然后重构成易于测试的形式。
“可测试性驱动开发”和传统的TDD也是不矛盾的,它们完全可以混合使用。例如在开发SearchCriteriaBinder时,我也不会将Tokenize这个私有方法真正实现完毕之后才提取出Tokenizer。因为,我其实很快(甚至是在脑子里“写代码”时)就会意识到Tokenize方法是有独立意义的,是需要单元测试的。因此,我会早早地定义ITokenizer接口,然后在开发Tokenizer这个工具类的时候,便使用传统TDD的方式进行。
这样看来,似乎我们也可以这么说:“可测试性驱动开发”是偏向于“设计”的(毕竟“可测试性”是设计出来的),而传统TDD则更偏向于“实现”。
和老赵同时发文。坐个沙发 嘿嘿