举个简单的例子，当你有一个日IP过千的网站，而你的网站首页几百年没有更改了，这个时候你想启用新的网页，而你有害怕新的页面用户不一定就非常喜欢，那么这个时候你就需要进行A/B测试了。测试的方法是将老页面定义为A页面，新页面定义为B页面。到谷歌网站优化工具申请进行A/B测试（免费的），这是时候谷歌会给你一串代码，我们只需要将代码添加到谷歌要求的页面即可。
代码添加完毕，如果有一千个用户访问你的网站，那么会有500个用户看到A页面，500个用户看到B页面，这个时候再统计下通过A页面到达网站内页的用户占的百分比是多少，通过B页面到达内页的用户占的百分比是多少。假设A的是6%，B的是20%那么恭喜你，这说明你新设计的页面是博得了用户的欢心。如果你对20%的结果还不满意，那么继续修改你的页面，直到这个转化率不能够再提高为止。
A/B测试是一个科学的统计方法，这一统计的诞生，再也不用为了争吵是使用A图片好，还是使用B图片好，好不好，按照效果说算。还是邓爷爷说的好，实践是检验真理的唯一标准。停止争吵，来做个A/B测试吧。
前提是你要有上千的IP，而且还是每日。数据太小的话，往往不准确。
网站设计中，我们经常会面临多个设计方案的选择，比如某个按钮是用红色还是用蓝色，是放左边还是放右边。传统的解决方法通常是集体讨论表决，或者由某位专家或领导来拍板，实在决定不了时也有随机选一个上线的。虽然传统解决办法多数情况下也是有效的，但A/B 测试（A/B Testing）可能是解决这类问题的一个更好的方法。
所谓 A/B 测试，简单来说，就是为同一个目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用情况，看哪个方案更符合设计目标。当然，在实际操作过程之中还有许多需要注意的细节。
A/B 测试最核心的思想，即：
1、多个方案并行测试；
2、每个方案只有一个变量（比如鸟喙）不同；
3、以某种规则优胜劣汰。
http://oldj.net/article/AB-Testing-basic-concept/
http://www.google.com/support/googleanalytics/bin/answer.py?hl=zh-Hans&answer=55589