这个成语来源于《韩非子.难一》，繁礼君子，不厌忠信，战阵之间，不厌诈伪。君其诈之而已矣。
公元前633年，楚国攻打宋国，宋国向晋国求救。第二年春天，晋文公派兵攻占了楚的盟国曹国和卫国，要他们与楚国绝交，才让他们复国。楚国被激怒了，撤掉对宋国的包围，来和晋国交战。两军在城濮（今山东鄄城西南）对阵。
晋文公重耳做公子时，受后母迫害，逃到楚国，受到楚成王的款待。楚成王问重耳以后如何报答，重耳说：“美女、绸缎等等，您都有了，我能给您什么呢？假如托您的福我能回国执政，万一遇到两国发生战争，我就撤退三舍（舍为十里）。如果楚国还不能谅解，双方再交手。”
为了实现当年的诺言，晋文公下令撤退九十里。楚国大将子玉率领楚军紧逼不舍。
当时，楚国联合了陈、蔡等国，兵力强；晋国联合了齐、宋等国，兵力弱。应该怎样作战呢？晋文公的舅舅子犯说：“我听到过这样的说法：对于注意礼仪的君子，应当多讲忠诚和信用，取得对方信任，在你死我活的战阵之间，不妨多用欺诈的手段迷惑对方。你可以采取欺骗敌军的办法。”
晋文公听从了子犯的策略，首先击溃由陈、蔡军队组成的楚军右翼，然后主力假装撤退，引诱楚军左翼追赶，再以伏兵夹击。楚军左翼大败，中军也被迫撤退。
这就是历史上著名的以弱胜强的城濮之战。晋国取胜后，与齐、鲁、宋、郑、蔡、莒、卫等国会盟，成为诸侯霸主。
在这个故事中，还引申出另一个成语“退避三舍”，用来比喻退让或回避，避免发生冲突。
兵不厌诈”这则成语的厌是：满足，诈：欺骗手段。用兵作战可以尽可能多用欺诈的战术迷惑对方，以获取胜利。