林冲的不幸是从岳庙里还香愿开始的，高衙内调戏张贞娘，“林冲赶到跟前，把那后生肩胛只一扳过来，喝道：‘调戏良人妻子，当得何罪’！”[ 金圣叹：《贯华堂第五才子书》，周锡山编校，辽宁：万卷出版社，2009年，第116页。]然而事情急剧一转，颇有戏剧性的一幕发生了，“恰待下拳打时，认的是本管高太尉螟蛉之子高衙内，那厮在东京倚势豪强，专一爱淫人家妻女。京师人惧怕他权势，谁敢与他争口，叫他做花花太岁。[ 金圣叹：《贯华堂第五才子书》，周锡山编校，第116页。]”所以“当时林冲扳将过来，却认得是本管高衙内，先自手软了。”[ 金圣叹：《贯华堂第五才子书》，周锡山编校，第116页。]众多闲汉一齐拢来劝道：“教头休怪，衙内不认的，多有冲撞。”[ 金圣叹：《贯华堂第五才子书》，周锡山编校，第116页。] “林冲怒气未消，一双眼睁着瞅那高衙内。众闲汉劝了林冲，和哄高衙内出庙上马去了。”[ 金圣叹：《贯华堂第五才子书》，周锡山编校，第116页。]首先，如果高衙内换作普通人，必定吃林冲几拳教训，这段写得很清楚，众人为高衙内解围，给林冲一个台阶下，林冲虽怒气未消但顺势放了高衙内，这在随后的林冲与鲁智深的对话中可见，智深道：“我来帮你厮打。”林冲道：“原来是本官高太尉的衙内，不认得荆妇，时间无礼。林冲本待要痛打那厮一顿，太尉面上须不好看。自古道：‘不怕官，只怕管。’林冲不合吃着他的请受，权且让他这一次。”[ 金圣叹：《贯华堂第五才子书》，周锡山编校，第116页。]第一，林冲认为打了高衙内，面子过不去，也无法交代，毕竟高太尉是自己的上司；第二，高太尉位高权重，京东人都惧怕他权势，林冲打了他不仅会丢了饭碗，可能还会惹来祸端，这些反映出林冲深谙世事，遇事非常清醒，反应也很机敏，这是一个普通人想在黑暗当道的社会里步入仕途必懂的道理，林冲非忍不可，这是他的一个正常反应。林冲可不像鲁智深一类的亡命之徒，其有家室挂念。大多数的看客怀着嫉恶如仇的心态，认为林冲痛打一顿高衙内更痛快淋漓一些，可深入实情实境可知，林冲做得很有分寸，而且此前两人并无结怨，林冲也不可能料到高衙内恶欲难填和事情后来的发展。
林冲的第一次不幸是其友人陆虞侯的陷害。奸佞小人富安摸出了高衙内的心事，为了取宠动了邪念:“小闲寻思有一计，使衙内能勾得他。”[ 金圣叹：《贯华堂第五才子书》，周锡山编校，第117页。 ]“门下知心腹的陆虞候陆谦，他和林冲最好。明日衙内躲在陆虞候楼上深阁,摆下些酒食，却叫陆谦去请林冲出来吃酒。教他直去樊楼上深阁里吃酒。小闲便去他家对林冲娘子说道：‘你丈夫教头和陆谦吃酒，一时重气，闷倒在楼上，叫娘子快去看哩，赚得他来到楼上。