程昱向曹操献计说：“关羽有万人之敌的勇猛，非用智谋不能取胜。现在可以派刘备手下投降的士兵，进入下邳见关羽，假装是逃回来的，埋伏在城中作为内应。然后引诱关羽出战，假装战败，诱使他进入其他地方，再用精兵截断他的归路，然后就可以劝说他投降了。”曹操听从了他的计策，立即命令徐州的降兵数十人，直接投奔下邳去投降关羽。关羽以为是旧部下，收留了他们而没有怀疑。
第二天，夏侯惇作为先锋，领兵五千来挑战。关羽没有出战，夏侯惇就派人在城下辱骂。关羽大怒，带领三千人马出城，与夏侯惇交战。大约战了十多个回合，夏侯惇拨马就走。关羽赶来，夏侯惇一边战斗一边退走。关羽大约追赶了二十里，担心下邳有失，就提兵返回。只听得一声炮响，左边有徐晃，右边有许褚，两队军马截住了去路。关羽想要冲过去，但两边伏兵排下硬弩百张，箭像飞蝗一样射来。关羽无法通过，只好勒兵再回，与徐晃、许褚接住交战。关羽奋力杀退了二人，引军想回下邳，但夏侯惇又截住厮杀。关羽战到天晚，无路可归，只得来到一座土山上，引兵在山头屯驻，暂时歇息。曹兵则团团将土山围住。
关羽在山上遥望下邳城中火光冲天，原来是那些诈降的士兵偷偷打开了城门，曹操亲自带领大军杀入城中。曹操命令举火以迷惑关羽的心志。关羽见下邳火起，心中非常惊慌，连夜几次冲下山来，但都被乱箭射回。
一直捱到天亮，关羽再想整顿兵马冲下山去突围，忽然看见一人跑马上山来，一看是张辽。关羽迎上去说：“文远你是来与我交战的吗？”张辽说：“不是。我想起我们旧日的情义，特地来相见。”于是两人弃刀下马，相互叙礼完毕，坐在山顶。关羽说：“文远你莫非是来劝说我投降的吗？”张辽说：“不是。昔日你救过我的命，今天我怎能不救你呢？”关羽说：“那么文远你是打算帮助我吗？”张辽说：“也不是。”关羽说：“你既不帮助我，来这里干什么？”张辽说：“玄德现在不知存亡，翼德也生死未卜。昨夜曹公已经攻破了下邳，但军民都没有受到伤害。曹公还派人护卫玄德的家眷，不许惊扰她们。他这样对待你们，我特地来告诉你。”
关羽听后大怒说：“你这话分明是劝说我投降！我现在虽然身处绝境，但我视死如归。你赶快离开吧，我马上就要下山迎战了。”张辽大笑说：“兄长你这样说岂不是要被天下人耻笑吗？”关羽说：“我为了忠义而死怎么会被天下人耻笑呢？”张辽说：“兄长你现在如果战死就有三大罪状。”关羽说：“你且说说我有哪三大罪状？”张辽说：“当初刘使君与你结义的时候誓同生死现在刘使君刚刚失败你就要战死。如果将来刘使君复出想寻求你的帮助却再也找不到你了。这岂不是违背了当年的盟誓吗？这是第一大罪状。刘使君把他的家眷托付给你你现在战死她们将无所依靠。你辜负了刘使君的重托。这是第二大罪状。你武艺超群又通晓经史不想着和刘使君一起匡扶汉室却只想着逞匹夫之勇去赴汤蹈火。这怎么能算是义呢？这是第三大罪状。兄长你有这三大罪状我不得不告诉你。”
关羽听后沉吟了一会儿说：“你说我有三大罪状那么你想让我怎么办呢？”张辽说：“现在四面都是曹公的军队你如果不投降就必死无疑。白白送死没有任何好处。不如暂时投降曹公然后再打听刘使君的音信。如果知道他在哪里就立刻去投奔他。这样一来可以保全刘使君的家眷二来不违背桃园的盟约三来也可以留下有用的身体。有这三大便利兄长你应该仔细考虑。”关羽说：“你说的有三大便利但我有三个条件。如果丞相能答应我这三个条件我就立刻卸甲投降。如果他不答应我宁愿受三罪而死。”张辽说：“丞相宽宏大量有什么不能容纳的呢？我愿意听听你的三个条件。”关羽说：“第一我与皇叔发誓要共同扶持汉室我现在只投降汉帝不投降曹操。第二请给二嫂皇叔的俸禄来赡养她们一应上下人等都不许到门打扰。第三只要知道刘皇叔的去向不管千里万里我都要立刻辞去。这三个条件缺一不可否则我宁死也不投降。希望文远你赶快回去报告给丞相。”
张辽应允了关羽的条件，于是上马回去见曹操。他首先向曹操转述了关羽“降汉不降曹”的要求。曹操笑着说：“我是汉的丞相，汉就是我，这个条件可以接受。”张辽又说：“关羽的二位夫人想要得到皇叔的俸禄，并且不希望有闲杂人等去打扰。”曹操回答：“我会在皇叔的俸禄基础上加倍给她们。至于严格禁止内外交往，这是家法，没有什么可疑虑的。”张辽继续说：“关羽只要知道刘备的消息，即使再远也会去投奔。”曹操摇头说：“如果我养了关羽却不能为我所用，那养他有什么用呢？这个条件我不能接受。”张辽说：“您难道没有听说过豫让的‘众人国士’之论吗？刘备对关羽的恩情也不过是深厚而已。丞相您如果能用更深厚的恩情来结交关羽，何愁关羽不服从您呢？”曹操说：“文远你说得对，我愿意答应这三个条件。”
张辽再次上山向关羽回报。关羽说：“既然这样，请丞相暂时退军，让我进城见见二位嫂嫂，告诉她们这件事，然后我再投降。”张辽又回去把这话报告给曹操，曹操立刻传令退军三十里。荀彧说：“不行，恐怕有诈。”曹操说：“关羽是义士，一定不会失信。”于是带领军队撤退。
关羽带领士兵进入下邳，看到百姓都安然无恙，便直接到府中去见二位嫂嫂。甘夫人和糜夫人听到关羽到来，急忙出来迎接。关羽在阶下拜见说：“让二位嫂嫂受惊了，这是我的罪过。”二位夫人问：“皇叔现在在哪里？”关羽回答：“不知道他的去向。”二位夫人又问：“二叔你现在打算怎么办？”关羽说：“我关某出城死战，被困在土山上，张辽劝我投降，我提出了三个条件。曹操已经全部答应了，所以特地退兵放我进城。我还没有得到二位嫂嫂的主意，不敢擅自做决定。”二位夫人问：“那三个条件是什么？”关羽将之前提到的三个条件详细叙述了一遍。
甘夫人说：“昨天曹军进城的时候，我们都以为必死无疑了。谁想到他们秋毫无犯，一兵一卒都不敢进入我们的家门。叔叔既然已经答应了曹操的条件，又何必再来问我们两个人呢？只是担心以后曹操不会容许叔叔你去寻找皇叔。”关羽说：“嫂嫂请放心，关某自有主张。”二位夫人说：“叔叔你自己决定吧，凡事不必再来问我们这些女流之辈了。”
关羽告辞后离开，于是带领数十名骑兵去见曹操。曹操亲自出辕门迎接。关羽下马拜见曹操，曹操慌忙回礼。关羽说：“我作为败军之将，非常感谢您的不杀之恩。”曹操说：“我一直仰慕你的忠义之名，今天有幸相见真是让我心满意足啊。”关羽说：“张辽已经替我禀告了三个条件，承蒙丞相您答应下来我相信您一定不会食言的。”曹操说：“我说出的话怎么会失信于人呢？”关羽说：“如果我关某知道了皇叔的下落即使赴汤蹈火也在所不辞。到时候恐怕来不及向您告辞了请您原谅。”曹操说：“如果刘备还在的话他一定会跟你走的。但是恐怕他已经在乱军中丧命了。你暂且放宽心我还会继续打听的。”关羽拜谢过曹操后曹操设宴款待他。
第二天曹操班师回许昌。关羽收拾好车马请二位嫂嫂上车自己亲自护车而行。一路上在驿站安歇曹操想要打乱他们君臣之间的礼节让关羽和二位嫂嫂共处一室。但是关羽却手持烛火站在户外从夜晚一直到天亮都没有丝毫疲倦的神色。曹操看到关羽这样更加敬佩他了。
到了许昌之后曹操拨给关羽一座府邸居住。关羽将这座宅子分为两院并在内门安排了十名老军把守自己则住在外宅。曹操带着关羽朝见汉献帝献帝任命他为偏将军。关羽谢恩后回到宅邸。曹操第二天又设大宴邀请众谋臣武士以客礼对待关羽并请他坐在上座。曹操还准备了绫锦和金银器皿送给关羽但关羽都把它们送给了二位嫂嫂收藏。
自从关羽来到许昌之后曹操一直对他非常优待。每隔三天就设小宴招待每隔五天就设大宴款待并且还送了十个美女给关羽侍候他。但是关羽却把这些美女都送到了内门让她们去侍候二位嫂嫂。而他自己则每隔三天就在内门外躬身施礼问候“二位嫂嫂是否安好”。当二位夫人回答完关于刘备的事情之后说“叔叔你自己随意吧”关羽才敢退回。曹操听到这些事情后对关羽的敬佩之情溢于言表。
一天，曹操看到关羽所穿的绿色战袍已经很旧了，就根据他的身材，取了一件不同花色的新战袍送给他。关羽接受了这件新袍子，但是把它穿在里面，外面仍然用旧袍子罩着。曹操笑着问：“云长，你为什么这么节俭呢？”关羽回答说：“我并非节俭。这旧袍子是刘皇叔送给我的，我穿着它就好像看到兄长一样，不敢因为丞相您送的新袍子就忘记兄长的旧袍子，所以我把它穿在外面。”曹操听后赞叹道：“你真是个义士啊！”虽然他口头上称赞，但心里其实并不高兴。
有一天，关羽在府中，突然有人报告说：“内院二位夫人哭倒在地，不知道为什么，请将军快去看看。”关羽于是整理好衣服，跪在内门外，问二位嫂嫂为什么哭泣。甘夫人说：“我昨晚梦见皇叔身陷在一个土坑里，醒来后跟糜夫人说起，我们担心他已经不在人世了，所以一起哭泣。”关羽安慰她们说：“梦境的事情，不能轻易相信。这可能是嫂嫂们太想念兄长了，请不要过于忧愁。”