百里奚是虞国大夫，晋献公向虞国借道伐虢之后回军灭掉了虞国，百里奚与国君一同被俘，于是百里奚就由一国大夫沦为了奴隶。晋献公答应了秦穆公的求婚之后，就按照当时的礼制为女儿准备了大量的陪嫁，其中不仅包括精美昂贵的各种珍宝器物之外，也包括很多男女奴隶，而百里奚就被充作了陪嫁奴隶随着出嫁的队伍被送往秦国。
百里奚不堪受辱，在路上悄悄逃走，但是此时百里奚已经年近古稀，行动不便，走到宛地（今河南南阳）就被楚国的农民抓住，又成为了楚国的奴隶。楚成王也不知道这位年迈的奴隶竟然是一位胸中有大丘壑的贤臣，只是听说百里奚擅长养牛，就让他去为自己养牛。
晋献公的女儿嫁到秦国之后，秦穆公听说了陪嫁奴隶中有一位百里奚是从虞国俘虏来的贤臣，但是已经逃走，还被楚国人抓住送去养牛，于是秦穆公便想重金为百里奚赎身。但是转念一想楚国人现在不知道百里奚是个贤臣，所以才让他去养牛，如果自己真的花费重金去赎他，就会引起楚王的注意。如果楚王明白了百里奚是个千金难得的贤臣，恐怕就不会送他回秦国了。
于是秦穆公派人出使楚国，对楚成王说：“我夫人的陪嫁奴隶百里奚逃到了贵国，请允许我用五张黑公羊皮来赎他。”五张黑公羊皮是当时买卖奴隶比较正常的价格，楚国人不疑有他，便很大方地将百里奚送给了秦国，当时的百里奚已经七十多岁了。
为了蒙蔽楚国人，秦国的使者将百里奚像奴隶一样囚禁起来，待一行人抵达秦国，秦穆公亲自为他解开束缚并谈论国事。百里奚一生大起大落，暮年还沦为了奴隶，已经心灰意冷，便说：“臣是亡国之人，何足国君动问！”秦穆公坚定地说：“虞国国君不听您的建议，这才会亡国，虞国的灭亡并非您的过错。”然后再三以国事相询，百里奚见秦穆公十分诚恳，并没有轻视自己，便滔滔不绝地将胸中韬略一一相告。
君臣二人得遇知音，一起倾谈了足足三天，秦穆公认为百里奚提出的治国之策很适合秦国，于是便要将国家大政托付给他，并封他为大夫。由于百里奚是用五张黑公羊皮赎回来的，而黑公羊皮在当时被称为“羖”，因此百里奚在秦国就被称为“五羖大夫”。
百里奚对秦穆公说：“臣的才能不及臣的朋友蹇叔，蹇叔的贤能当世之人无人知晓。我当年在各国之间游历求官，在齐国时遭遇困境，只能乞讨而行，是蹇叔收留了我。因此我就想留在齐国做官，侍奉齐国的国君无知，蹇叔劝住了我，这才没有在后来被无知牵累。后来我又为周王子颓养牛，以此得到王子颓的信任，将要得到重用的时候，又是蹇叔阻止了我让我离开，我这才没有和王子颓一起被杀。”
“后来我到了虞国，蹇叔又劝我离开，我虽然知道虞国国君不听劝告，但仍然为了爵禄地位留了下来。我两次听了蹇叔的话，就得以幸免于难，而这一次没有听他的话，就遭了劫难，因此我知道蹇叔是个难得的贤人。”秦穆公听了百里奚的话，果然派人带上厚礼去迎接蹇叔，封他为上大夫。
据说百里奚年轻时为了周游列国求官，不得不与自己的妻子杜氏分开。百里奚受到秦穆公重用之后，有了自己的府第，常常与同僚们饮宴享乐。一次，百里奚府上又举行宴会，席间还有歌姬献唱，丝竹管弦之声传出很远。一曲终了，却见管家引着一名老妇上前，对百里奚说她擅长演唱，希望能为他献唱一曲。
百里奚越看越觉得那名老妇像自己的妻子，但是夫妻毕竟分别多年，不敢贸然相认，便同意让她演唱一曲。老妇在堂下抚弦而歌：
百里奚，五羊皮。忆别时，烹伏雌，炊扊扅，今日富贵忘我为；
百里奚，初娶我时五羊皮。临当别时烹乳鸡，今适富贵忘我为；
百里奚，百里奚，母已死，葬南溪。坟以瓦，覆以柴，舂黄黎，搤伏鸡。
西入秦，五羖皮，今日富贵捐我为！
听了这首悲戚哀怨的曲子，百里奚再无怀疑，当即起身到当下与杜氏相认。原来百里奚离开之后，妻子杜氏发现自己有了身孕，后来为他生下了一个儿子，起名视，字孟明。由于家境贫寒，杜氏每日辛苦劳作，为百里奚照顾父母、抚育幼子，百里奚的母亲去世后她也无力营葬，只能很简陋地安葬了她。
多年以后，杜氏听说百里奚在秦国得到了荣华富贵，便带着儿子孟明视来投奔他。但是她一个容颜衰老的贫苦妇人哪里能轻易见到秦穆公的新贵、秦国的上大夫百里奚呢？杜氏更加担心百里奚富贵之后就忘记她，不愿意与她相认。为了找机会亲自与百里奚谈清楚，杜氏便设法留在百里奚的府上，做了一名洗衣的仆妇。这次百里奚府上设宴，她才找到机会，将过去的经历编成唱词唱出来，吸引百里奚的注意，来与她相认。
百里奚在秦国得到了国君的信重和大展拳脚的机会，又找回了妻子和儿子，生活得十分满足。从此以后，他竭尽所能为秦穆公出谋划策，帮助秦国增加国力，向中原扩展，在后来秦霸西戎的道路上，百里奚的建议起到了很大的作用。