秦子婴元年（前206年），秦始皇帝陵遭遇了第一次也可能是最大的一次劫难。据《史记·高祖本纪》《汉书·卷一·高帝纪第一上》《汉书·卷三十六·楚元王传第六》记载，西楚霸王项羽带兵攻入关中后，大规模破坏秦始皇陵，地面建筑毁于一旦，并下令挖掘了帝陵，兵马俑在这场浩劫中也损毁严重。
根据后来的专家考古发掘情况表明，一号俑坑和二号俑坑有黑色木炭遗迹，说明一、二号俑坑的塌陷都是因为被火焚烧后造成的。
刘邦击败项羽后，定都长安，建立西汉。为了笼络天下人心，于汉高祖十二年（前195年），下令对秦始皇陵妥为保护，并着令20户人家住在秦陵附近，作为守陵人看管秦始皇陵。此后，各朝各代的统治者对秦代帝王陵墓，都下令保护。
但即使如此，秦陵也未得安稳。《汉书·刘向传》记载，有一小孩在秦陵附近放羊，结果有一只羊掉入地洞中，小孩子打着火把到地洞中去寻找，不料竟然走进了秦陵地宫，引发了一场大火，将秦始皇的棺椁烧掉了。对《汉书》所记，《水经注·渭水》也作了补充：“牧羊人寻羊烧之，火延九十日不灭。”
新莽末年，赤眉军盗掘秦始皇陵，将发掘出的葬具、铜椁熔化掉，以取铜材。
魏晋时期，后赵统治者石虎又悍然盗掘秦陵。
唐代末年，黄巢攻入关中，秦始皇陵经历了一次大规模的破坏。黄巢盗秦陵一事历代都有传说，明人都穆《骊山记》云：“始皇陵内城周五里，旧有四门，外城周二十里，其址俱存，自南登之，二邱并峙，人日：此南门也。右门石枢犹露土中，陵高可四丈，项羽、黄巢皆尝发之。老人云：始皇葬山中，此特其虚冢耳。”都穆《骊山记》中所记黄巢盗秦陵的事情，在新、旧《唐书》均不见记载，所以，不少学者对其真实性提出了质疑，此种说法尚待专家考证。
五代时，军阀温涛以筹集军饷为名，再次大规模组织盗掘秦始皇陵。
宋太祖开宝三年（970年），下令临潼县保护和修整秦始皇陵。