汉光武帝一统天下之后，曾下令摧毁坞堡，却禁之不绝，由于西北边民常苦于异族侵扰，百姓便常常自行组织武力。至汉未黄巾之乱，因坞堡驻有大批部曲及私军，成为故吏、宾客的避祸首选。
不可否认，坞堡对于守乡护土起到了一定作用，但是，坞堡不纳税、不服劳役、不遵王命、圈占大量田地人口，甚至有时据险对抗官军讨伐，形如一个个的独立王国。对于任何一个统治者来说，坞堡既为心腹大患，却又是拿之无可奈何的一颗毒瘤。
往往政权出现危机时，第一个投敌的就是坞堡，古人重家不重国，只要能保全家族，投敌不算什么，如北方刘曜与石勒辖地，投靠的坞堡至少有上百座，其中有名望者，往往被招至麾下或为官或为谋士，最有名的，当属石勒的首席谋士张宾。
骑在马上，云峰转头向张灵芸问道：“坞堡自视狂傲，目无王法，西平公为何不讨伐拆除？”
张灵芸苦笑道：“拆堡？谈何容易。我凉州境内共有坞堡一十三座，相互守望，互为姻亲，少者部曲两三千，多则达至万余，且部众同宗同族，上下齐心，若要征讨，未必就能胜之。反恐一着不慎，招至大祸临身，因此也就听之任之，只要不公开造反即可。就如方才所见的贾氏坞堡，为其中最大的一座，圈占良田数万顷，人口近十万，其中私军约摇了摇头，显得无奈之极。