古赵城是贵乡县治，贵乡县是今大名县的前身。贵乡县原系元城县的一部分，因西汉成帝年间，一日封元城王氏家族的王谭为平阿候，王商为成都候，王立为红阳候，王根为曲阳候，王逢时为高平候。时称“五侯”。因孝元皇后世居元城县委粟里，家凡九候五司马，因以“贵乡”称之。贵乡县得名源于此。

东魏天平二年（公元535年），阳平郡移治馆陶县，分馆陶西部于魏州西北三十里古赵城（今黄金堤乡包头村）复置贵乡县，由中郎将治，属魏尹。北齐天保七年（公元556年）十一月十二日，北齐因北魏孝昌年间以来州郡滥置，大行并省州郡，废元城县入贵乡县。北周建德七年（公元578年），古赵城因西临淇水，卑湿，东南移三十里，以孔思集寺为贵乡县治（今大名县大街村）。古赵城作为贵乡县治44年。

贵乡县建县始于孔思集寺，也终于孔思集寺。贵乡县首建于前燕建熙元年（公元360年），析元城县置贵乡县，建贵乡郡，筑郡城，郡县治所同郭。建熙中裁贵乡郡，贵乡县属昌乐郡。大名旧志记载，大街一带的大名府城始建于前燕建熙年间，最初设置的贵乡县治所在当时的孔思集寺。北魏太和二十一年（公元497年），再次分元城县复置贵乡县，寻省。