縣衙源於春秋，秦滅六國，分天下為36郡，郡下設縣，此後縣衙始終是地方政權的基層組織，主持縣衙的官員亦被稱為“父母官”。
平遙縣衙位於城內西南的政府街，坐北朝南，占地40畝。衙門口東有風水樓，南有照壁，西側設有申明亭，主要是進行訴前糾紛調解，能不告則不告；如果調解無效，非告不可，則由衙門專人在此代寫狀子。
衙門內沿中軸線自南而北，依次為大門、儀門、牌坊、六部房、大堂、宅門、二堂、內宅等建築。中軸線的東西兩側尚有土地祠、戲台、糧廳、督捕廳、牢獄等建築。
縣衙大門懸有楹聯：“莫尋仇莫負氣莫聽教唆到此地費心費力費錢就勝人終累己，要酌理要揆情要度時世做這官不勤不清不慎易造孽難欺天”，既勸百姓多一事不如少一事，得饒人處且饒人，衙門還是少進為妙；又在明示衙門斷案要審時度勢，合情合理，出於公心，為民做主。
縣衙的第二道門為“儀門”，青牆灰瓦，烏梁朱門，上釘黃銅大釘，威嚴莊重。除去知縣上任、恭迎貴賓或重大慶典活動等，此門一般不開。儀門兩側各有一門，平常人出入都走東側的“人門”，提審人犯或死囚赴刑時則走西側的“鬼門”。儀門外聯書：“門外四時春和風甘雨，案內三尺法烈日嚴霜”，直言衙門內外的天壤之別，勸說告狀人無事莫登三寶殿，衙門裏可不是好玩的。
大堂也叫公堂、正堂，這裏是知縣舉行重大典禮，審理重大案件以及迎送上級官員的地方，它是整個縣衙中主要建築物，矗立在高於地麵2尺餘的台基地上，顯得雄偉壯觀。上懸匾額題寫：“親民堂”，兩側楹聯：“吃百姓之飯穿百姓之衣莫道百姓可欺自己也是百姓，得一官不榮失一官不辱勿說一官無用地方全靠一官”。堂內正中屏風是一幅“山水朝陽圖”，升堂時，縣太爺正好坐在圖內朝陽升起的地方，寓意如日中天、如沐聖光。
二堂主要是處理一般民事的地方，也是知縣辦公中間臨時小憩或幕僚商議政事的地方。堂外聯書：“與百姓有緣才來到此，期寸心無愧不負斯民”，撰聯者故意將愧字少寫一點，民字多寫一點，巧妙含蓄為官一任就該多得點民心，少一點愧疚。案頭屏風為“鬆鶴延年圖”，上懸“思補堂”匾額，對麵又懸“天理、國法、人情”，時刻提醒著縣太爺斷案要權衡三者，融理、法、情於一體。這裏沒有大堂的森嚴氣氛，主要靠批評教育來達到退思補過、化解糾紛的目的，除非當事人執迷不悟，一般不用刑罰。
大堂與二堂之間由一道宅門隔開。宅門兩側設有門子房，相當於現在的傳達室，有人求見縣太爺，必須由門子通稟。門子大都是縣太爺的親信。許多來訪者，為圖見縣太爺方便，不得不常給門子使些黑錢，否則非吃閉門羹不可。這或許就是我們今天辦事需要“走門子”的曆史淵源吧。
內堂亦稱內宅，知縣不但在此宿居、讀書、辦公，而且有些涉密案件或不宜公開案件也在此審理。匾額題寫：“勤慎堂”，楹聯上書：“治賦有常經勿施小恩忘大體，馭官無製法但存公道去私情”，意思是說做官要有做官的原則，不能因為一時的私心雜念和小恩小惠就忘了公道和大體。
最後一重建築是大仙樓，為平遙縣衙所獨有。樓下窯洞作廚房，懸有一聯：“柴米油鹽醬醋茶除卻神仙少不得，孝悌忠信禮義廉無有銅錢可做來”；樓上供奉守印大仙，聯書：“名場似奕無同局，吏道如詩有別裁”，守印大仙即民間傳說的狐仙，保住了大印就等於保住了官職，為官之道得用心體會。
縣太爺官銜不過為正七品，百姓戲言為“芝麻官”。芝麻雖小，卻可震懾一方，當地的土地、戶籍、賦稅、教育等等完全由縣太爺一人定奪，可見知縣為人品質的優劣直接關聯著百姓的生存和一方安定。因此明清兩代的統治者十分重視“縣處級領導的任用”，製定出嚴格的“回避”製度。譬如本省人不得在本省做官，親屬關係不得在同一地區為官，本省人做官須遠離本省500裏之外，而親屬也不得在500裏之內為官。每一任知縣任用期限也有明確規定：每任期限為三年，期滿不準久留，即使百姓稱頌，政績突出的清天大老爺，也隻能再延期任用一年。
明清兩代還規定，縣太爺上任不許帶家屬，而且必須在離家鄉500裏以外的異地當官，且3年任期內不許家眷來任所探親。縣太爺的一日三餐也有嚴格規定，如果沒有接待任務，每天吃的工作餐基本是兩葷兩素。閑暇時可進入後花園吟詩作畫撫琴，也可以去風雅台看看戲。這可能也就是今天所說的勞逸結合吧。
