1338 թվականին անգլիացի սըր Ռալֆ դե Նեվիլը պաշարվել է սըր Ուիլյամ Դուգլասի՝ Լիդզդեյլի ասպետի կողմից, որը հայտնի է որպես «Ասպետության ծաղիկ» (այս կեղծանունը վերաբերում էր նրա կարողություններին որպես ասպետ, չնայած հաճախ սխալ է մեկնաբանվել պատմության նկատմամբ ռոմանտիկ հայացքներ ունեցող մարդկանց կողմից)։ Այստեղ էր, որ Դուգլասը բանտարկել ու սովամահ է արել իր նախկին ընկեր Դոլհաուզիի սըր Ալեքսանդր Ռամզեյին։Ռամզեյին<ref>[https://archive.org/stream/scotspeeragefoun03pauluoft#page/88/mode/2up Balfour Paul, ''Scots Peerage'', vol I, p.89]</ref>։ Դուգլասի մահվանից հետո, նրա մոտ ազգական ու անվանակից Դուգլասի 1-ին կոմս Ուիլյամ Դուգլասի պատճառով ամրոցը որոշ ժամանակով հայտնվել է Դաքրի ընտանիքի ձեռքում։ Սակայն շուտով այն հետ է վերադարձվել Դուգլասին ժառանգության բերումով, և նա էր, որ հնարավոր է դարձրել ներկայիս կառույցի շինարարության մեծ մասը, հավանաբար Դարհեմ Մայր Տաճարի ճարտարապետ Ջոն Լեվինի օգնությամբ։ Կոմսի որդիներն առաջարկել են տան երկու հայտնի ճյուղերի գաղափարը – «Սև Դուգլասներ» (Դուգլասի կոմսերի համար) և «Կարմիր Դուգլասներ» (Անգուսի կոմսերի համար)։ Մինչև 1455 թվականը Սև Դուգլասների թևը այնքան էր զայրացրել թագավորին, որ Դուգլասի 9-րդ կոմս Ջեյմս Դուգլասը անվերադարձ տուգանվել էր, և այն կալվածքները, որը նրանք վայելում էին, անցել են Կարմիր Դուգլասներին, ներառյալ Հերմիթիջ ամրոցը։
