Kui lossi asukoht oli valitud, tuli valida ehitusmaterjal.
Maast ja puidust lossi oli odavam ja lihtsam püstitada kui kivist ehitatud lossi. . Muldvallide, moti ja puitehitistega lossi oleks võinud ehitada oskusteta tööjõud. Tõenäoliselt oli tööjõu allikas kohalikult härralt ning maa- ja puit lossi jaoks vajalikud puude langetamise, kaevamise ja puidu töötlemise oskused olid rentnikel juba olemas.
Muld- ja puit lossi ehitamine poleks olnud kliendi raha kulutamiseks. Ajaliselt on hinnanguliselt kulunud 50 inimesele 50 inimesele umbes 40 tööpäeva keskmise suurusega mott – 5 m (16 jalga) kõrge ja 15 m (49 jalga) laiune. Erakordselt kallis motte ja bailey oli Iirimaa kloonide oma, mis ehitati 1211. aastal 20 eurot eest. Selle kõrge hind oli tingitud asjaolust, et töölisi tuli importida.
Kivist lossid maksavad palju rohkem kui maast ja puidust ehitatud lossid. Isegi väga väike torn, nagu Peverili loss, oleks maksnud umbes 200 eurot. Keskel olid sellised lossid nagu Orford, mis ehitati 12. sajandi lõpus 1400 eurot eest, ja ülemises otsas sellised nagu Dover, mis maksis aastatel 1112–1191 umbes 7000 eurot.
On näiteid mõnedest lossidest, kus kohapeal kivi kaevandati, näiteks Chinon, Château de Coucy ja Château Gaillard. Vastasel juhul võivad transpordikulud kogukulusid oluliselt suurendada.
Suurte losside, nagu Château Gaillard (hinnanguliselt 15 000–20 000 eurot aastatel 1196–1198) kulutusi toetas kroon hõlpsasti, kuid väiksemate alade isandate jaoks oli lossi ehitamine väga tõsine ja kulukas ettevõtmine. Tavaline oli, et kivilossi valmimiseks kulus kümnendi parim osa.
Selle aja jooksul ehitatud suure lossi maksumus (kõikjal 1000–10 000 eurot) võtaks tulu mitmest mõisast, mõjutades tõsiselt isanda rahandust. 13. sajandi lõpu kulud olid samas suurusjärgus, sellised lossid nagu Beaumaris ja Rhuddlan maksid vastavalt 14 500 ja 9 000 eurot.
Edward I lossiehitus kampaania Walesis maksis aastatel 1277–1304 80 000 eurot ja aastatel 1277–1329 95 000 eurot. Beaumarise ehituse eest vastutav tuntud disainer James of Saint George selgitas kulusid:
Kui peaksite mõtlema, kuhu võib nädalaga nii palju raha minna, siis teaksime, et meil on vaja olnud – ja vajame ka edaspidi 400 müürseppa, nii lõikurit kui ka ladistajat, koos 2000 vähem kvalifitseeritud töölise, 100 vankri, 60 vaguniga. ja 30 paati, mis toovad kivi ja meresütt; 200 karjäärimeest; 30 seppa; ja puusepad talade ja põrandalaudade paigaldamiseks ja muudeks vajalikeks töödeks. See kõik ei võta arvesse garnisoni … ega materjali oste. Millest peab olema suur kogus… Meeste palk on olnud ja on endiselt väga suur võlgnevus ning meil on kõige raskem neid hoida, sest neil pole lihtsalt millestki ära elada.
Kivist losside ehitamine ei olnud mitte ainult kallis, vaid ka nende ülalpidamine oli pidev tühjendus. Need sisaldasid palju puitu, mis olid sageli maitsestamata ja vajasid seetõttu hoolikat hooldust. Näiteks on dokumenteeritud, et 12. sajandi lõpul läks selliste losside nagu Exeter ja Gloucester remont maksma 20–50 eurot aastas.
Keskaegsed masinad ja leiutised, nagu rataskraana, muutusid ehituse käigus asendamatuks ning puit tellingute ehitamise tehnikaid täiustati juba antiikajast. Keskaegsete ehitajate esimene mure oli karpide ja lossimüüride jaoks kivi leidmine ning silmapaistev mure oli karjääride läheduses.