Յ. Ա. Կոխը ծնվել է տիրոլյան վաճառականի ընտանիքում։ Մանուկ հասակում հովիվ է եղել։ Աուգսբուրգի եպիսկոպոսի աջակցությամբ նա նախ ընդունվել է Դիլինգի ճեմարան, այնուհետև նկարչություն է սովորել Շտուտգարտում` Չարլզի դպրոցում։ Ինչպես իր ժամանակին Ֆրիդրիխ Շիլլերը, պատանի նկարիչը նույնպես չի կարողացել տանել դպրոցի խստապահանջությունը։ Նա թողել է դպրոցը և գնացել Ստրասբուրգ, այնուհետև Շվեյցարիա: Ստրասբուրգում գտնվելու ժամանակ Կոխը մտել է տեղի յակոբինյան ակումբ, Շվեյցարական բնությունը նրան հնարավորություն է տալիս կտավին մարմնավորել ազատության իր իդեալը՝ ակտիվորեն չզբաղվելով քաղաքականությամբ։
Յ.Ա. Կոխ հերոսական լանդշաֆտը ծիածանով
Լեռնային էսքիզները, որոնք նկարիչը կատարել է իր բազմաթիվ ճանապահորդությունների ընթացքում Շվեյցարիայում, հիմք են դարձել իր ավելի ուշ խոշոր ստեղծագործությունների համար, ինչպիսիք են Շմադրիբի ջրվեժը, Բեռնի լեռնաշխարհը (1817), Ինսբրուկը կամ Հոսփիսը Գրիմզելվալդ գլետչերի մոտ (այրվել է, նախկինում՝ Լայպցիգի կերպարվեստի թանգարանում)։ Այդ աշխատանքները հայտնվել են Կոխի՝ Հռոմ կատարած այցից հետո, որտեղ նա ուսումնասիրել է ժամանակակից բնանկարչությունը և դրա հետևանքով ստեղծել է իր սեփական «ալպյան ոճը»[5]։ Բացի 1812-1815 թվականներին Վիեննայում մնալուց, Յոզեֆ Կոխը, սկսած 1795 թվականից, մշտապես ապրել է Հռոմում, որտեղ ստեղծագործությամբ զբաղվելուց բացի զբաղվել է դասավանդմամբ, նրա աշակերտների թվում էր, մասնավորապես, Սողոմոն Կորրոդին[6]։ Հատկապես հաճախ նա նկարել է Ալբանիայի լեռները և Օլեվանոյի մերձակայքում գտնվող տարածքը։ Իր աշխատանքներում նկարիչը միավորել է Պուսենի բնանկարի սկզբունքները՝ բնության հետ իր անմիջական դիտարկումներով, որոնք պատկերված են բազմաթիվ նկարներում և ջրաներկների մեջ։
Նրա բարեկամուհին ավստրիացի նկարչուհի Աննա Շտայներ-Կնիտելն էր։