Կրթական գնահատում[1], գիտելիքների վերաբերյալ էմպիրիկ տվյալների փաստաթղթավորման և օգտագործման համակարգված գործընթացն է[2]։ Գնահատման տվյալները կարող են ստացվել ուսանողների աշխատանքի ուղղակի ուսումնասիրությունից `ուսումնառության արդյունքների

ձեռքբերումը գնահատելու համար կամ կարող են հիմնվել այն տվյալների վրա, որոնցից կարելի է եզրակացություններ անել ուսման վերաբերյալ[3]։ Գնահատումը հաճախ օգտագործվում է թեստի փոխարեն, բայց չի սահմանափակվում թեստերով[4]։ Գնահատումը կարող է կենտրոնանալ անհատական սովորողի, սովորող համայնքի (դասարան, սեմինար կամ սովորողների այլ կազմակերպված խումբ), դասընթացի, ակադեմիական ծրագրի, հաստատության կամ որպես ամբողջություն կրթական համակարգի վրա[5][6]։

Կրթական գնահատումը ուսումնական գործընթացի արդյունավետության և ուսուցման արդյունքների բացահայտման միջոց է։Այն օգնում է պարզել յուրաքանչյուր սովորողի գիտելիքների, կարողությունների ու հմտությունների մակարդակը, ինչպես նաև ստանալ դպրոցի կողմից առարկայական ու դպրոցական չափորոշիչների ու ծրագրերի պահանջների կատարման ամբողջական պատկերը։ «Գնահատում» բառը կրթական համատեքստում կիրառության մեջ մտել է երկրորդ համաշխարհային պատերազմից հետո։ Կրթական գնահատումը լայն հասկացություն է, որը նկարագրում է ցանկացած գործունեություն, որը կարող է տեղի ունենալ սովորողի կամ սովորողների գիտելիքների վերաբերյալ տեղեկություններ ստանալու նպատակով։Նոր մոտեցումներով գնահատումը, ոչ միայն սովորողի առաջադիմության փաստագրումն է, այլև ուսուցման ընթացքի խթանման կարգավորման, վերհսկման և բարելավման մեխանիզմ։

Որակի չափանիշներ խմբագրել

Ընդհանուր առմամբ, բարձրորակ գնահատականներ են համարվում բարձր հուսալիությամբ և հիմնավորվածությամբ գնահատականները։ Այնուամենայնիվ, հուսալիության և հիմնավորվածության մոտեցումները տարբեր են։

Հուսալիություն խմբագրել

Հուսալիությունը վերաբերում է գնահատման հետևողականությանը։ Հուսալի գնահատականն այն է, որը հետևողականորեն նույն արդյունքներն է գրանցում ուսանողների նույն (կամ նման) խմբի հետ։ Հուսալիության վրա ազդում են տարբեր գործոններ՝ ներառյալ երկիմաստ հարցերը, հարցաթերթիկներում պատասխանի չափազանց շատ տարբերակները, անորոշ տրված հրահանգները և վատ ներկայացված օբյեկտները։

Ավանդաբար, գնահատման հուսալիությունը հիմնվում է հետևյալի վրա.

1. Ժամանակավոր կայունություն՝ փորձարկման կատարողականը համեմատելի է երկու կամ ավելի առանձին դեպքերում։

2. Ձևի համարժեքություն՝ քննվողների կատարողականը համարժեք է նույն բովանդակության վրա հիմնված տարբեր փորձարկումներին։

3. Ներքին հետևողականություն՝ փորձարկման պատասխանները համընկնում են հարցերին։ Օրինակ՝ հարցման ժամանակ հարցվողներին խնդրվում է գնահատել տեխնոլոգիայի նկատմամբ վերաբերմունքը, սպասվում են հարցի հետևյալ պատասխանները.

  • «Ես առհասարակ շատ բացասական եմ վերաբերվում համակարգիչներին»։
  • «Ինձ հաճելի է համակարգիչներ օգտագործել[7]։

X չափման հուսալիությունը կարող է նաև քանակականորեն սահմանվել այսպես՝   որտեղ   դիտարկվող (թեստային) x միավորի հուսալիությունն է,   և   –ը համապատասխանաբար «ճշմարիտ»-ը (այսինքն՝ թեկնածուի բնածին ընդունակությունները) և կատարված փորձի գնահատականների փոփոխականն են։   –ը կարող է տատանվել 0 -ից (լրիվ անվստահելի) մինչև 1 (լիովին հուսալի)։

Հիմնավորվածություն խմբագրել

Հիմնավորված գնահատականն այն է, որը չափում է այն, ինչ նախատեսվում է չափել։ Օրինակ, միայն գրավոր քննության միջոցով վարորդական հմտությունները գնահատելը հիմնավոր չէ։ Վարորդական հմտությունների գնահատման ավելի հիմնավորված տարբերակ կլինի թեստերի համադրությունը, որը կօգնի որոշել, թե վարորդը ինչ գիտի՝ վարորդական գիտելիքների գրավոր ստուգման միջոցով, և ինչ կարող է անել՝ գործնական վարման գնահատականի միջոցով։ Ուսուցիչները հաճախ դժգոհում են, որ որոշ քննություններ պատշաճ կերպով չեն գնահատում այն ծրագիրը, որի վրա հիմնված է քննությունը. նրանք, փաստորեն, կասկածի տակ են դնում քննության հիմնավորվածությունը։ Գնահատման հիմնավորվածությունը, ընդհանուր առմամբ, չափվում է հետևյալ կատեգորիաներում՝ քննությունների ուսումնասիրության միջոցով.

  • Բովանդակություն։ Արդյո՞ք թեստի բովանդակությունը չափում է նպատակները։
  • Չափանիշ։ Արդյո՞ք միավորները փոխկապակցված են ապագա ձեռքբերումների հետ, (օրինակ՝ 4 -րդ դասարանի ընթերցանության թեստի բարձր միավորները ճշգրիտ կանխատեսու՞մ են ապագա դասարաններում ընթերցանության հմտությունները)։
  • Կառուցվածք։ Գնահատումը համապատասխանու՞մ է այլ էական հանգամանքների հետ, (օրինակ՝ արդյո՞ք անգլերենը որպես երկրորդ լեզու սովորող ուսանողները տարբեր կերպ են ներկայանում գրավոր քննության ժամանակ, քան անգլերեն բանախոսները[8]։

Լավ գնահատականն ունի և՛ հիմնավորվածություն, և՛ հուսալիություն, գումարած որակի այլ հատկանիշներ, որոնք վերը նշված են որոշակի համատեքստում և նպատակով։ Գործնականում, գնահատումը հազվադեպ է ամբողջովին հիմնավորված կամ լիովին հուսալի։ Քանոնը, որը սխալ է չափում, միշտ էլ նույն (սխալ) չափումները ցույց կտա։ Այն շատ հուսալի է, բայց ոչ այնքան հիմնավոր։ Պատահական անցորդներին ժամը հարցնելը՝ առանց ժամացույցին նայելու, երբեմն օգտագործվում է որպես հուսալի, բայց ոչ այնքան վստահելի գնահատման օրինակ։ Անհատների տված պատասխանները տարբեր կլինեն, բայց պատասխանների միջինը, հավանաբար, մոտ կլինի իրական ժամանակին։

Շատ ոլորտներում, ինչպիսիք են բժշկական հետազոտությունները, կրթական թեստերը և հոգեբանությունը, հաճախ հուսալիության և հիմնավորվածություն միջև փոխզիջումներ են լինում։ Պատմության թեստը, որը կազմվում է բարձր հիմնավորվածությամբ, կունենա բազմաթիվ շարադրական և լրացնող դատարկ հարցեր։ Դա կլինի առարկայի յուրացման լավ չափանիշ, բայց դժվար է ամբողջովին ճշգրիտ միավորներ հավաքել։ Պատմության թեստը, որը կազմված է բարձր հուսալիությամբ, կարող է ունենալ ամբողջովին տարբեր պատասխաններ։ Սա չի կարող լավ չափել պատմություն առարկայի իմացությունը, բայց հեշտությամբ և ճշգրտությամբ կարող է գնահատել։ Նշվածից կարող ենք ընդհանրացնել՝ որքան ավելի հուսալի է չափվող առարկայի գնահատականը, այնքան ավելի քիչ վստահելի է, որ մենք իրականում չափում ենք այդ առարկան։

Ավելի լավ է տարբերակել «բովանդակային» հիմնավորումը «կանխատեսող» հիմնավորումից։ Նախորդը լայնորեն կիրառվում է կրթության մեջ և կանխատեսում է, որ ուսանողը տարբեր հարցերով, բայց նման թեստերից կսատանա նույն գնահատականը։ Երկրորդը լայնորեն կիրառվում է աշխատավայրում, կատարում է կանխատեսում։ Այսպիսով, վարման կանոնների իմացությունը ստուգելու համար տեղին է «բովանդակային» հիմնավոր թեստը, մինչդեռ «կանխատեսող» թեստը կգնահատի, թե պոտենցիալ վարորդը կարո՞ղ է հետևել այդ կանոններին։

Գնահատման չափանիշներ խմբագրել

Գնահատման և մասնավորապես, կրթական գնահատման ոլորտի վերաբերյալ Կրթության գնահատման չափանիշների համատեղ հանձնաժողովը հրապարակել է գնահատումների չափանիշների երեք փաթեթ։ Անձնակազմի գնահատման չափորոշիչները հրապարակվել են 1988 թվականին[9],Ծրագրերի գնահատման չափորոշիչները (2-րդ հրատարակություն)՝ 1994 թվականին[10], իսկ Ուսանողների գնահատման չափանիշները՝ 2003 թվականին[11]։

Յուրաքանչյուր հրապարակում ներկայացնում և մշակում է մի շարք չափորոշիչներ` տարբեր կրթական պայմաններում օգտագործելու համար։ Չափորոշիչները տրամադրում են ուղեցույցներ` գնահատման համակարգերը նախագծելու, կատարման, գնահատման և բարելավման համար։ Չափորոշիչներից յուրաքանչյուրը դասվել է չորս հիմնական կատեգորիաներից մեկին` նպատակաուղղված, օգտակար, իրագործելի և ճշգրիտ կրթական գնահատումները խթանելու համար։ Այս չափորոշիչների հավաքածուներում հուսալիության և հիմնավորվածության նկատառումներն ընդգրկված են ճշգրտության սահմաններում։ Օրինակ` ուսանողների ճշգրտության չափանիշները օգնում են ապահովել, որ ուսանողների գնահատումները ապահովեն հիմնավոր, ճշգրիտ և արժանահավատ տեղեկատվություն ուսանողների ուսուցման և կատարողականի մասին։

Մեծ Բրիտանիայում վերապատրաստման, գնահատման և որակի ապահովման ոլորտում (TAQA) օգնում է անձնակազմին, սովորել և զարգացնել մեծ փորձ՝ մեծահասակների, հետագա և աշխատանքի վրա հիմնված կրթության և վերապատրաստման ենթատեքստերում կրթական գնահատման հետ կապված[12]։

Ոչ մի երեխա հետ չի մնա խմբագրել

Շատ հետազոտողների և պրակտիկանտների համար հարցն այն չէ, թե արդյո՞ք թեստեր պետք է անցկացնեն, կա՞ գլխավոր ընդհանուր համաձայնություն, որ եթե դրանք անցկացվեն ավելի օգտակար եղանակներով, դրանք կարող են ավելի օգտակար տեղեկատվություն տրամադրել ուսանողների առաջադիմության և ուսումնական ծրագրի իրականացման վերաբերյալ, ինչպես նաև առաջարկել դրա ձևավորված կիրառությունները սովորողների համար[13]։ Հետևաբար իրական խնդիրն այն է, թե արդյոք ներկայումս կիրառվող թեստավորման պրակտիկան կարո՞ղ է այս ծառայությունները մատուցել մանկավարժներին և ուսանողներին։

2002 թվականի հունվարի 8-ին նախագահ Բուշը ստորագրեց «Ոչ մի երեխա ետ չի մնա» փաստաթուղթը, վերալիազորվեց 1965 թվականի տարրական և միջնակարգ կրթությունը։ Նախագահ Ջոնսոնը ստորագրեց (ESEA) – ն` օգնելու աղքատության դեմ պայքարին, նա օգնեց ֆինանսավորել տարրական և միջնակարգ կրթությունը։ Նախագահ Ջոնսոնի նպատակն էր կրթության հավասար հասանելիությունը ընդգծելը և բարձր չափանիշներ և պատասխանատվություն սահմանելը։ NCLB – ն պետություններից պահանջում էր զարգացնել գնահատականները հիմնական հմտությունների վերաբերյալ։ Դաշնային դպրոցի ֆինանսավորում ստանալու համար պետությունները պետք է այս գնահատականները տան բոլոր ուսանողներին, իրենց ընտրած դասարանի մակարդակով։ ԱՄՆ – ում «Ոչ մի երեխա ետ չի մնա»- ն պարտադրում է ստանդարտացված թեստավորում ամբողջ երկրում։ Այս թեստերը համապատասխանեցված են պետական ծրագրին և կատարում են ուսուցչին, ուսանողին տարածաշրջանին, և պետական պատասխանատվությունը այս թեստերի արդյունքների հետ[14]։

NCLB – ի կողմանկիցները պնդում են, որ այն առաջարկում է շոշափելի մեթոդներ կրթության համակարգում հաջողությունների հասնելու համար` ուսուցիչներին և դպրոցներին պատասխանատվության ենթարկելով սխալ գնահատման համար, փակելով այսպես կոչված ձեռքբերումների պատնեշը դասակարգերի և ազգության նկատմամբ[15]։

Բարձր շահագրգռվածությամբ թեստեր խմբագրել

Գնահատականները որոնք առաջացրել են ամենաշատ հակասությունները ԱՄՆ-ում ավագ դպրոցի ավարտական քննությունների օգտագործումն է, որոնք օգտագործվել են որպեսզի մերժեն այն աշակերտների դիպլոմները, որոնք 4 տարի հաճախել են ավագ դպրոց, բայց չեն կարողացել ցույց տալ, որ իրենք սերտել են անհրեժեշտ նյութը քննությանը գրելու ժամանակ։ Ընդդիմադիրներն ասում են, որ ոչ մի աշակերտ 4 տարի նստակյաց չպետք է մերժվի ավագ դպրոցի դիպլոմ ստանալուց, պարզապես բազմիցս թեստը ձախողելու, կամ նույնիսկ անհրաժեշը նյութը չիմանալու համար[16][17][18]։

Ամփոփիչ և ձևավորող գնահատում խմբագրել

Ամփոփիչ գնահատում Ձևավորող գնահատում
Ատեստավորում.Երբ սովորողի արդյունքները գրանցվում են վկայագրում, դիպլոմում կամ փոխադրման թերթիկում Հայտորոշում.Երբ գնահատման արդյունքներն օգտագործվում են սովորողի թույլ կողմերը որոշելու նպատակով, որպեսզի դրանք վավերացվեն և սովորելու հետագա ընթացքը բարելավվի
Ընտրություն.Երբ արդյունքներն օգտագործվում են դիմողների սահամանափակ քանակ ընտրելու և ընդունելու նպատակով Արժևորում.Երբ գնահատման արդյունքներն օգտագործվում են ուսումնական ծրագրի արդյունավետության գնահատման նպատակով, որպեսզի այն կատարելագործվի հետագայում

Գնահատմամբ պարզվում է սովորողների և դպրոցների կողմից առարկայական չափորոշիչների ու ծրագրերի պահանջների կատարումը։Գնահատման հիմնական նպատակն է.

  • սովորողի գիտելիքների, կարողությունների ու հմտությունների տիրապետման ստուգումը,
  • արժեքային որակների ձևավորման ապահովումը և դրանց հիման վրա՝ ուսումնական գործընթացի կատարելագործման, ուսման որակի բացահայտումն ու վերահսկումը,
  • գնահատումը նպաստում է նաև սովորողի ինքնահաստատմանը և ինքնազարգացմանը։

Հանրակրթական դպրոցներում գոյություն ունեն գնահատման երկու հիմնական տեսակներ՝ ամփոփիչ և ձևավորող գնահատում։ Ամփոփիչ գնահատման նպատակն է աշակերտի առաջադիմության գնահատումը ժամանակի որոշակի հատվածում և գրանցելու ու հրապարակելու առաջադիմության առկա մակարդակը։ Ձևավորող գնահատման նպատակն է ստուգել աշակերտի` գիտելիքի յուրացման մակարդակը ժամանակի որոշակի հատվածում։

Գնահատման հիմնական սկզբունքներն ու գործառույթները խմբագրել

Գնահատման հիմնական գործառույթներն են՝

  1. սովորողի հիմնական գործունեության և առաջադիմության գնահատումը, կրթական մի աստիճանից մյուսին անցնման հնարավորության ապահովումը, կրթության շարունակականության խրախուսումը,
  2. սովորողին ներկայացվող պահանջների կատարման, ուսումնական նյութի յուրացման աստիճանի բացահայտումը,
  3. դպրոցի գործունեության արդյունավետության բացահայտումը, ուսուցիչ-սովորող համագործակցային հարաբերությունների զարգացումը,
  4. սովորողի հետ տարվող անհատական աշխատանքի բովանդակության և ծավալի ճշգրտումը,
  5. սովորողի անձնային որակների ձևավորման և վարքագծի բացահայտմանը նպաստելը, ինքնաճանաչողության ապահովումը,
  6. մանկավարժների վերապատրաստման և մասնագիտական աճի ապահովումը,
  7. չափորոշիչների, առարկայական ծրագրերի, դասագրքերի և ուսումնական այլ նյութերի, ուսուցման մեթոդների կատարելագործման հիմքերի ապահովումը,
  8. հանրակրթության բարեփոխման ուղղությունների հստակեցումը, բովանդակության արդիականացումն ու կրթական համակարգի համապատասխանեցումը միջազգայնորեն ընդունված չափանիշներին,
  9. սովորողի ուսումնական գործունեության արդյունքների որակավորումը,
  10. դպրոցի հանդեպ ծնողների վստահության ձևավորումն ու ամրապնդումը։

Գնահատման հիմնական սկզբունքները հետևյալն են՝

  • օբյեկտիվություն
  • արդարություն
  • հուսալիություն
  • անկողմնակալություն
  • հավաստիություն
  • հիմնավորվածություն
  • մատչելիություն
  • թափանցիկություն

Ուսումնական գործընթացի արդյունքների գնահատման համակարգը խմբագրել

Գնահատումը իրականացվում է 10-միավորային սանդղակով։ Դրական գնահատական են համարվում 4-10 միավորները։ Բացի 10-միավորային համակարգից՝ ուսումնական գործընթացում կիրառվում են նաև գնահատման որակական եղանակներ՝ բնութագրային և ստուգարքային։ Հիմնական և միջնակարգ դպրոցի ավարտական քննությունների ժամանակ կարող են կիրառվել գնահատման այլ համակարգեր։ Առաջին դասարանում ընթացիկ և ամփոփիչ գնահատականներ չեն նշանակվում։Ընթացիկ գնահատումը կատարվում է բնութագրման միջոցով, իսկ տարեկան ամփոփիչ գնահատման նպատակով կազմվում է յուրաքանչյուր սովորողի աճի բնութագիր։ Միավորներով և ստուգարքային գնահատումը կիրառվում է սկսած երրորդ դասարանից։ Տարրական դպրոցն ավարտողը ուսումնական տարվա վերջին լրացնում է հատուկ մշակված հարցարան, որը հնարավորություն է ընձեռնում պարզելու ուսումնական գործընթացի արդյունքնում նրա ձեռք բերած գիտելիքները, կարողությունները և հմտությունները, ինչպես նաև մտագործունեության մակարդակը։ Այս ստուգումների արդյունքներն ունեն միայն տեղեկատվական բնույթ։ Ձևավորված արժեքային համակարգը և վերաբերմունքը միավորային համակարգով չի գնահատվում։

Գրականություն խմբագրել

1.Հանրակրթության պետական կրթակարգ. Միջնակարգ կրթության պետական չափորոշիչ, Երևան, «Անտարես», 2004 2.Սովորողների գնահատման հայեցակարգ, ՀՀ ԿԳՆ, Կրթական ծրագրերի կենտրոն, Երևան, 2005։ 3.Հանրակրթական ուսումնական հաստատությունների սովորողների ընթացիկ գնահատման մեթոդաբանություն.Ընդհանուր դրույթներ, հիմնական մոտեցումներ, Կրթական ծրագրերի կենտրոն, Երևան, 2005։

Ծանոթագրություններ խմբագրել

  1. Some educators and education theorists use the terms assessment and evaluation to refer to the different concepts of testing during a learning process to improve it (for which the equally unambiguous terms formative assessment or formative evaluation are preferable) and of testing after completion of a learning process (for which the equally unambiguous terms summative assessment or summative evaluation are preferable), but they are in fact synonyms and do not intrinsically mean different things. Most dictionaries not only say that these terms are synonyms but also use them to define each other. If the terms are used for different concepts, careful editing requires both the explanation that they are normally synonyms and the clarification that they are used to refer to different concepts in the current text.
  2. Allen, M.J. (2004). Assessing Academic Programs in Higher Education. San Francisco: Jossey-Bass.
  3. Kuh, G.D.; Jankowski, N.; Ikenberry, S.O. (2014). Knowing What Students Know and Can Do: The Current State of Learning Outcomes Assessment in U.S. Colleges and Universities (PDF). Urbana: University of Illinois and Indiana University, National Institute for Learning Outcomes Assessment.
  4. National council on Measurement in Education http://www.ncme.org/ncme/NCME/Resource_Center/Glossary/NCME/Resource_Center/Glossary1.aspx?hkey=4bb87415-44dc-4088-9ed9-e8515326a061#anchorA Արխիվացված 2017-07-22 Wayback Machine
  5. Nelson, Robert; Dawson, Phillip (2014). «A contribution to the history of assessment: how a conversation simulator redeems Socratic method». Assessment & Evaluation in Higher Education. 39 (2): 195–204. doi:10.1080/02602938.2013.798394. S2CID 56445840.
  6. Suskie, Linda (2004). Assessing Student Learning. Bolton, MA: Anker.
  7. Yu, Chong Ho (2005). "Reliability and Validity." Educational Assessment. Available at Creative-wisdom.com. Retrieved January 29, 2009.
  8. Moskal, Barbara; Leydens, Jon (2019 թ․ նոյեմբերի 23). «Scoring Rubric Development: Validity and Reliability». Practical Assessment, Research, and Evaluation. 7 (1). doi:10.7275/q7rm-gg74.
  9. Joint Committee on Standards for Educational Evaluation. (1988). "The Personnel Evaluation Standards: How to Assess Systems for Evaluating Educators". Newbury Park, CA: Sage Publications
  10. Joint Committee on Standards for Educational Evaluation. (1994).The Program Evaluation Standards, 2nd Edition. Newbury Park, CA: Sage Publications
  11. Committee on Standards for Educational Evaluation. (2003). The Student Evaluation Standards: How to Improve Evaluations of Students. Newbury Park, CA: Corwin Press
  12. City & Guilds, Understanding the Principles and Practice of Assessment: Qualification Factsheet, accessed 26 February 2020
  13. American Psychological Association. "Appropriate Use of High-Stakes Testing in Our Nation's Schools." APA Online, available at APA.org, Retrieved January 24, 2010
  14. (nd) Reauthorization of NCLB. Department of Education. Retrieved 1/29/09.
  15. (nd) What's Wrong With Standardized Testing? Արխիվացված 2019-10-18 Wayback Machine FairTest.org. Retrieved January 29, 2009.
  16. Dang, Nick (2003 թ․ մարտի 18). «Reform education, not exit exams». Daily Bruin. «One common complaint from failed test-takers is that they weren't taught the tested material in school. Here, inadequate schooling, not the test, is at fault. Blaming the test for one's failure is like blaming the service station for a failed smog check; it ignores the underlying problems within the 'schooling vehicle.'»(չաշխատող հղում)
  17. Weinkopf, Chris (2002). «Blame the test: LAUSD denies responsibility for low scores». Daily News. Արխիվացված է օրիգինալից 2017 թ․ փետրվարի 2-ին. Վերցված է 2021 թ․ օգոստոսի 4-ին. «The blame belongs to 'high-stakes tests' like the Stanford 9 and California's High School Exit Exam. Reliance on such tests, the board grumbles, 'unfairly penalizes students that have not been provided with the academic tools to perform to their highest potential on these tests'.»
  18. «Blaming The Test». Investor's Business Daily. 2006 թ․ մայիսի 11. «A judge in California is set to strike down that state's high school exit exam. Why? Because it's working. It's telling students they need to learn more. We call that useful information. To the plaintiffs who are suing to stop the use of the test as a graduation requirement, it's something else: Evidence of unequal treatment... the exit exam was deemed unfair because too many students who failed the test had too few credentialed teachers. Well, maybe they did, but granting them a diploma when they lack the required knowledge only compounds the injustice by leaving them with a worthless piece of paper."» (չաշխատող հղում)