Оригінал статті: https://www.cs.purdue.edu/homes/dec/essay.research.measure.html

Шляхи оцінювання досліджень

Хоча молодим вченим кажуть, що їм потрібно давати результати досліджень, точні вимоги не визначені. Натомість дослідникам зазвичай дається розпливчате заохочення досягти чогось "значущого" чи "високоякісних видань" без точного пояснення того, що це означає.

Молодшому досліднику може здатися, що серед старших людей є змова - що вони мають певний секретний спосіб оцінювання дослідження, але не бажають його розкривати. Зрештою, ймовірно, можна почути розпливчате твердження, наприклад,% "; дослідження просто означає накопичення знань" або менш розумне:% "; Це важко визначити, але я добре знаю дослідження, коли бачу це".

Причина того, що молодший працівник не може отримати більш точне пояснення, як оцінити дослідження, полягає в тому, що не існує єдиного пояснення. Натомість існують різноманітні заходи - кожна група схильна використовувати міру, яка максимально забезпечує їх цілі. Дійсно, хтось хоче поставити крапку на користь чи проти людини, вони обирають міру, яка допомагає.

Якщо ви молодший науковий співробітник, цей посібник для вас. У ньому перераховані міри, пояснюється кожні з них та наводяться фактичні факти. Знання списку допоможе вразити інших, коли ви говорите про дослідження і допоможе вам уникнути підводних каменів.
 

Паперовий підхід

(Перевага надається видавцям журналів)

Міра: N, загальна кількість опублікованих робіт.
Обґрунтування: Дослідник, який генерує нову ідею, пише статтю, яку потім рецензують колеги та в кінцевому підсумку публікують в архівному журналі. Таким чином, кількість паперів є мірою продуктивності.
Фактичні факти: Публікаційні стандарти дуже різняться, деякі конференції та журнали приймають усі матеріали, а інші - лише деякі. Що важливіше, майже всі дослідження марні; ніхто справді не читає газети. (В одному дослідженні підраховано, що в середньому певний дослідницький документ читають 5 людей, при цьому їх число перекручується вгору на кілька робіт, які читають тисячі).
Попередження: Хоча вони стверджують інакше, комітети з найму застосовують цю міру, тому що рахувати документи набагато простіше, ніж оцінювати їх заслуги. Зауважте, що люди з сивим волоссям особливо люблять цю міру, оскільки вони виграють, посилаючись на неї - їх особиста цінність N набагато вище, ніж у молодого дослідника. Використовуючи цю міру, не хваліться співавторами, оскільки кредит зменшується, коли у статті є кілька авторів.
 

Підхід до підготування публікації

(Перевага надається молодим дослідникам)

Міра: N / T, відношення загальної кількості опублікованих робіт до часу їх публікації.
Обґрунтування: кількість паперу недостатня, оскільки вона не вимірює продуктивності - якщо дослідник публікує 10 робіт за один рік, вони надзвичайно продуктивні, але якщо вони публікують 10 робіт протягом життя, вони є надзвичайно непродуктивними.
Фактичні факти: кількість публікацій дослідника змінюється з часом; справжні вершини відбуваються безпосередньо перед тим, як особа буде розглянута для підвищення кваліфікації, і цей показник зазвичай різко скорочується за роки до виходу на пенсію. Таким чином, коли дослідники старіють, вони перестають говорити про N / T та повертаються до вимірювання N.

 Попередження: Комітети з питань кадрової роботи насторожено ставляться до тих, хто цитує цей захід. Крім того, будьте реалістичні - купа сивих, старих хлопців не збирається винагороджувати вас за високу ставку, коли вони самі стикаються зі ставкою, яка впала.

 

Зважений підхід до публікації

(Перевага надається агентствам з акредитації)

Міра: W, сума ваг, присвоєних опублікованим паперам.
Обґрунтування: Оскільки деякі статті є більш інтелектуальними досягненнями, ніж інші, кожному документу слід присвоїти вагу, пропорційну його якості. Замість підрахунку паперів слід використовувати суму ваг. Наприклад, не-дослідним роботам можна присвоїти нульову або майже нульову вагу.
Фактичні факти: Замість того, щоб оцінювати кожен окремий документ, люди, які використовують цей метод, просто присвоюють кожному журналу вагу відповідно до його престижу, а потім використовують значення для будь-якого документа, що з’являється в журналі. Звичайно, престижність журналу змінюється з часом, і немає такого поняття, як журнал, в якому всі папери мають однакову якість, але це, здається, не має значення. Краса міри полягає в тому, що, виходячи з набору публікацій, можна вибрати ваги, щоб список виглядав добре чи погано.
Попередження: Коли обговорюєте цей захід, пам’ятайте, що вибір ваг є довільним, і хоча людина може представити докази для обгрунтування свого вибору, врешті-решт, всі, віддають перевагу набору ваги, який надає їхньому особистому списку публікацій високий рейтинг.

 

Підхід мільйонів мавп

(Перевага надається державним установам, які надають послуги)

Міра: G, загальна сума грошей платників податків розподілена для дослідження.
Обґрунтування: Враховуючи досить довгий час, випадковий набір дослідників, які збиваються з клавіатур, врешті-решт напише документ про щось, що піде на користь країні. Щоб стимулювати більше дослідників випускати більше паперів, уряд збирає пропозиції та дає гроші % «найкращим». Очевидно, що даючи більше грошей, стимулює більше паперів, що збільшить вигоду для країни.
Фактичні факти: Система грантів ближче до лотереї, ніж національної вигоди. Щоб гарантувати, що все на рівні "рівне", урядові установи часто дотримуються політичного порядку денного, це означає, що ймовірність отримання дотації може залежати від таких факторів, як розмір установи, географічне розташування, раса та стать. В крайньому випадку, заявник отримує лист із повідомленням, що вони були обрані для отримання гранту, але потрібно переглянути свою пропозицію, оскільки науковий зміст неприйнятний.
Попередження: Не сприймайте це особисто так чи інакше - отримання державного гранту не обов'язково означає, що у вас є чудова ідея, а також відмова від урядового гранту не означає, що ідея марна.
 

Прямий підхід фінансування

(Перевага надається керівникам відділів)

Міра: D, загальна сума коштів гранту, отриманих дослідником.
Обґрунтування: Дослідники, які отримують гранти на дослідження, повинні мати хороші ідеї (інакше агентство, що надає кошти, не присуджувало б їм гроші). Таким чином, більше грошей повинно означати більше ідей.
Фактичні факти: Керівники департаментів зацікавлені лише в тому, щоб справити враження на деканів та керівників відділів в інших установах - вони люблять похвалитися загальною сумою грантових коштів, залучених усіма членами їх відділу. На жаль, сума грантових коштів, яку можна зібрати, залежить більше від наявної суми, ніж від якості запропонованих досліджень. Уряди роздають більше, коли їх каси переповнені (або коли це має певну політичну перевагу); промисловість дає значно більше, коли прибуток високий (або коли вони можуть отримати списання податку).
Попередження: Знову ж таки, не читайте занадто багато грантів - незалежно від того, що хтось каже, кількість отриманих грошей (мало чи багато) не завжди пропорційна якості ваших ідей.
 

Підхід непрямого фінансування

(Перевага надається адміністраторам університету)

Міра: O, загальна сума генерованих накладних витрат.
Обґрунтування: Коли досліднику присуджено N доларів державних грошових грантів, 1/3 від них позначається як % "непряма вартість" або% "накладні витрати", які оплачують такі речі, як офісні приміщення, електроенергія та бухгалтери, які ведуть облік витрат на грант. Накладні витрати - це міра того, скільки дослідник приніс до установи.
Фактичні факти: Офісні приміщення потрібні з грантом або без нього, а великі дослідницькі установи вже мають створені облікові процедури та системи. Таким чином, непрямі витрати є лише способом, щоб установа могла отримати гроші з наукових грантів.
Увага: Субсидії на обладнання звільнені від непрямої вартості, тому не хваліться перед адміністратором про великий грант на обладнання - вони не будуть вражені. Також пам’ятайте, що непряма вартість формується тоді, коли витрачаються гроші, а не коли вони присуджуються. Таким чином, якщо ви витратите грантові гроші в січні замість грудня, накладні витрати будуть рахуватися до нового року, а не до старого.
 

Підхід нижньої лінії

(Перевага надається промисловим лабораторіям)

Міра: Р, прибуток, отриманий патентами або продуктами, що отримуються в результаті досліджень. 
Обґрунтування: галузь створює дослідницьку лабораторію, щоб приносити користь бізнес-підрозділам, а не просто як спосіб витратити надмірний прибуток. Таким чином, в індустріальному світі є сенс вимірювати дослідження, як це допомагає підсумковій лінії.
Фактичні факти: Майже жодне дослідження не має реального впливу на прибуток компанії. Навіть якщо дослідницька ідея врешті-решт пробивається у продукт, отриманий дохід залежить набагато більше від маркетингу, ніж від якості основної ідеї (є навіть деякі свідчення зворотного зв’язку між якістю продукції та прибутку).
Увага: Дохід - це жахливий показник якості досліджень, оскільки дурні чи тривіальні ідеї часто приносять найбільший прибуток; не припускайте, що ідея не має наукових достоїнств лише тому, що вона заробляє гроші, і не припускайте іншого, якщо цього немає.
Read also: How to choose a legit document translation services company?

Оцінка підходу впливу

(віддається перевага жменьці дослідників, які насправді чогось досягають)

Міра: I / R, співвідношення впливу роботи до кількості ресурсів, використаних для її створення.
Обґрунтування: % "вплив" досліджень на поле дає хороший загальний показник вартості. Можна задати такі питання, як: чи вплинула робота на інших? Чи робота цитується та використовується? Однак, щоб порівняння було справедливим, не можна порівнювати дослідження, проведені командою з двадцяти чотирьох дослідників, що працюють у великій промисловій лабораторії, використовуючи обладнання, яке коштує десять мільйонів доларів, ніж дослідження, проведені особою, яка працює у вихідні дні без персоналу. Таким чином, щоб зробити справедливу оцінку, обчисліть співвідношення впливу до ресурсів.
Фактичні факти: І вплив, і ресурси важко виміряти.  Ще важливіше, що% "велика наука", як видається, має більший вплив просто тому, що створює більше публічності.
Попередження: Зауважте хоча ця міра є найбільш справедливою, вона непопулярна. Адміністратори не люблять цю міру, оскільки кількість фінансування - предмет, який вони хочуть підкреслити - відображається в знаменнику, це означає, що дослідник, який досягає певного впливу за рахунок меншої кількості грантових коштів, отримує більш високу оцінку за цією мірою! – Більшості дослідникам ця міра також не подобається, оскільки в ній основна увага приділяється виробництву, набагато легше отримати фінансування, ніж досягти результатів, які мають реальний вплив.
 

Висновок

Якщо ваші дослідження не виглядають добре в рамках використовуваної міри, можливо, саме час змінити міру!