Araştırmayı değerlendirmede metriklerin rolü gözden geçirildi

İngiltere Yüksek Öğrenim Ödenek Konseyi (HEFCE), araştırmaları değerlendirmek ve yönetmek için metriklerin kullanılması konusunu masaya yatırmış. Metrikler, dergi makaleleri ve atıflarının analizini içeriyor ve son zamanlarda bir makale hakkında insanların çevrimiçi olarak ne söylediklerini de kapsamaya başlamış.

HEFCE'nin gözden geçirme notu böyle metriklerin kalite, etki ve yüksek öğrenim sektöründe diğer önemli karakteristik özelliklerin belirlenmesinde önemli faktörler olarak yer alabileceğini gösteriyor. Ancak bu çalışma metriklerin araştırma kültüründeki negatif etkisini de dikkate alıyor.

“Bireysel araştırıcılar farklı araçlarla deneyler yapıyor, ancak araştırma sisteminin ortalama değerlendirmesinde metriklerin gerçek ağırlığı taşımasını ne kadar çok istiyoruz? Bu, düşünülmesi gereken ciddi bir soru”. Bu sözlerin sahibi olan James Wilsdon, Birleşik Krallık'taki Sussex Üniversitesi'nde bilim ve demokrasi kürsüsünde profesör olarak çalışıyor ve bağımsız derleme çalışmasının başkanı durumundaki kişi.

Komite çalışmasını bahar 2015'e doğru tamamlamayı umuyor, Birleşik Krallık'taki üniversitelerin yeni değerlendirmesini yapacak olan Araştırmada Mükemmeliyet Ağı'na etkide bulunmaya çalışacak.

Çalışma bir metrik yaklaşımının üniversitelerin ve araştırma enstitülerinin özgörevlerine nasıl uyduğunu göz önünde bulunduracak ve nicel olarak neyin ölçülüp neyin ölçülemeyeceğini görmeye çalışacak.

Metriklerin uygun olmayan kullanımı da dikkate alınacak. Wilsdon, görevde yükselme kararlarında dergilerin etki faktörlerinin uygun olmayan kullanımına dikkati çekerek şöyle diyor: “Araştırma sisteminin özellikle belli negatif yönlerini alevlendirebilecek belirli matrisler ve göstergeçlerin aceleyle kabul edilmesinden kaçınmak istiyoruz”.

“Aktiviteleriniz için metriklerin ölçülmesinin, bu aktiviteleri yapma şeklinizi etkileyip etkilemeyeceği, sorulması gereken esas sorudur” diyen Henry Rzepa, Birleşik Krallık'taki Imperial College Londra'da hesapsal kimyager olarak çalışıyor.

Hirsch'in bulduğu h-indeksi, bir bilim insanının en çok atıf alan makalelerinin ve kaç atıf aldığının incelendiği bir metrik olup birbirlerinin makalelerine atıf yapmakta sakınca görmeyen “konsorsiyumlar veya karteller” tarafından kötüye kullanılabilir. “Bu aktivitenin bilimsel bir amacı yok, ancak kartele üye olan kişilerin h-indeks değerlerinin oldukça ciddi bir yükselme yaşadığı âşikâr” diyen Rzepa, “bunun kimyada olduğunu biliyorum” diyor.

Farmakoloji uzmanı David Colquhoun da Rzepa ile aynı kurumda çalışıyor ve kuşku dolu bir ifade ile şöyle diyor: “Hirsch indeksi berbat birşey. Genç araştırmacılara karşı kullanılıyor”. “Bir bilimsel makalenin kalitesini okuyarak anlarız, bazı sahte metrik sayılarına bakarak değil” diyor. Öncü grup metriklerin daha fazla kullanılmasını tavsiye ederse ortaya çıkacak şeyin “daha fazla güvensizlik, daha fazla bozulma ve daha fazla oyun” olacağını öngörüyor. Kendi web günlüğünde alternatif metrik çizelgelerinde üst sıralarda bulunan pek çok makalenin az bir sonuç ortaya koyduğunu anlatan Colquhoun, bu ölçümün kalite ile ters orantılı olabileceğini belirtiyor.

Colquhoun, en büyük bozucu etkinin muhtemelen etki faktörleri olduğunu söylüyor ve çok saygı duyulan “cazibeli dergilere” verilen önemin yüksek etki faktörlerinden ötürü oluştuğunu belirtiyor, bu durum yakın zamanda, Nobel ödülü sahibi hücre biyologu Randy Schekman tarafından eleştirilmiş.

“Sanırım neredeyse bütün deneysel bilim insanları metrikleri masum bilimi bozucu etki yapan unsurlar olarak görüyor. “Bu unsurlar Hefce gibi yağcı ve dalkavuklar, hükümet yetkilileri ve bir dereceye kadar araştırma konseyleri gibi görünüyor”.

Kaynaklar

http://www.rsc.org/chemistryworld/2014/04/metrics-role-assessing-research-reviewed

Kategoriler

+ Yorum bulunmuyor

Yorum yap