Skip to main content
Search
Search
    Quick Search anywhere
    Quick search in Citations
Advanced Search
Skip main navigationClose Drawer MenuOpen Drawer Menu
Next article
Originalarbeit

Entwicklung von Normwerten zur Evaluation individueller psychologischer Forschungsleistungen in Abhängigkeit vom akademischem Alter und der Fachrichtung

Published Online:April 25, 2017https://doi.org/10.1026/0033-3042/a000325

Abstract

Zusammenfassung. Zur Darstellung der Quantität und Qualität von Forschungsleistungen haben sich bibliometrische Indikatoren als nützlich erwiesen. Da diese aber vom akademischen Alter und der Fachrichtung abhängig sind, wird die Entwicklung von Normwerten auf der Grundlage einer repräsentativen Vergleichsstichprobe empfohlen. Zur Berechnung einer Normtabelle für das Fach Psychologie wurden für 877 habilitierte und im Jahr 2013 im deutschsprachigen Raum an staatlich anerkannten Universitäten tätige Psychologinnen und Psychologen der h-Index und die Publikationsanzahl in der Datenbank Scopus erhoben. Neben Unterschieden hinsichtlich des Geschlechts, des Staates, der akademischen Stellung und der Fachrichtung der Wissenschaftler fand sich ein Anstieg der mittleren Publikationsanzahl und des h-Index über die Zeit. In einer Normtabelle werden Perzentile und z-Werte zur Einordnung individueller psychologischer Forschungsleistungen in Abhängigkeit vom akademischen Alter und der Fachrichtung präsentiert. Ihre Anwendung zu Evaluationszwecken und damit verbundene Einschränkungen werden diskutiert. Eine fortlaufende Aktualisierung wird empfohlen.


Development of Benchmarks for the Evaluation of Psychologists’ Individual Research Performances Dependina on Academic Age and Subject Area

Abstract. Bibliometric measures can be used to illustrate the quantity and quality of research performance. Owing to the dependence of these measures on the academic age and the subject area of the researchers, the development of benchmarks based on a representative sample of peers was suggested. To compute a norm chart that can be used in psychological fields, the h-index and the number of publications of 877 habilitated psychologists were retrieved from the Scopus database. We included all psychologists who were employed at state-approved universities in German-speaking countries in 2013. Differences were found in sex, country, academic degree, and subject area. Also notable was an increase in the average number of publications and in the h-index over time. A norm chart provides percentiles and z-values in order to compare individual research performance depending on academic age and subject area. The practical application of this norm chart for evaluating research performance and its limitations are discussed. Continuous updates of the norm chart are suggested.

Literatur

  • Abramo, G., D’Angelo, C. A. & Viel, F. (2010). A Robust Benchmark for the h- and g-Indexes. Journal of the American Society for Information Science and Technology, 61(6), 1275 – 1280. Google Scholar

  • Amin, M. & Mabe, M. A. (2003). Impact factors: Use and abuse. Medicina, 63, 347 – 354. Google Scholar

  • Ball, R. (2014). Bibliometrie. Einfach – verständlich – nachvollziehbar. Berlin: De Gruyter. Google Scholar

  • Ball, R. & Tunger, D. (2005). Bibliometrische Analysen – Daten, Fakten und Methoden. Grundwissen Bibliometrie für Wissenschaftler, Wissenschaftsmanager, Forschungseinrichtungen und Hochschulen. Jülich: Forschungszentrum Jülich. Google Scholar

  • Bauer, H. P. W., Schui, G., Eye, A. v. & Krampen, G. (2013). How does scientific success relate to individual and organizational characteristics? A scientometric study of psychology researchers in the German-speaking countries. Scientometrics, 94, 523 – 539. Crossref, Google Scholar

  • Becker, G. S. & Becker, G. N. (1996). The economics of life. New York: McGraw-Hill. Google Scholar

  • Bornmann, L. & Daniel, H.-D. (2008). Der h-Index – das Maß aller Dinge? Der aktuelle Stand der h-Index-Forschung. Forschung über Forschung, 2 – 3, 38 – 43. Google Scholar

  • Bornmann, L. & Daniel, H.-D. (2009). The state of h index research. Is the h index the ideal way to measure research performance? EMBO Reports, 10, 2 – 6. Google Scholar

  • Bornmann, L. & Marx, W. (2013). Vorschläge für Standards zur Anwendung der Szientometrie bei der Evaluation von einzelnen Wissenschaftler(inne)n im Bereich der Naturwissenschaften. Zeitschrift für Evaluation, 12, 104 – 127. Google Scholar

  • Bornmann, L. & Marx, W. (2014a). How to evaluate individual researchers working in the natural and life sciences meaningfully? A proposal of methods based on percentiles of citations. Scientometrics, 98, 487 – 509. Crossref, Google Scholar

  • Bornmann, L. & Marx, W. (2014b). The wisdom of citing scientists. Journal of the Association for Information Science and Technology, 65, 1288 – 1292. Crossref, Google Scholar

  • Bornmann, L. & Marx, W. (2015). Methods for the generation of normalized citation impact scores in bibliometrics: Which method best reflects the judgements of experts? Journal of Informetrics, 9, 408 – 418. Crossref, Google Scholar

  • Bornmann, L., Leydesdorff, L. & Krampen, G. (2012). Which are the “best” cities for psychology research worldwide? Europe’s Journal of Psychology, 8, 535 – 546. Google Scholar

  • Bornmann, L., Thor, A., Marx, W. & Schier, H. (in press). The application of bibliometrics to research evaluation in the humanities and social sciences: An exploratory study using normalized Google Scholar data for the publications of a research institute. Journal of the Association for Information Science and Technology. Google Scholar

  • Cabezas-Clavijo, Á. & Delgado-López-Cózar, E. (2013). Google Scholar e índice h en biomedicina: La popularización de la evaluación bibliométrica. Medicina Intensiva, 37, 343 – 354. Crossref, Google Scholar

  • Cattell, J. M. (1903). Statistics of American psychologists. American Journal of Psychology, 14, 310 – 328. Crossref, Google Scholar

  • Cattell, J. M. (1910). A further statistical study of American men of science. Science, 32, 633 – 648. Crossref, Google Scholar

  • Cikara, M., Rudman, L. & Fiske, S. (2012). Dearth by a thousand cuts? Accounting for gender differences in top-ranked publication rates in social psychology. Journal of Social Issues, 68, 263 – 285. Crossref, Google Scholar

  • Coleman, B. J., Bolumole, Y. A. & Frankel, R. (2012). Benchmarking individual publication productivity in logistics. Transportation Journal, 51, 164 – 196. Crossref, Google Scholar

  • Council of Canadian Academies. (2012). Informing research choices: indicators and judgment: the expert panel on science performance and research funding. Ottawa, Canada: Council of Canadian Academies. Google Scholar

  • Cucchetti, A., Mazzotti, F., Pellegrini, S., Cescon, M., Maroni, L., Ercolani, G. & Pinna, A. D. (2013). The use of the Hirsch index in benchmarking hepatic surgery research. American Journal of Surgery, 206, 560 – 566. Crossref, Google Scholar

  • Diem, A. & Wolter, S. C. (2013). The use of bibliometrics to measure research performance in education sciences. Research in Higher Education, 54, 86 – 114. Crossref, Google Scholar

  • El Emam, K., Arbuckle, L., Jonker, E. & Anderson, K. (2012). Two h-index benchmarks for evaluating the publication performance of medical informatics researchers. Journal of Medical Internet Research, 14, e144. Crossref, Google Scholar

  • Hattie, J. & Marsh, H. W. (1996). The relationship between research and teaching: A meta-analysis. Review of Educational Research, 66, 507 – 542. Crossref, Google Scholar

  • Havemann, F. (2009). Einführung in die Bibliometrie. Berlin: Gesellschaft für Wissenschaftsforschung. Google Scholar

  • Hegman, T. & Axelson, R. (2012). Benchmarking the scholarly productivity of physician assistant educators: An update. Journal of Physician Assistant Education, 23, 16 – 23. Crossref, Google Scholar

  • Hirsch, J. E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences USA, 102, 16569 – 16572. Crossref, Google Scholar

  • Kelchtermans, S. & Veugelers, R. (2013). Top research productivity and its persistence: Gender as a double-edeged sword. The Review of Economics and Statistics, 95, 273 – 285. Crossref, Google Scholar

  • Krampen, G. (2013). Zur Klärung des Stellenwerts szientometrischer Methoden in der Wissenschaftsevaluation aus psychologischer Sicht. Zeitschrift für Evaluation, 12, 79 – 102. Google Scholar

  • Krampen, G. & Schui, G. (2009a). Entwicklungslinien der Psychologie in quantitativ-bibliometrischer Sicht. In G. KrampenHrsg., Psychologie – Experten als Zeitzeugen (S. 19 – 31), Göttingen: Hogrefe. Google Scholar

  • Krampen, G. & Schui, G. (2009b). ZPID-Monitor 2007 zur Internationalität der Psychologie aus dem deutschsprachigen Bereich: Der Kurzbericht. Psychologische Rundschau, 60, 184 – 185. Link, Google Scholar

  • Krampen, G., Schui, G., Ferring, D. & Bauer, H. P. W. (2014). Charakteristika der meist zitierten englischsprachigen Zeitschriftenbeiträge der Publikationsjahre 1981 bis 2010 aus der Psychologie der deutschsprachigen Länder. Psychologische Rundschau, 65, 159 – 168. Link, Google Scholar

  • Krampen, G. & Wiesenhütter, J. (1993). Bibliometrische Befunde zur Entwicklung der Teildisziplinen der Psychologie. Psychologische Rundschau, 44, 25 – 34. Google Scholar

  • Kreiman, G. & Maunsell, J. H. R. (2011). Nine criteria for a measure of scientific output. Frontiers in Computational Neuroscience, 5(48), 1 – 6. Crossref, Google Scholar

  • Moosbrugger, H. & Kelava, A. (2012). Testtheorie und Fragebogenkonstruktion. Heidelberg: Springer. Crossref, Google Scholar

  • Parveen, A. (2009). Research productivity trends of women faculty in U.S. institutions: Evidence from NSOPF (93, 99, & 04). The International Journal of Diversity in Organisations, Communities and Nations, 9, 1 – 16. Crossref, Google Scholar

  • Rao, S., Iyengar, D. & Goldsby, T. J. (2013). On the measurement and benchmarking of research impact among logistics scholars. International Journal of Physical Distribution & Logistics Management, 43, 814 – 832. Crossref, Google Scholar

  • Rindermann, H. & Schofield, N. (2001). Generalizability of multidimensional student ratings of university instruction across courses and teachers. Research in Higher Education, 42, 377 – 399. Crossref, Google Scholar

  • Schui, G. & Krampen, G. (2006). Bibliometrische Indikatoren als Evaluationskriterien: Möglichkeiten und Grenzen. In G. KrampenH. ZayerHrsg., Didaktik und Evaluation in der Psychologie (S. 11  – 26). Göttingen: Hogrefe. Google Scholar

  • Schui, G. & Krampen, G. (2015). ZPID-Monitor 2012 zur Internationalität der Psychologie aus dem deutschsprachigen Bereich: Der Kurzbericht. Psychologische Rundschau, 66, 124 – 130. Link, Google Scholar

  • Scopus Content Coverage Guide. (2015). Zugriff am 18. 11. 2015. Verfügbar unter: https://www.elsevier.com/__data/assets/pdf_file/0007/69451/sc_content-coverage-guide_july-2014.pdf Google Scholar

  • Stack, S. (2004). Gender, children and research productivity. Research in Higher Education, 45, 891 – 920. Crossref, Google Scholar

  • Steinhauser, G., Adlassnig, W., Ahau Risch, J., Anderlini, S. & Arguriou, P., et al. (2012). Peer review versus editorial review and their role in innovative science. Theoretical Medicine and Bioethics, 33, 359 – 376. Crossref, Google Scholar

  • Tomei, K. L., Nahass, M. M., Husain, Q., Agarwal, N., Patel, S. K. & Svider, P. F., et al. (2014). A gender-based comparison of academic rank and scholarly productivity in academic neurological surgery. Journal of Clinical Neuroscience, 21, 1102 – 1105. Crossref, Google Scholar

  • Tost, C. M. & Rindermann, H. (im Druck). Evaluation psychologischer und pädagogischer Forschungsleistungen mithilfe der bibliometrischen Datenbanken Scopus und Google Scholar. Zeitschrift für Evaluation (Heft 2/2016). Google Scholar

  • Weingart, P. & Winterhager, M. (1984): Die Vermessung der Forschung. Theorie und Praxis der Wissenschaftsindikatoren. Frankfurt: Campus. Google Scholar

  • Williams, R. & Bornmann, L. (2015). Sampling issues in bibliometric analysis. Zugriff am 08. 12. 2015. Verfügbar unter: http://arxiv.org/abs/1401.2254 Google Scholar

  • Zhang, L., Zhao, H., Li, Q., Wang, J. & Tan, X. (2009). Establishment of paper assessment system based on academic disciplinary benchmarks. Scientometrics, 84, 421 – 429. Crossref, Google Scholar