Thomson Scientific社が毎年発表している、学術雑誌のインパクトファクターに対し、オープンアクセス誌PLoS Medicineがエディトリアルで批判を展開しています。
・インパクトファクターを測定する際の分母となる「引用可能な」（citable）論文の定義は公開されておらず、あいまいである
・否定的な引用もカウントされる
・レビュー論文は引用されることが多く有利である
・引用が多い少数の論文の影響が大きい
・学術界の外での評価（医学論文の場合、患者、医師、医学生、医療政策を担当する機関、などからの評価）とは無関係
・雑誌の編集者が、インパクトファクターを上げるための策をいろいろと講じている（執筆者に他の論文での引用を促す、引用可能な論文と見なされないようアブストラクトを削る、等）
といった点を批判し、論文・執筆者単位での評価指標の必要性、測定方法・基準の透明化、“usage factor”や“Y factor”といった他機関が発表している指標との協議、ウェブ時代に適合した評価（ダウンロード数の評価、等）が必要であるとしています。
The PLoS Medicine Editors. The Impact Factor Game. PLoS Medicine. 3(6), 2006.
http://medicine.plosjournals.org/perlserv?request=get-document
&doi=10.1371/journal.pmed.0030291
