Screening is the step where a search becomes a review. Search decides what you look at; screening decides what counts. It is also the step where most of the intellectual honesty of a review lives, because every decision to exclude a paper is a decision that shapes the conclusion, and those decisions are made privately unless you write them down.
The core discipline is that criteria are written before screening starts. Criteria invented while reading are criteria fitted to the papers you found, which is a way of guaranteeing that the evidence agrees with you. Criteria written in advance can still be revised, and revision is normal, but a revision that is recorded as a deviation is transparent while an undocumented drift is not.
The second discipline is that screening happens in two passes with different standards. The first pass reads titles and abstracts, is fast, and errs towards inclusion, because the cost of wrongly keeping a paper is fifteen minutes and the cost of wrongly discarding one is a hole in the review. The second pass reads full texts, is slow, applies every criterion, and records a reason for each exclusion. Collapsing these into one pass is the most common procedural error in student reviews and produces a set nobody can reconstruct.
This framework covers how to write criteria that can actually be applied, how to deduplicate records across databases, how to run each of the two passes, how to handle disagreement and borderline cases, and how to report the flow so a reader can follow the arithmetic. It is my own synthesis, written in my own words and grounded in recognized scholarship.
الفرز هو الخطوة التي يصير فيها البحثُ مراجعةً. فالبحث يقرر ما تنظر فيه؛ والفرز يقرر ما يُعتدّ به. وهو أيضًا الخطوة التي تسكن فيها معظم النزاهة الفكرية للمراجعة، لأن كل قرار باستبعاد ورقة قرارٌ يشكّل الخاتمة، وتلك القرارات تُتّخذ سرًّا ما لم تكتبها.
والانضباط الجوهري أن المعايير تُكتب قبل بدء الفرز. فالمعايير المبتكَرة أثناء القراءة معايير مُفصَّلة على الأوراق التي وجدتها، وهذا طريقٌ لضمان أن توافقك الأدلة. أما المعايير المكتوبة سلفًا فيمكن تنقيحها، والتنقيح طبيعي، لكن التنقيح المسجّل انحرافًا شفافٌ والانجراف غير الموثَّق ليس كذلك.
والانضباط الثاني أن الفرز يقع في مرورين بمعيارين مختلفين. فالمرور الأول يقرأ العناوين والملخصات، وهو سريع، ويميل إلى الإدراج، لأن كلفة إبقاء ورقة خطأً خمس عشرة دقيقة وكلفة إسقاط واحدة خطأً ثغرةٌ في المراجعة. والمرور الثاني يقرأ النصوص الكاملة، وهو بطيء، ويطبّق كل معيار، ويسجّل سببًا لكل استبعاد. وطيّهما في مرور واحد أشيع خطأ إجرائي في مراجعات الطلاب وينتج مجموعةً لا يستطيع أحد إعادة بنائها.
ويغطي هذا الإطار كيف تُكتب معايير يمكن تطبيقها فعلًا، وكيف تُزال السجلات المكررة عبر القواعد، وكيف يُشغَّل كل من المرورين، وكيف تُعالَج الاختلافات والحالات الحدّية، وكيف يُبلّغ عن التدفق ليتابع القارئ الحساب. وقد أعددتُ هذا الإطار بنفسي وكتبتُه بأسلوبي، معتمدًا على المراجع العلمية المعتمدة.
A criterion is usable when two people applying it to the same abstract reach the same decision. Most criteria students write fail that test, and the failure is always the same: the criterion describes a preference rather than a rule.
| Unusable | Usable | Why the second works |
|---|---|---|
| High-quality studies only | Peer-reviewed empirical studies with a described method | Quality is judged later; presence of a method is observable now |
| Recent work | Published from 2015 onward, when the practice became widespread | A date is checkable and the reason is stated |
| Relevant to my topic | Reports an outcome measure of employee retention or turnover | Names the observable feature rather than the judgement |
| Business context | Sample drawn from private-sector firms with fewer than 250 staff | A boundary anyone can apply identically |
| Sufficient detail | Reports sample size and data collection procedure | Two facts to look for rather than an impression |
Criteria come in two kinds and both are needed. Inclusion criteria state the positive conditions a study must meet: the population, the phenomenon, the outcome, the design, the publication type, the date range, the language. Exclusion criteria state the conditions that disqualify a study even when it meets the inclusion conditions: no primary data, a duplicate report of an earlier dataset, an editorial or commentary rather than a study, full text unobtainable.
Keep the list short. Six to eight criteria in total is typical and manageable; fifteen is a sign that judgements have been smuggled in as rules. Every criterion must be applicable from what a paper reports, which means a criterion such as studies with adequate statistical power cannot be applied at screening because the information usually is not in the abstract and sometimes is not in the paper.
Write the criteria as a numbered list and give each a short code, because the codes become your exclusion reasons at the full-text stage. A list such as E1 wrong population, E2 no outcome measure, E3 not empirical, E4 full text unavailable, E5 not in an accessible language turns the reporting task into counting rather than remembering.
Finally, decide the quality threshold separately from the relevance criteria, and say whether you are applying one at all. Some reviews include everything relevant and discuss quality as a moderator of the findings. Others exclude studies below a stated threshold. Both are defensible; what is not defensible is excluding weak studies silently, because that is where reviewer bias does its quietest work.
المعيار صالح للاستعمال حين يصل شخصان يطبّقانه على الملخص نفسه إلى القرار نفسه. ومعظم المعايير التي يكتبها الطلاب تخفق في ذلك الاختبار، والإخفاق واحد دائمًا: المعيار يصف تفضيلًا لا قاعدة.
| غير صالح | صالح | لماذا ينجح الثاني |
|---|---|---|
| الدراسات عالية الجودة فقط | دراسات تجريبية محكَّمة بمنهج موصوف | الجودة يُحكَم عليها لاحقًا؛ ووجود منهج ملحوظ الآن |
| الأعمال الحديثة | المنشور من 2015 فصاعدًا، حين شاعت الممارسة | التاريخ قابل للفحص والسبب مذكور |
| ذو صلة بموضوعي | يُبلغ عن مقياس مخرج للبقاء أو الدوران | يسمّي السمة الملحوظة لا الحكم |
| سياق أعمال | عيّنة من منشآت قطاع خاص دون 250 موظفًا | حدٌّ يطبّقه أي أحد بالطريقة نفسها |
| تفصيل كافٍ | يُبلغ عن حجم العيّنة وإجراء جمع البيانات | واقعتان تُبحَثان لا انطباع |
والمعايير نوعان وكلاهما لازم. معايير الإدراج تذكر الشروط الإيجابية التي يجب أن تستوفيها الدراسة: المجتمع، والظاهرة، والمخرج، والتصميم، ونوع النشر، ومدى التاريخ، واللغة. ومعايير الاستبعاد تذكر الشروط التي تُسقط دراسةً حتى حين تستوفي شروط الإدراج: لا بيانات أولية، أو تقرير مكرر لمجموعة بيانات سابقة، أو افتتاحية أو تعليق لا دراسة، أو نص كامل متعذّر.
وأبقِ القائمة قصيرة. فستة إلى ثمانية معايير إجمالًا نموذجيٌّ وقابل للإدارة؛ وخمسة عشر علامةٌ على تهريب أحكام بوصفها قواعد. وكل معيار يجب أن يكون قابلًا للتطبيق مما تُبلغ عنه الورقة، ما يعني أن معيارًا مثل «دراسات ذات قوة إحصائية كافية» لا يمكن تطبيقه عند الفرز لأن المعلومة ليست في الملخص عادةً وليست في الورقة أحيانًا.
واكتب المعايير قائمةً مرقّمة وأعطِ كلًّا رمزًا قصيرًا، لأن الرموز تصير أسباب استبعادك في مرحلة النص الكامل. فقائمةٌ مثل «س١ مجتمع خطأ، س٢ لا مقياس مخرج، س٣ ليست تجريبية، س٤ النص الكامل غير متاح، س٥ ليست بلغة متاحة» تحوّل مهمة الإبلاغ إلى عدٍّ لا تذكّر.
وأخيرًا، قرّر عتبة الجودة منفصلةً عن معايير الصلة، وقُل هل تطبّق واحدة أصلًا. فبعض المراجعات تُدرج كل ذي صلة وتناقش الجودة معدِّلًا للنتائج. وبعضها يستبعد الدراسات دون عتبة مذكورة. وكلاهما قابل للدفاع؛ وما لا يُدافَع عنه استبعادُ الدراسات الضعيفة بصمت، فهناك يؤدي تحيّز المراجع أهدأ عمله.
Searching three databases returns the same study several times. Removing duplicates is the first operation after export, and doing it badly corrupts every count that follows.
The mechanics are simple in outline. Import every exported file into one reference manager library, then run its duplicate detection, then review the proposed merges rather than accepting them blindly. Most tools match on a combination of title, author, year, and identifier, and most get the large majority right and a stubborn minority wrong in both directions.
False positives, meaning two different studies flagged as the same, arise when a research team publishes several similar papers from one project with near-identical titles. Merging them silently loses a study. False negatives, meaning the same study not detected, arise from punctuation differences, an author listed with initials in one database and full names in another, a preprint and the published version, or a title indexed with a subtitle in one place and without it in another.
The reliable identifier is the digital object identifier, which is unique per published item and is exported by every major database. Sort by it first and every record sharing a DOI is a genuine duplicate. What remains after that pass are the records without one, which is where the manual review is actually needed and where it is quick because the set is small.
One distinction matters for the counts. A duplicate record is the same publication retrieved twice; a duplicate study is one piece of research reported in two publications, such as a conference paper later expanded into an article, or a large dataset yielding three papers on different outcomes. The first is removed at deduplication and reduces the record count. The second is not a duplicate record at all and must be handled at screening, by identifying the linked publications and treating them as one study with several reports, so that a single dataset does not enter your synthesis three times as though it were independent evidence.
Record the number removed. The flow diagram needs records identified, duplicates removed, and records screened, and those three numbers must be arithmetically consistent, which is the first thing a careful reader checks.
البحث في ثلاث قواعد يعيد الدراسة نفسها مرات. وإزالة التكرار أول عملية بعد التصدير، وأداؤها سيئًا يُفسد كل عدد يليها.
والآليات بسيطة في الخطوط العامة. استورد كل ملف مصدَّر إلى مكتبة مدير مراجع واحدة، ثم شغّل كشف التكرار فيها، ثم راجع عمليات الدمج المقترَحة بدل قبولها عمياءً. فمعظم الأدوات تطابق بمزيج من العنوان والمؤلف والسنة والمعرّف، ومعظمها يصيب الغالبية العظمى ويخطئ أقليةً عنيدة في الاتجاهين.
والإيجابيات الكاذبة، أي دراستان مختلفتان تُعلَّمان بوصفهما واحدة، تنشأ حين ينشر فريق بحثي أوراقًا متشابهة عدة من مشروع واحد بعناوين شبه متطابقة. ودمجها بصمت يُفقد دراسةً. والسلبيات الكاذبة، أي الدراسة نفسها لا تُكتشَف، تنشأ من فروق الترقيم، أو مؤلف مُدرَج بالأحرف الأولى في قاعدة وبالأسماء الكاملة في أخرى، أو مسوّدة أولية والنسخة المنشورة، أو عنوان مفهرَس بعنوان فرعي في موضع وبدونه في آخر.
والمعرّف الموثوق هو معرّف الكائن الرقمي، وهو فريد لكل عنصر منشور وتصدّره كل القواعد الكبرى. افرز به أولًا وكل سجل يشارك معرّفًا يكون تكرارًا حقيقيًا. وما يبقى بعد ذلك المرور هو السجلات بلا معرّف، وهناك تُحتاج المراجعة اليدوية فعلًا وهناك تكون سريعة لأن المجموعة صغيرة.
وتمييز واحد يهم للأعداد. فـالسجل المكرر هو المنشور نفسه مسترجعًا مرتين؛ والدراسة المكررة بحثٌ واحد مُبلّغ عنه في منشورين، كورقة مؤتمر وُسّعت لاحقًا مقالةً، أو مجموعة بيانات كبيرة أنتجت ثلاث أوراق عن مخرجات مختلفة. والأول يُزال عند إزالة التكرار ويخفّض عدد السجلات. والثاني ليس سجلًا مكررًا أصلًا ويجب معالجته عند الفرز، بتحديد المنشورات المرتبطة ومعاملتها دراسةً واحدة بتقارير عدة، كي لا تدخل مجموعة بيانات واحدة تركيبك ثلاث مرات وكأنها دليل مستقل.
وسجّل العدد المزال. فمخطط التدفق يحتاج السجلات المعرّفة والتكرارات المزالة والسجلات المفروزة، وتلك الأرقام الثلاثة يجب أن تتسق حسابيًا، وهذا أول ما يفحصه قارئ متأنٍّ.
The two passes have different questions, different speeds, and different error tolerances. Running them as if they were the same is what produces an unreconstructable set.
Pass one: title and abstract. The question is whether the record could plausibly meet the criteria, not whether it does. Work fast, ten to twenty seconds per record, and decide include, exclude, or uncertain. Treat uncertain as include, because the whole point of the two-stage design is that stage two catches what stage one waves through. Do not record reasons at this stage; the volume makes it impractical and the reasons are not reported for stage one exclusions anyway.
Two practical rules make pass one reliable. Screen on the abstract alone even when you recognise the paper, because recognition is where inconsistency enters. And take breaks: screening accuracy falls measurably after about an hour, and a session of four hundred abstracts in one sitting will have a different standard at the end than at the beginning.
Pass two: full text. Obtain the full text of everything that survived, and note the ones you cannot obtain, since unobtainable full text is an exclusion reason that must be reported. Read enough of each paper to check every criterion, which usually means the abstract, the methods section, and the sample description. Decide include or exclude, and for every exclusion record the single criterion code that disqualified it, choosing the first criterion it fails rather than listing all of them.
Borderline cases should be flagged rather than agonised over. Set them aside, finish the pass, then review the flagged set together. Deciding twenty borderline cases as a group produces a consistent standard, whereas deciding each one when you meet it produces twenty independent standards. If a borderline case genuinely could go either way, include it and note its marginality, since including a weak case transparently is safer than excluding it invisibly.
Where a second screener is available, the standard procedure is that both screen an overlapping sample independently, agreement is measured, disagreements are resolved by discussion, and the agreement statistic is reported. In a solo doctoral review this is often impossible, and the honest substitute is to re-screen a random sample of your own decisions after a week and report your own consistency. A researcher who disagrees with their own earlier decisions on one record in ten has learned something important about their criteria.
للمرورين سؤالان مختلفان وسرعتان مختلفتان وتحمّلان مختلفان للخطأ. وتشغيلهما وكأنهما واحد هو ما يُنتج مجموعةً لا تُعاد بناؤها.
المرور الأول: العنوان والملخص. والسؤال هل يمكن أن يستوفي السجل المعايير، لا هل يستوفيها. اعمل سريعًا، عشر إلى عشرين ثانية للسجل، وقرّر: أُدرِج، أو أستبعد، أو غير متأكد. وعامل «غير متأكد» بوصفه إدراجًا، لأن كل مغزى التصميم ذي المرحلتين أن المرحلة الثانية تلتقط ما مرّرته الأولى. ولا تسجّل أسبابًا في هذه المرحلة؛ فالحجم يجعل ذلك غير عملي والأسباب لا يُبلّغ عنها لاستبعادات المرحلة الأولى أصلًا.
وقاعدتان عمليتان تجعلان المرور الأول موثوقًا. افرز على الملخص وحده حتى حين تتعرف على الورقة، لأن التعرف هو حيث يدخل عدم الاتساق. وخذ استراحات: فدقة الفرز تنخفض بقدر ملحوظ بعد ساعة تقريبًا، وجلسةٌ من أربعمئة ملخص في قعدة واحدة سيكون معيارها في النهاية غير معيارها في البداية.
المرور الثاني: النص الكامل. احصل على النص الكامل لكل ما نجا، ودوّن ما لا تستطيع الحصول عليه، لأن تعذّر النص الكامل سبب استبعاد يجب الإبلاغ عنه. واقرأ من كل ورقة ما يكفي لفحص كل معيار، وهذا يعني عادةً الملخص وقسم المناهج ووصف العيّنة. وقرّر إدراجًا أو استبعادًا، ولكل استبعاد سجّل رمز المعيار الواحد الذي أسقطه، مختارًا أول معيار يخفق فيه لا سردَها كلها.
والحالات الحدّية ينبغي تعليمها لا التعذّب بها. ضعها جانبًا، وأنهِ المرور، ثم راجع المجموعة المعلّمة معًا. فالبتّ في عشرين حالة حدّية بوصفها مجموعة يُنتج معيارًا متسقًا، بينما البتّ في كل واحدة حين تصادفها يُنتج عشرين معيارًا مستقلًا. وإن كانت الحالة الحدّية قد تذهب في أي اتجاه فعلًا، فأدرجها ودوّن هامشيّتها، لأن إدراج حالة ضعيفة بشفافية أأمن من استبعادها بلا رؤية.
وحيث يتوفر فارزٌ ثانٍ، فالإجراء المعياري أن يفرز الاثنان عيّنة متداخلة مستقلين، ويُقاس التوافق، وتُحَل الاختلافات بالنقاش، ويُبلّغ عن إحصاءة التوافق. وفي مراجعة دكتوراه فردية يتعذّر هذا غالبًا، والبديل الصادق أن تعيد فرز عيّنة عشوائية من قراراتك بعد أسبوع وتُبلغ عن اتساقك أنت. فالباحث الذي يخالف قراراته السابقة في سجل من عشرة قد تعلّم شيئًا مهمًا عن معاييره.
The flow report is four numbers and a short list of reasons. It is the single most scrutinised element of a review's method, because it is the only place where the reader can check the arithmetic.
The four counts must reconcile. Records identified, broken down by source, minus duplicates removed, equals records screened. Records screened minus records excluded at title and abstract equals full texts sought. Full texts sought minus full texts not obtained minus records excluded at full text equals studies included. If those subtractions do not work, a reader stops trusting everything downstream, and the failure is nearly always a bookkeeping error rather than a substantive one.
Alongside the counts, report the exclusion reasons at full text only, as a short list with a number against each: wrong population, no outcome measure, not empirical, duplicate report of an included study, full text unavailable. Do not report reasons for title and abstract exclusions; the convention exists because those decisions are made on incomplete information and reporting them implies more precision than the pass had.
The visual form of this report is a flow diagram, which is standard in systematic reviews and increasingly expected even in narrative ones. In a narrative review a short paragraph carrying the same numbers is acceptable, and it is better than a diagram whose numbers do not reconcile. The point is the arithmetic, not the picture.
Two further reporting habits distinguish a careful review. State the final included set explicitly and provide it, as a table or an appendix listing every included study with its key characteristics, because a reader who wants to check your synthesis needs to know what it was built from. And note the date the screening closed, separately from the search dates, since a reader can then tell whether an important paper published in the interval was missed by the search or by the calendar.
A last observation about honesty. Screening is where a reviewer's prior beliefs have the most room to operate, because every decision feels individually defensible and only the pattern reveals a bias. The defence is procedural rather than moral: write the criteria first, apply them to the abstract rather than to your memory of the paper, record reasons, and report the numbers. A review whose method allows a sceptical reader to reconstruct the set does not need to be trusted, which is exactly the property that makes it trustworthy.
تقرير التدفق أربعة أرقام وقائمة قصيرة من الأسباب. وهو أشد عناصر منهج المراجعة تدقيقًا، لأنه الموضع الوحيد الذي يستطيع فيه القارئ فحص الحساب.
والأعداد الأربعة يجب أن تتوافق. السجلات المعرّفة، مفصّلةً بالمصدر، ناقص التكرارات المزالة، يساوي السجلات المفروزة. والسجلات المفروزة ناقص المستبعدة في العنوان والملخص يساوي النصوص الكاملة المطلوبة. والنصوص الكاملة المطلوبة ناقص غير المحصّلة ناقص المستبعدة في النص الكامل يساوي الدراسات المدرجة. فإن لم تنجح تلك الطرحات، توقف القارئ عن الثقة بكل ما بعدها، والإخفاق شبه دائمًا خطأ مسك دفاتر لا خطأ جوهري.
وإلى جانب الأعداد، أبلغ عن أسباب الاستبعاد في النص الكامل فقط، قائمةً قصيرة برقم أمام كل سبب: مجتمع خطأ، لا مقياس مخرج، ليست تجريبية، تقرير مكرر لدراسة مدرجة، نص كامل غير متاح. ولا تُبلغ عن أسباب استبعادات العنوان والملخص؛ فالعُرف قائم لأن تلك القرارات تُتّخذ على معلومات ناقصة والإبلاغ عنها يوحي بدقة لم يملكها المرور.
والصيغة البصرية لهذا التقرير مخطط تدفق، وهو معياري في المراجعات المنهجية ومتوقَّع بازدياد حتى في السردية. وفي مراجعة سردية تكفي فقرة قصيرة تحمل الأرقام نفسها، وهي خير من مخطط لا تتوافق أرقامه. فالمقصود الحساب لا الصورة.
وعادتا إبلاغ أخريان تميّزان مراجعةً متأنية. اذكر المجموعة المدرجة النهائية صراحةً وقدّمها، جدولًا أو ملحقًا يسرد كل دراسة مدرجة بخصائصها المفتاحية، لأن القارئ الذي يريد فحص تركيبك يحتاج معرفة مِمَّ بُني. ودوّن تاريخ إغلاق الفرز، منفصلًا عن تواريخ البحث، ليستطيع القارئ عندئذٍ معرفة هل فاتت ورقةٌ مهمة نُشرت في الفترة بسبب البحث أم بسبب التقويم.
وملاحظة أخيرة عن الأمانة. الفرز هو حيث تملك معتقدات المراجع السابقة أوسع مجال للعمل، لأن كل قرار يبدو قابلًا للدفاع منفردًا ولا يكشف التحيّزَ إلا النمط. والدفاع إجرائي لا أخلاقي: اكتب المعايير أولًا، وطبّقها على الملخص لا على ذاكرتك عن الورقة، وسجّل الأسباب، وأبلغ عن الأرقام. والمراجعة التي يتيح منهجها لقارئ متشكك إعادة بناء المجموعة لا تحتاج أن يُوثَق بها، وهذه بالضبط الخاصية التي تجعلها موثوقة.