Verifying AI Outputالتحقق من مخرجات الذكاء

Overview

Verification is the practice that makes AI use in research safe. It is not optional, it is not proportional to how good the output looks, and it is the entire difference between a tool that saves time and a tool that ends a degree.

The reason it cannot be skipped is a property of these systems already established: fluency is uniform across correct and incorrect output. A human expert signals uncertainty by hedging, hesitating, or saying they are not sure. These systems do not, so the reading experience of a correct answer and a fabricated one is identical.

That single fact means you cannot detect errors by reading. You detect them by checking against something outside the output: a database, a source, a computed result, your own reconstruction of the argument. Any practice that involves reading the output carefully and deciding it seems right is not verification.

The practical framework is that different kinds of output need different checks, and that some checks are cheap and some are expensive. Knowing which is which lets you verify everything that matters without spending more time checking than the tool saved.

This framework covers the six kinds of output and the specific check for each, the signals that raise priority, a working routine, and the standard that governs what may enter a thesis. It is my own synthesis, written in my own words and grounded in recognized scholarship.

نظرة عامة

التحقق هو الممارسة التي تجعل استخدام الذكاء في البحث آمنًا. وهو ليس اختياريًا، وليس متناسبًا مع مدى جودة مظهر المخرَج، وهو الفرق كله بين أداة توفّر الوقت وأداة تنهي درجة.

وسبب تعذّر تخطّيه خاصيةٌ لهذه الأنظمة أُثبتت سلفًا: السلاسة موحّدة عبر المخرَج الصحيح والخاطئ. فالخبير البشري يشير إلى عدم اليقين بالتحويط أو التردد أو قول إنه غير متأكد. وهذه الأنظمة لا تفعل، فتجربة قراءة إجابة صحيحة وأخرى ملفَّقة متطابقة.

وتلك الواقعة المفردة تعني أنك لا تستطيع كشف الأخطاء بالقراءة. بل تكشفها بالفحص مقابل شيء خارج المخرَج: قاعدة بيانات، أو مصدر، أو نتيجة محسوبة، أو إعادة بنائك للحجة. وأي ممارسة تتضمن قراءة المخرَج بعناية وتقرير أنه «يبدو صحيحًا» ليست تحققًا.

والإطار العملي أن أنواع المخرجات المختلفة تحتاج فحوصًا مختلفة، وأن بعض الفحوص رخيص وبعضها مكلف. ومعرفةُ أيّها أي تتيح لك التحقق من كل ما يهم دون إنفاق وقت في الفحص أكثر مما وفّرته الأداة.

ويغطي هذا الإطار أنواع المخرجات الستة والفحص المحدد لكل واحد، والإشارات التي ترفع الأولوية، وروتينًا عمليًا، والمعيار الذي يحكم ما يجوز دخوله أطروحة. وقد أعددتُ هذا الإطار بنفسي وكتبتُه بأسلوبي، معتمدًا على المراجع العلمية المعتمدة.

Six Kinds of Output and Their Checks

Each kind of output has one appropriate check. Applying the wrong check, or reading instead of checking, is how errors survive.

Citations. Search the exact title in a database. If it does not appear, it does not exist, and the reference must be removed rather than corrected, since a fabricated reference has no correct version. This check takes thirty seconds and must be applied to every reference that did not come from your own search. There is no exception to this rule.

Facts and figures. Statistics, dates, definitions, and quantities must be traced to a source you can cite, because you will have to cite one anyway. A number in your thesis is your claim regardless of where it came from, and a tool cannot be cited as its authority.

Attributions. Where an output says that an author argued something, open the source and find the passage. This is the check most often skipped when the reference itself turns out to be real, and it is where retrieval-backed tools fail: the link works, the paper exists, and the claim attributed to it is not in it.

Code. Read it before running it, so that you understand what it does. Run it. Then verify the output against a case you computed by hand or against a result you already know. Code that runs is not code that is correct, and a subtly wrong analysis produces plausible numbers with no error message.

Reasoning. Where an output offers an argument, reconstruct it yourself: what are the premises, does the conclusion follow, and is there an alternative explanation. This is the most expensive check and the least avoidable, because reasoning is exactly the thing you cannot outsource in a doctorate.

Style. Where a tool rewrote your text, read the change against the original sentence by sentence and confirm that no claim was altered. These tools sometimes improve flow by removing a qualification, and a smoothed sentence that now overclaims is worse than the awkward original.

ستة أنواع مخرجات وفحوصها

لكل نوع مخرَج فحصٌ ملائم واحد. وتطبيقُ الفحص الخاطئ، أو القراءة بدل الفحص، هو كيف تنجو الأخطاء.

الاستشهادات. ابحث بالعنوان بالضبط في قاعدة بيانات. فإن لم يظهر فهو غير موجود، ويجب إزالة المرجع لا تصحيحه، لأن المرجع الملفَّق لا نسخة صحيحة له. وهذا الفحص يستغرق ثلاثين ثانية ويجب تطبيقه على كل مرجع لم يأتِ من بحثك. ولا استثناء لهذه القاعدة.

الوقائع والأرقام. فالإحصاءات والتواريخ والتعريفات والكميات يجب تتبّعها إلى مصدر تستطيع الاستشهاد به، لأنك ستضطر إلى الاستشهاد بواحد على أي حال. والرقمُ في أطروحتك ادّعاؤك بصرف النظر عن مصدره، ولا يمكن الاستشهاد بأداة مرجعًا له.

النسبات. وحيث يقول مخرَجٌ إن مؤلفًا حاجّ بشيء، فافتح المصدر وجِد المقطع. وهذا الفحص الأكثر تخطّيًا حين يتبيّن أن المرجع نفسه حقيقي، وهو حيث تخفق الأدوات المسنودة بالاسترجاع: فالرابط يعمل، والورقة موجودة، والادّعاء المنسوب إليها ليس فيها.

الشفرة. اقرأها قبل تشغيلها، لتفهم ما تفعله. وشغّلها. ثم تحقق من المخرَج مقابل حالة حسبتها يدويًا أو مقابل نتيجة تعرفها سلفًا. فالشفرة التي تعمل ليست الشفرة الصحيحة، والتحليلُ الخاطئ بخفاء يُنتج أرقامًا معقولة بلا رسالة خطأ.

التعليل. وحيث يعرض مخرَجٌ حجة، فأعد بناءها بنفسك: ما المقدمات، وهل تتبع الخاتمة، وهل ثمة تفسير بديل. وهذا أغلى الفحوص وأقلها قابلية للتجنب، لأن التعليل بالضبط هو ما لا تستطيع تفويضه في دكتوراه.

الأسلوب. وحيث أعادت أداةٌ كتابة نصك، فاقرأ التغيير مقابل الأصل جملةً جملة وتأكد أن لا ادّعاء تبدّل. فهذه الأدوات تحسّن الانسياب أحيانًا بإزالة تقييد، والجملةُ المصقولة التي صارت تُفرط في الادّعاء أسوأ من الأصل الأخرق.

Signals That Raise Priority

Certain features of an output make an error more likely. They help you decide what to check first, and their absence proves nothing.

Suspicious roundness. Figures like exactly thirty percent, precisely half, and about two thirds appear more often in generated text than in reported research, because round numbers are more likely continuations. Any quantity worth citing is worth tracing.

Absence of hedging where hedging is normal. Research findings are reported with qualifications, and a confident unqualified statement about a contested empirical question is more likely to be a smoothed version of the literature than an accurate one.

Unfamiliar sources in a field you know. If you have read in an area and an output cites authors you have never encountered, that is worth checking first. Conversely, plausible-sounding titles by real authors in the field are the hardest fabrications to spot precisely because everything about them is familiar.

Missing caveats you would have written. If you know a finding is contested and the output presents it as settled, the output has flattened the literature, which is the characteristic distortion in this area.

Suspicious completeness. An answer that covers every aspect of a complex question tidily is more likely to be a generic structure than a considered response, and the tidiness is the signal.

Two things these signals do not do. They do not certify correctness when absent, because fluency is uniform and a fabricated citation looks exactly like a real one. And they do not substitute for the check, because they are heuristics about probability rather than tests of truth.

What they do is help you allocate limited attention. Everything gets checked; the signals tell you what to check first when you have twenty items and an hour.

إشارات ترفع الأولوية

سمات معينة في مخرَج تجعل الخطأ أرجح. وهي تساعدك على تقرير ما تفحصه أولًا، وغيابها لا يبرهن على شيء.

التدوير المريب. فأرقام مثل «ثلاثين بالمئة بالضبط» و«نصف تمامًا» و«نحو الثلثين» تظهر في النص المولَّد أكثر مما تظهر في البحوث المُبلَّغ عنها، لأن الأرقام المدوّرة استمرارات أرجح. وأي كمية تستحق الاستشهاد تستحق التتبّع.

غياب التحويط حيث التحويط طبيعي. فنتائج البحوث يُبلَّغ عنها بتقييدات، والعبارةُ الواثقة غير المقيَّدة عن سؤال تجريبي متنازَع عليه أرجحُ أن تكون نسخةً مصقولة من الأدبيات لا دقيقةً.

مصادر غير مألوفة في حقل تعرفه. فإن كنت قرأت في مجال واستشهد مخرَجٌ بمؤلفين لم تصادفهم قط، فذلك يستحق الفحص أولًا. وبالعكس، العناوين المعقولة لمؤلفين حقيقيين في الحقل أصعب التلفيقات كشفًا لأن كل شيء فيها مألوف بالضبط.

تحفظات غائبة كنت ستكتبها. فإن كنت تعرف أن نتيجةً متنازَع عليها ويقدّمها المخرَج محسومةً، فقد سطّح المخرَجُ الأدبيات، وهذا التشويه المميز في هذا المجال.

اكتمال مريب. فإجابةٌ تغطي كل جانب من سؤال معقد بترتيب أرجحُ أن تكون بنيةً عامة لا استجابةً متدبَّرة، والترتيبُ هو الإشارة.

وشيئان لا تفعلهما هذه الإشارات. فهي لا تصدّق الصحة حين تغيب، لأن السلاسة موحّدة والاستشهادُ الملفَّق يبدو تمامًا كالحقيقي. وهي لا تحل محل الفحص، لأنها إرشادات عن الاحتمال لا اختبارات للصدق.

وما تفعله مساعدتك على توزيع انتباه محدود. فكل شيء يُفحَص؛ والإشارات تخبرك ما تفحصه أولًا حين تملك عشرين عنصرًا وساعة.

Four Worked Cases

Four situations that arise constantly, with the check that resolves each and the decision that follows.

The reference that looks right. An output cites a paper by authors you recognise, in a journal that publishes in your area, with a title that describes exactly what you needed. Search the exact title. If nothing appears, search the authors' names and scan their publication list. If the paper is not there, it does not exist, and the correct action is to delete the claim it supported rather than to look for a substitute that says the same thing, because the claim itself may have been generated to fit.

The statistic with no source. An output states that a proportion of firms do something. Search for the figure with the topic in a database and in official statistics. If you find it, cite the source and drop the tool from the chain entirely. If you cannot find it in fifteen minutes, remove the claim; a number you cannot source is a number you cannot use, and its plausibility is not evidence.

The code that runs. A script executes without error and produces a table of results. Read the code line by line and confirm each step does what you intended, particularly the filtering and the variable construction, where a wrong condition produces a valid-looking result on the wrong subset. Then compute one case by hand and compare. Only then use the output.

The rewrite that improved the paragraph. A tool returns your paragraph clearer and shorter. Compare sentence by sentence against your original. Check specifically for removed qualifications, strengthened verbs, and dropped conditions, since these are the changes that improve flow by weakening accuracy. Accept the changes that improve clarity without altering a claim, which is usually most of them.

A fifth case is worth naming because it has no check. The interpretation that sounds right. An output offers a reading of your findings that is plausible and that you had not thought of. There is no external source to check it against, because it is a judgement rather than a fact. The only responsible response is to treat it as a hypothesis to work out yourself: go to the evidence, see whether it supports the reading, and if it does, establish it in your own words from the data. What reaches the chapter is then your interpretation, arrived at by your reasoning, and the tool served as a prompt rather than a source.

أربع حالات مشتغلة

أربعة مواقف تنشأ باستمرار، بالفحص الذي يحل كل واحد والقرار الذي يتبع.

المرجع الذي يبدو صحيحًا. يستشهد مخرج بورقة لمؤلفين تعرفهم، في مجلة تنشر في مجالك، بعنوان يصف بالضبط ما احتجته. ابحث بالعنوان بالضبط. فإن لم يظهر شيء، فابحث بأسماء المؤلفين وامسح قائمة منشوراتهم. وإن لم تكن الورقة هناك فهي غير موجودة، والفعل الصحيح حذف الادّعاء الذي أسندته لا البحث عن بديل يقول الشيء نفسه، لأن الادّعاء نفسه قد يكون وُلّد ليلائم.

الإحصاءة بلا مصدر. يذكر مخرج أن نسبةً من المنشآت تفعل شيئًا. ابحث عن الرقم مع الموضوع في قاعدة بيانات وفي الإحصاءات الرسمية. فإن وجدته فاستشهد بالمصدر وأسقط الأداة من السلسلة كليًا. وإن لم تستطع إيجاده في خمس عشرة دقيقة فأزل الادّعاء؛ فرقمٌ لا تستطيع تحديد مصدره رقمٌ لا تستطيع استخدامه، ومعقوليته ليست دليلًا.

الشفرة التي تعمل. ينفّذ نص برمجي بلا خطأ ويُنتج جدول نتائج. اقرأ الشفرة سطرًا سطرًا وتأكد أن كل خطوة تفعل ما قصدت، خاصةً الترشيح وبناء المتغيرات، حيث يُنتج شرطٌ خاطئ نتيجةً تبدو صالحة على مجموعة فرعية خاطئة. ثم احسب حالةً واحدة يدويًا وقارن. وعندها فقط استخدم المخرج.

إعادة الكتابة التي حسّنت الفقرة. تعيد أداةٌ فقرتك أوضح وأقصر. قارن جملةً جملة مقابل أصلك. وافحص تحديدًا التقييدات المحذوفة والأفعال المقوّاة والشروط المُسقطة، فهذه التغييرات التي تحسّن الانسياب بإضعاف الدقة. واقبل التغييرات التي تحسّن الوضوح دون تبديل ادّعاء، وهي عادةً معظمها.

وحالةٌ خامسة تستحق التسمية لأن لا فحص لها. التفسير الذي يبدو صحيحًا. يعرض مخرج قراءةً لنتائجك معقولةً لم تخطر لك. ولا مصدر خارجي لفحصها مقابله، لأنها حكمٌ لا واقعة. والاستجابة المسؤولة الوحيدة معاملتها فرضيةً تستخرجها بنفسك: اذهب إلى الأدلة، وانظر هل تسند القراءة، وإن أسندتها فأثبتها بكلماتك من البيانات. وما يصل الفصل عندئذ تفسيرك أنت، مبلوغًا بتعليلك، والأداةُ خدمت مطالبةً لا مصدرًا.

A Working Routine

A verification routine that is short enough to actually follow. Five steps, applied every time, taking a few minutes for most outputs.

The fifth step is the one that makes the rest hold. Nothing goes from an output into a thesis unchanged. Rewriting in your own words does three things at once: it confirms you understood the claim, it removes the risk of text of uncertain origin entering your document, and it produces prose in your voice rather than a register that reads differently from the chapters around it.

Three practices support the routine over a long project. Verify immediately, in the same session, since an unverified output filed for later becomes an output whose origin you have forgotten. Mark verification status in your notes: verified, unverified, rejected, so nothing unverified can migrate into a draft by accident.

And keep the log: which tool, for what, and what you did with the output. This is what makes an accurate disclosure statement possible, and it takes one line per exchange.

The governing standard is a single sentence, and it is the same standard that has always applied to research: you are responsible for every claim in your thesis, regardless of where it came from. A tool is not a source, cannot be cited as an authority, and provides no defence for an error. An examiner asking about a claim will not accept an explanation about how it was produced, and the only workable position is that everything in the document is something you can defend.

Read that way, verification is not a new burden imposed by new tools. It is the existing standard of scholarship applied to a new source of text, and the reason it feels burdensome is that these tools produce plausible material faster than any previous source, which increases the volume to be checked without changing the requirement.

روتين عملي

روتين تحقق قصير بما يكفي لاتّباعه فعلًا. خمس خطوات، تُطبَّق في كل مرة، وتستغرق دقائق لمعظم المخرجات.

والخطوة الخامسة هي التي تجعل الباقي يصمد. ولا شيء ينتقل من مخرَج إلى أطروحة دون تغيير. فإعادة الكتابة بكلماتك تفعل ثلاثة أشياء في آن: تؤكد أنك فهمت الادّعاء، وتزيل خطر دخول نصٍّ مجهول الأصل وثيقتك، وتُنتج نثرًا بصوتك لا بسجل يُقرأ مختلفًا عن الفصول حوله.

وثلاث ممارسات تسند الروتين عبر مشروع طويل. تحقّق فورًا، في الجلسة نفسها، لأن مخرَجًا غير متحقَّق منه يُحفَظ للاحق يصير مخرَجًا نسيت أصله. وعلّم حالة التحقق في ملاحظاتك: متحقَّق منه، غير متحقَّق، مرفوض، فلا يستطيع شيء غير متحقَّق منه الهجرة إلى مسوّدة مصادفةً.

واحتفظ بالسجل: أي أداة، ولماذا، وما فعلته بالمخرَج. وهذا ما يجعل عبارة إفصاح دقيقة ممكنة، ويستغرق سطرًا لكل تبادل.

والمعيار الحاكم جملةٌ واحدة، وهو المعيار نفسه الذي انطبق دائمًا على البحث: أنت مسؤول عن كل ادّعاء في أطروحتك، بصرف النظر عن مصدره. فالأداة ليست مصدرًا، ولا يمكن الاستشهاد بها مرجعًا، ولا توفّر دفاعًا عن خطأ. والممتحنُ الذي يسأل عن ادّعاء لن يقبل شرحًا عن كيفية إنتاجه، والموقف العملي الوحيد أن كل ما في الوثيقة شيءٌ تستطيع الدفاع عنه.

ومقروءًا هكذا، لا يكون التحقق عبئًا جديدًا تفرضه أدوات جديدة. بل هو معيار العلم القائم مطبَّقًا على مصدر نصٍّ جديد، وسببُ شعوره بالثقل أن هذه الأدوات تُنتج مادة معقولة أسرع من أي مصدر سابق، وهذا يزيد الحجم الواجب فحصه دون تغيير المتطلب.