Shannon's theory answers an engineering question with unusual finality. Given a source that emits symbols with known probabilities, and a channel that corrupts what passes through it, how compactly can the source be encoded and how fast can it be transmitted with an error rate as small as one likes. Both questions have exact answers, and both answers are numbers.
The quantity at the centre is entropy, which measures the uncertainty in a distribution before an outcome is observed. Information is defined as the reduction in that uncertainty. A message that removes no uncertainty carries no information, whatever it says, and a message whose content was already certain carries none either. Everything in the theory follows from that one definition and from the requirement that the measure behave sensibly when independent sources are combined.
The definition has a consequence that has to be stated at the start and repeated whenever the theory is borrowed. Information in Shannon's sense has no semantics. It does not measure truth, relevance, usefulness or meaning. A random string has maximal entropy and is worthless; a sentence everyone expected has near zero entropy and may be exactly what a reader needed. Shannon said this himself, and said it again in print when the borrowing began. The theory's business applications are legitimate and often powerful, but every one of them has to be careful in precisely this respect, and many published ones are not.
تجيب نظريةُ شانون عن سؤالٍ هندسي إجابةً حاسمة على نحوٍ غير معتاد. فإذا كان ثمّة مصدرٌ يبثّ رموزًا باحتمالاتٍ معلومة، وقناةٌ تُفسد ما يمرّ بها، فكم يمكن ضغطُ ترميز المصدر، وبأيّ سرعةٍ يمكن نقلُه بمعدّل خطأٍ صغيرٍ كما يُشاء. وللسؤالين جوابان دقيقان، وكلا الجوابين عدد.
والكمّيةُ في المركز هي الإنتروبيا، وهي تقيس عدم اليقين في توزيعٍ قبل ملاحظة المخرَج. وتُعرَّف المعلومةُ بأنها تقليصُ ذلك العدم من اليقين. فرسالةٌ لا تزيل شيئًا من عدم اليقين لا تحمل معلومة مهما قالت، ورسالةٌ كان مضمونها يقينيًّا أصلًا لا تحمل معلومةً كذلك. وكلُّ ما في النظرية لازمٌ عن هذا التعريف الواحد وعن اشتراط أن يسلك المقياس سلوكًا معقولًا حين تُجمَع مصادرُ مستقلّة.
وللتعريف لازمٌ يجب أن يُقال في البداية وأن يُعاد كلّما استُعيرت النظرية. فالمعلومة بالمعنى الشانوني لا دلالةَ لها. فهي لا تقيس صدقًا ولا صلةً ولا نفعًا ولا معنًى. فسلسلةٌ عشوائية ذاتُ إنتروبيا عظمى وهي بلا قيمة؛ وجملةٌ توقّعها الجميع ذاتُ إنتروبيا تكاد تكون صفرًا وقد تكون بعينها ما احتاجه القارئ. وقد قال شانون هذا بنفسه، وأعاد قوله مطبوعًا حين بدأت الاستعارة. وتطبيقاتُ النظرية في الأعمال مشروعة وكثيرًا ما تكون قوية، لكن كلَّ واحدٍ منها يجب أن يكون حذرًا في هذا الوجه بعينه، وكثيرٌ من المنشور ليس كذلك.
Nyquist, 1924, and Hartley, 1928. The precursors, both working on telegraph transmission. Hartley proposed measuring information as the logarithm of the number of possible messages, which gives the right behaviour under combination but assumes all messages are equally likely. The step from Hartley's measure to Shannon's is the step from counting possibilities to weighting them by probability.
Shannon, 1948. A Mathematical Theory of Communication. The paper defines entropy, proves the source coding theorem, which fixes the shortest average code length at the entropy of the source, and proves the noisy channel coding theorem, which shows that reliable communication is possible at any rate below the channel capacity and impossible above it. The second result was counterintuitive at the time: noise limits the rate, not the achievable accuracy. It also introduced the block diagram of source, encoder, channel, noise, decoder and destination that became the standard picture of communication in a dozen other disciplines.
Weaver, 1949. The essay published alongside a reprint of Shannon's paper, distinguishing technical, semantic and effectiveness levels of communication and suggesting the theory might illuminate all three. It is the single largest source of the misapplication that followed, because it invited social scientists to treat a syntactic measure as a semantic one while carrying Shannon's authority.
Kullback and Leibler, 1951. Relative entropy, the expected number of extra bits incurred by coding a distribution with the wrong model. This is the form in which information theory actually enters statistics and machine learning, and it is the quantity underneath likelihood-based model comparison.
Theil, 1967. Economics and Information Theory, the bridge into applied economics and business. Theil showed that the entropy measure applies without modification to any distribution over categories, and used it for income inequality, industrial concentration and the composition of firms' activity. Nearly all subsequent use of entropy in management, including the diversification indices, descends from this book.
Shannon, 1956. The Bandwagon, a two-page editorial warning that information theory was being applied far outside its domain, that its success in communication engineering did not transfer to psychology, economics or linguistics by analogy, and that the field would be damaged by the enthusiasm. It is the earliest and still the most authoritative critique of the theory's business use, and it was written by its author.
نايكويست، ١٩٢٤، وهارتلي، ١٩٢٨. السابقان، وكلاهما يعمل في النقل البرقي. اقترح هارتلي قياس المعلومة بلوغاريتم عدد الرسائل الممكنة، وهذا يعطي السلوك الصحيح عند التركيب لكنه يفترض تساوي احتمال الرسائل. والخطوةُ من مقياس هارتلي إلى مقياس شانون هي الخطوة من عدّ الإمكانات إلى ترجيحها بالاحتمال.
شانون، ١٩٤٨. «نظرية رياضية للاتصال». تعرّف الورقةُ الإنتروبيا، وتبرهن مبرهنة ترميز المصدر، التي تثبّت أقصر متوسّط طول ترميزٍ عند إنتروبيا المصدر، وتبرهن مبرهنة ترميز القناة المشوّشة، التي تبيّن أن الاتصال الموثوق ممكنٌ عند أيّ معدّلٍ دون سعة القناة ومستحيلٌ فوقها. وكانت النتيجة الثانية مخالفةً للحدس حينها: فالضجيج يحدّ المعدّل لا الدقّة الممكنة. وأدخلت الورقةُ كذلك مخطّط المصدر والمرمِّز والقناة والضجيج وفاكّ الترميز والوجهة، وهو المخطّط الذي صار الصورة المعيارية للاتصال في عشرات التخصّصات الأخرى.
ويفر، ١٩٤٩. المقالة المنشورة إلى جانب إعادة طبع ورقة شانون، وفيها تمييزٌ بين مستوياتٍ فنّية ودلالية وتأثيرية للاتصال، واقتراحٌ بأن النظرية قد تضيء الثلاثة. وهي أكبرُ منبعٍ منفرد لسوء التطبيق الذي تلا، لأنها دعت الباحثين الاجتماعيين إلى معاملة مقياسٍ تركيبي معاملةَ مقياسٍ دلالي، وهي تحمل سلطان شانون.
كولباك وليبلر، ١٩٥١. الإنتروبيا النسبية، أي العدد المتوقّع للبتّات الزائدة الناتجة عن ترميز توزيعٍ بنموذجٍ خاطئ. وهذه هي الصورةُ التي تدخل بها نظريةُ المعلومات فعلًا إلى الإحصاء وتعلّم الآلة، وهي الكمّيةُ الكامنة تحت مقارنة النماذج القائمة على الأرجحية.
تايل، ١٩٦٧. «الاقتصاد ونظرية المعلومات»، الجسرُ إلى الاقتصاد التطبيقي والأعمال. بيّن تايل أن مقياس الإنتروبيا ينطبق بلا تعديل على أيّ توزيعٍ على فئات، واستعمله لعدم المساواة في الدخل، وللتركّز الصناعي، ولتركيبة نشاط المنشآت. وجُلُّ ما تلا من استعمالٍ للإنتروبيا في الإدارة، ومنه أدلّة التنويع، منحدرٌ من هذا الكتاب.
شانون، ١٩٥٦. «العربة»، افتتاحيةٌ في صفحتين تحذّر من أن نظرية المعلومات تُطبَّق بعيدًا جدًّا عن مجالها، وأن نجاحها في هندسة الاتصالات لا ينتقل بالقياس إلى علم النفس أو الاقتصاد أو اللسانيات، وأن الحقل سيتضرّر بالحماسة. وهي أقدمُ نقدٍ لاستعمال النظرية في الأعمال وأوثقُه إلى اليوم، وقد كتبه صاحبُها.
Reading the formula. Entropy is an average of surprise. The surprise of an outcome is the negative logarithm of its probability, so a rare outcome is surprising and a certain one is not, and entropy is the expectation of that quantity over the distribution. Two properties do most of the work. Entropy is maximised by the uniform distribution, which is why it is a measure of spread across categories as much as of unpredictability. And entropy is additive over independent sources, which is what makes the logarithm the only sensible choice of function.
| Quantity | What it measures | How it reads in a business application |
|---|---|---|
| Entropy H(X) | Uncertainty in one distribution | Spread of activity, revenue or attention across categories |
| Conditional entropy H(X given Y) | Uncertainty remaining after Y is observed | How much is still unknown after a signal or a report arrives |
| Mutual information I(X;Y) | H(X) minus H(X given Y): the uncertainty Y removes | Dependence between two variables, including nonlinear dependence correlation misses |
| Relative entropy | Cost of coding one distribution using another | Distance between a predicted and an observed distribution, used in model comparison |
| Redundancy | How far a source falls short of maximum entropy | Repetition and predictability in a text, a process or a control system |
| Channel capacity | Maximum mutual information the channel allows | Ceiling on reliable throughput of any reporting or communication path |
The channel and the noise. The model is deliberately spare: a source produces a message, an encoder maps it to signals, a channel carries the signals and adds noise, a decoder recovers an estimate, and a destination receives it. Noise is anything that makes the received signal a random function of the sent one. The coding theorem says that as long as the transmission rate stays below capacity, coding schemes exist that push the error probability as close to zero as desired, without slowing down further. Above capacity no scheme works. The practical reading is that reliability is bought with structure, not with volume or with repetition alone.
Redundancy is not waste. A source with entropy below its maximum is predictable in part, and that predictability is what allows an error to be detected and corrected. Natural language is heavily redundant, which is why a garbled sentence is still readable. A reporting system with no redundancy transmits at maximum efficiency and cannot detect a single corrupted entry. Every control system, reconciliation procedure and double-entry structure is redundancy deliberately introduced, and the theory explains precisely what it buys.
قراءةُ الصيغة. الإنتروبيا متوسّطُ مفاجأة. فمفاجأةُ المخرَج هي سالبُ لوغاريتم احتماله، فالمخرَج النادر مفاجئ واليقينيُّ ليس كذلك، والإنتروبيا توقّعُ تلك الكمّية على التوزيع. وخاصّيتان تؤدّيان أكثر العمل. فالإنتروبيا تعظُم عند التوزيع المنتظم، ولهذا كانت مقياسًا للانتشار عبر الفئات بقدر ما هي مقياسٌ لعدم القابلية للتنبّؤ. والإنتروبيا جمعيةٌ على المصادر المستقلّة، وهذا ما يجعل اللوغاريتم الدالّة المعقولة الوحيدة.
| الكمّية | ما تقيسه | كيف تُقرأ في تطبيقٍ في الأعمال |
|---|---|---|
| الإنتروبيا H(X) | عدم اليقين في توزيعٍ واحد | انتشارُ النشاط أو الإيراد أو الانتباه عبر الفئات |
| الإنتروبيا الشرطية H(X بمعلومية Y) | عدمُ اليقين الباقي بعد ملاحظة Y | كم يبقى مجهولًا بعد وصول إشارةٍ أو تقرير |
| المعلومة المتبادلة I(X;Y) | H(X) ناقص H(X بمعلومية Y): عدمُ اليقين الذي يزيله Y | الاعتمادُ بين متغيّرين، ومنه الاعتمادُ غير الخطّي الذي يفوت الارتباطَ |
| الإنتروبيا النسبية | كلفةُ ترميز توزيعٍ باستعمال توزيعٍ آخر | المسافة بين توزيعٍ متنبَّأ به وآخر ملحوظ، وتُستعمل في مقارنة النماذج |
| الفائض | كم يقصّر المصدر عن الإنتروبيا العظمى | التكرارُ والقابلية للتنبّؤ في نصٍّ أو عمليةٍ أو نظام رقابة |
| سعة القناة | أقصى معلومةٍ متبادلة تسمح بها القناة | سقفُ الإنتاجية الموثوقة لأيّ مسار إبلاغٍ أو اتصال |
القناة والضجيج. النموذج مقتصدٌ عن قصد: مصدرٌ ينتج رسالة، ومرمِّزٌ يحوّلها إشاراتٍ، وقناةٌ تحمل الإشارات وتضيف ضجيجًا، وفاكُّ ترميزٍ يستعيد تقديرًا، ووجهةٌ تتلقّاه. والضجيجُ كلُّ ما يجعل الإشارة المستقبَلة دالّةً عشوائية في المرسَلة. وتقول مبرهنةُ الترميز إنه ما دام معدّل النقل دون السعة فثمّة أنظمةُ ترميزٍ تدفع احتمال الخطأ إلى ما يقارب الصفر كما يُشاء، من غير مزيد إبطاء. وفوق السعة لا ينفع نظام. والقراءةُ العملية أن الموثوقية تُشترى بالبِنية، لا بالحجم ولا بالتكرار وحده.
والفائض ليس هدرًا. فمصدرٌ إنتروبياه دون حدّها الأقصى قابلٌ للتنبّؤ جزئيًّا، وتلك القابليةُ هي ما يتيح كشف الخطأ وتصحيحه. واللغةُ الطبيعية فائضةٌ بشدّة، ولهذا تبقى الجملةُ المشوَّهة مقروءة. ونظامُ إبلاغٍ بلا فائض ينقل بأقصى كفاءةٍ ولا يستطيع كشف قيدٍ واحدٍ فاسد. وكلُّ نظام رقابةٍ وإجراء تسويةٍ وبِنية قيدٍ مزدوج فائضٌ أُدخل عمدًا، والنظريةُ تبيّن بدقّة ما الذي يشتريه.
Entropy is a measure, not a hypothesis, and that governs how it enters a study. It appears as a variable, usually a construct measure on the right or left of a regression, and it earns its place only when its properties are the reason for choosing it over an alternative. A paper whose contribution is that it used entropy has no contribution. A paper that needed a measure which decomposes exactly into within-group and between-group parts, and used entropy because the Herfindahl index does not decompose that way, has an argument.
The established uses in business research. Diversification is the oldest: the entropy index splits total diversification into a related component within broad sectors and an unrelated component across them, which no single-number concentration measure can do. Market concentration is the second: entropy is an alternative to the Herfindahl index with different sensitivity to the tail, and reporting both is standard practice in careful industrial organisation work. Inequality and decomposition analysis is the third, through the Theil index, which allows a national or firm-level dispersion to be attributed to differences within groups and between them. Textual disclosure is the fourth and the newest, where the entropy of word or topic distributions is used as an information content proxy in annual reports and announcements. Mutual information is the fifth, as a dependence measure that captures nonlinear and non-monotonic relations that correlation coefficients report as zero. And information gain is the sixth, as the splitting criterion in decision tree induction, where each candidate split is scored by how much entropy it removes from the outcome variable.
Two technical points that separate careful work from careless work. Information gain is biased toward variables with many categories, because a split on a high-cardinality variable reduces entropy almost mechanically; the gain ratio correction exists for this reason and should be used and reported. And plug-in entropy estimates are biased downward in small samples relative to the number of categories, so an entropy computed from a few hundred observations across dozens of categories is systematically too low, in a way that can correlate with firm size and thus with everything else in the model.
Angles where the local setting is genuinely distinctive.
الإنتروبيا مقياسٌ لا فرضية، وهذا يحكم كيف تدخل الدراسة. فهي تظهر متغيّرًا، غالبًا مقياسَ بِناءٍ على يمين الانحدار أو يساره، ولا تستحقّ موضعها إلا حين تكون خصائصُها هي سبب اختيارها على بديل. فورقةٌ إسهامُها أنها استعملت الإنتروبيا لا إسهام لها. وورقةٌ احتاجت مقياسًا ينحلّ انحلالًا تامًّا إلى جزءٍ داخل المجموعات وجزءٍ بينها، فاستعملت الإنتروبيا لأن دليل هيرفندال لا ينحلّ كذلك، لها حجّة.
الاستعمالات المستقرّة في بحوث الأعمال. التنويعُ أقدمُها: فدليل الإنتروبيا يشطر التنويع الكلّي إلى مكوّنٍ مترابط داخل القطاعات العريضة ومكوّنٍ غير مترابط عبرها، وهذا لا يستطيعه مقياسُ تركّزٍ برقمٍ واحد. والتركّزُ السوقي ثانيها: فالإنتروبيا بديلٌ عن دليل هيرفندال بحسّاسيةٍ مختلفة للذيل، وإبلاغُ الاثنين ممارسةٌ معيارية في عمل التنظيم الصناعي المتقن. وتحليلُ عدم المساواة والانحلال ثالثها، عبر دليل تايل، الذي يتيح ردَّ تشتّتٍ وطني أو على مستوى المنشآت إلى فروقٍ داخل المجموعات وبينها. والإفصاحُ النصّي رابعها وأحدثها، حيث تُستعمل إنتروبيا توزيعات الكلمات أو الموضوعات بديلًا عن المحتوى المعلوماتي في التقارير السنوية والإعلانات. والمعلومةُ المتبادلة خامسها، مقياسًا للاعتماد يلتقط علاقاتٍ غير خطّية وغير رتيبة تبلّغ عنها معاملاتُ الارتباط صفرًا. وكسبُ المعلومة سادسها، معيارًا للتشطير في استقراء أشجار القرار، إذ يُقدَّر كلُّ تشطيرٍ مرشَّح بمقدار ما يزيله من إنتروبيا المتغيّر الهدف.
ونقطتان فنّيتان تفصلان العمل المتقن عن المتهاون. فكسب المعلومة متحيّزٌ نحو المتغيّرات كثيرة الفئات، لأن التشطير على متغيّرٍ عالي العددية يخفض الإنتروبيا خفضًا شبه ميكانيكي؛ ولهذا وُجد تصحيحُ نسبة الكسب، وينبغي استعمالُه والإبلاغُ به. وتقديراتُ الإنتروبيا بالإحلال المباشر متحيّزةٌ إلى أسفل في العيّنات الصغيرة قياسًا إلى عدد الفئات، فإنتروبيا محسوبةٌ من بضع مئات من الملاحظات عبر عشرات الفئات منخفضةٌ انخفاضًا منهجيًّا، على نحوٍ قد يقترن بحجم المنشأة ومن ثمّ بكل شيءٍ آخر في النموذج.
زوايا يكون فيها السياق المحلّي متميّزًا حقًّا.
The absence of semantics is a feature of the theory and a trap for its borrowers. Shannon's information is uncertainty reduction relative to a probability model, nothing more. It cannot distinguish a true statement from a false one of equal surprisal, cannot rank two disclosures by relevance, and does not know what any symbol refers to. Applications that quietly treat an entropy score as a measure of how informative something was, in the ordinary sense of that word, have imported a conclusion the mathematics does not license. This is the objection Shannon raised himself in 1956 and it has not weakened.
The measure inherits the arbitrariness of the alphabet. Entropy requires a defined set of categories and a probability distribution over them. In engineering the alphabet is given by the system. In business research the researcher chooses it: industry codes, sentiment classes, topic counts, word tokens after some cleaning rule. The number that comes out is a property of that choice as much as of the data, and two defensible choices can reverse a finding. Nothing in the theory helps with the choice, because the theory assumes it.
Estimation is biased and the bias is rarely acknowledged. Entropy computed by substituting sample frequencies is downward biased, and the bias grows with the number of categories relative to the sample. Corrections exist and are standard in fields that estimate entropy seriously; they are almost absent from management papers, where entropy is typically computed as if it were an observed quantity rather than an estimate with a standard error.
High textual entropy can mean obfuscation rather than disclosure. A report with an unusual and varied vocabulary scores high, whether the variety comes from substantive new content or from evasive language, boilerplate rotation and legal hedging. Studies using entropy as a disclosure quality measure need an independent check that separates informativeness from complexity, and many do not have one.
Mutual information detects dependence but not direction or form. It is symmetric, so it cannot distinguish which variable drives which, and its magnitude is not comparable across variable pairs with different numbers of categories unless it is normalised. It is a good screening tool and a poor final answer, and it is sometimes reported as though it settled a causal question.
Analogies to the channel model are usually just analogies. Organisational communication is often described using source, channel, noise and capacity, and the vocabulary is evocative. But an organisation is not a channel with a measurable capacity in bits, the messages are not drawn from a fixed alphabet with stable probabilities, and no coding theorem applies. Using the diagram as a heuristic is fine; presenting it as the application of a mathematical result is not.
غيابُ الدلالة صفةٌ في النظرية وفخٌّ لمستعيريها. فمعلومةُ شانون تقليصٌ لعدم اليقين بالنسبة إلى نموذجٍ احتمالي، لا غير. فهي لا تميّز قولًا صادقًا من كاذبٍ يساويه في المفاجأة، ولا ترتّب إفصاحين بالصلة، ولا تعرف إلامَ يشير أيُّ رمز. والتطبيقاتُ التي تعامل في صمتٍ درجةَ الإنتروبيا مقياسًا لكم كان الشيء مُخبِرًا، بالمعنى المعتاد لهذه الكلمة، قد استوردت نتيجةً لا تأذن بها الرياضيات. وهذا هو الاعتراض الذي أثاره شانون بنفسه سنة ١٩٥٦ ولم يضعف.
والمقياس يرث اعتباطية الأبجدية. فالإنتروبيا تقتضي مجموعة فئاتٍ محدَّدة وتوزيعًا احتماليًّا عليها. وفي الهندسة يعطي النظامُ الأبجدية. أما في بحوث الأعمال فالباحث هو من يختارها: رموزُ الصناعة، وفئاتُ الانطباع، وعددُ الموضوعات، ومفرداتُ النصّ بعد قاعدة تنظيفٍ ما. والرقمُ الخارج صفةٌ لذلك الاختيار بقدر ما هو صفةٌ للبيانات، وقد يعكس اختياران معقولان نتيجةً واحدة. وليس في النظرية ما يعين على الاختيار، لأنها تفترضه.
والتقدير متحيّز ونادرًا ما يُقَرّ بذلك. فالإنتروبيا المحسوبة بإحلال ترددات العيّنة متحيّزةٌ إلى أسفل، والتحيّزُ ينمو بعدد الفئات قياسًا إلى العيّنة. والتصحيحاتُ موجودة ومعياريةٌ في الحقول التي تقدّر الإنتروبيا بجدّية؛ وهي تكاد تغيب عن أوراق الإدارة، حيث تُحسب الإنتروبيا عادةً كأنها كمّيةٌ ملحوظة لا تقديرٌ له خطأٌ معياري.
وعلوُّ الإنتروبيا النصّية قد يعني التعمية لا الإفصاح. فتقريرٌ ذو مفرداتٍ غير معتادة متنوّعة يحصل على درجةٍ عالية، سواءٌ جاء التنوّع من مضمونٍ جديد جوهري أو من لغةٍ مراوغة وتدويرِ عباراتٍ نمطية وتحوّطٍ قانوني. والدراساتُ التي تستعمل الإنتروبيا مقياسًا لجودة الإفصاح تحتاج فحصًا مستقلًّا يفصل الإخبارية عن التعقيد، وكثيرٌ منها لا يملكه.
والمعلومة المتبادلة تكشف الاعتماد لا اتجاهه ولا صورته. فهي متماثلة، فلا تستطيع تمييز أيّ المتغيّرين يقود الآخر، ومقدارُها غير قابل للمقارنة بين أزواجٍ تختلف في عدد الفئات ما لم يُعيَّر. وهي أداةُ فرزٍ جيدة وجوابٌ نهائي رديء، وتُبلَّغ أحيانًا كأنها حسمت سؤالًا سببيًّا.
والقياسُ على نموذج القناة قياسٌ في الغالب لا أكثر. فالاتصال التنظيمي كثيرًا ما يوصَف بالمصدر والقناة والضجيج والسعة، والمفرداتُ موحية. لكن المنظمة ليست قناةً ذات سعةٍ قابلة للقياس بالبتّات، والرسائلُ ليست مسحوبةً من أبجديةٍ ثابتة باحتمالاتٍ مستقرّة، ولا تنطبق مبرهنةُ ترميز. واستعمالُ المخطّط استهداءً مقبول؛ أما عرضُه تطبيقًا لنتيجةٍ رياضية فلا.