一个不错的含有阴谋、毒药和机器学习的老式侦探故事
故事以结局开头。
《韩非子》是关于战国时代中国嗜血政治的论文汇编，在作者韩非于公元前233年逝世后由后人辑集而成。
在第一章中，先介绍韩非这个人。他是个作家，嘲讽的逆势派人，自由政治家和常年内幕人士。他即将在韩郑王的宫廷中讲话。郑的军队已接近席卷中国的边缘，他将以秦始皇的名义统治中国。韩非的论文早已引起了韩郑王的注意。这是韩非获得政府职位的最佳时机。但是，韩郑王太聪明了，并不满足于那种也适用于其他国家的阿谀奉承。取而代之的是，韩非需要当面进行一次演讲，有效并激烈评析秦国为什么没有彻底消灭包括韩在内的其他封建国家。韩非的演讲中无疑是人类修辞史上的最高点之一。他辩称，秦国以前在打败邻国方面的犹豫是一种错误的怜悯，只是延长了本来早点结束的冲突。在过去的一个世纪中，如果秦国更聪明或不轻易妥协于盟国的话，可以有多次机会消灭其他六国。作为韩国（战国）的长期批评者，韩非终于把自己的家人和国家扔给了狼群，一劳永逸地与秦朝结盟。
或许是。
然而，在第二章中，事情变得更加模糊。秦王嬴政正计划对韩国发动最后的破坏性进攻，但韩非认为这是错误的做法。韩国太虚弱，以至于无法构成威胁，并且无论如何都陷入了服从于秦的习惯。但是，对秦王嬴政正计划对韩国的任何攻击都可能激发反秦联盟。他建议，更好的策略是贿赂南部的楚国以保持中立，并攻击北部的赵国 — — 一个更大更强的国家。对韩国的一次成功进攻将加强其他国家对秦的反对，而击败赵国会使他们士气低落，从而「可以移书定」来使其投降。这是一个令人信服的论点，它所基于的因果关系链具有不可避免的代数性质。结论似乎是自然而无可辩驳的。
正在此时，秦国丞相李斯站了起来。通过其学术能力、街头智慧和杀手本能的综合提升，李斯似乎已对韩非了如指掌。确实，李斯似乎在确保秦国邀请韩非的过程中发挥了作用。而，韩非的前面近乎于指责李斯本人出于不忠而提供了不好的建议 — — 这是一种死刑。李斯对韩非的演讲的评论简短而残酷，没有任何经过仔细校准的说服技术。然而，它一击接一击：「非之來也，未必不以其能存韓也為重於韓也。辯說屬辭，飾非詐謀，以釣利於秦， 而以韓利闚陛下。夫秦、韓之交親，則非重矣，此自便之計也。」
为了验证这一点，李斯建议向韩国派遣外交使团。如果韩国人像（韩非）所说的那样顺从，他们应该有可能说服韩王前往秦国，以示顺服，于是秦国就可以拘留韩王，并吞并他的国家。后来该计划得到了实施，李斯亲自担任了前赴韩国的大使。在这一点上，他不会输给别人：如果任务成功，他将以他的说服力而闻名，而如果失败，他将摆脱一个令人讨厌的内部竞争对手。凭借这种策略，他可以利用自己的优势，以明确和非外交的侵略性对待韩国。
李斯前往告渝韩王，没能见到。李斯于是上书韩王，提出了一系列计策，并含有针对儒家礼节的讽刺与赤裸裸的威胁交替。李斯表示愿意接受死刑，以此来显示自己的诚意。但实际上，李斯知道当前命悬一线其实是韩非：「今秦王使臣斯來而不得見，恐左右襲曩姦臣之計， 使韓復有亡地之患。臣斯不得見，請歸報，秦、韓之交必絕矣。斯之來使，以奉秦王之歡心，願效便計， 豈陛下所以逆賤臣者邪？臣斯願得一見，前進道愚計，退就葅戮，願陛下有意焉。」
《韩非子》里没有记录故事的结果，但它的读者已经知道结果是什么。正如司马迁在其著作中的一段微妙且模棱两可的表述：「秦王以為然，下吏治非。李斯使人遺非藥，使自殺。韓非欲自陳，不得見。秦王後悔之，使人赦之，非已死矣。」
这篇介绍给我们留下了许多棘手的问题。考虑到韩非长期以来一直是韩国中最著名的批评家之一，为什么韩非又似乎是代表韩国出使秦国？他是否真的决定出卖自己的家人并与秦同盟？还是他的演讲是旨在减轻秦国对韩国的暴力行为的长期骗局的一部分？韩国为什么拒绝接待李斯的使团？
我们想对这些问题中的一些（即使不是全部）给出答案。
我们设定自己的目标是解决这个谜团。不过，不是通过挖掘久已丢失的书籍，而是通过对知名历史文本进行先进的文字分析。我们尤其关注一本书：《战国策》。该书是由档案学家刘翔在汉朝期间编写的，汇集了各种不同的轶事，旨在向读者提供战略推理和外交的成功案例。原始故事来自众多作者，尽管其中许多都是匿名的，但通常可以通过他们各自的文体怪癖来追踪《战国策》中特定作家所写的部分。从而，读者可以熟悉不同作者的个人创作偏好，甚至猜测他们的历史和政治背景，并在匿名的情况下为他们贴上虚拟标签：「魏冉的客户」，「陈轸的客户」，「韩国的大历史学家」，「赵国的讽刺作家」等。这通常是一种凭直觉判断的过程，而非完全理性，并且使用计算机方法很难复制。
但是，有一个例外。关于《战国策》中《谓郑王》一章的作者，我们怀疑，他不是匿名的官僚，而是韩非本人。
《谓郑王》一章相对简短，可以点击此处链接阅读全文。在《谓郑王》一章，一位匿名的韩国人认为，成功的政治事业不能仅仅依赖个别的天才，而通常是有效的伙伴关系的产物：由一方提供政治势力，而另一方解决公关问题。他辩称，韩国（战国）可以与秦国建立这样的伙伴关系，并指出，没有人抓住这一机会，这令人难以置信：「昔齊桓公九合諸侯，未嘗不以周襄王之命。然則雖尊襄王，桓公亦定霸矣。九合之尊桓公也，猶其尊襄王也。今日天子不可得而為也，雖為桓公吾弗為云者，豈不為過辯而不知尊哉！」
首先令人惊叹的是这段文字与《韩非子》在写作风格上的相似之处。韩非的声音是中国古典文学中最有特色的声音之一。《谓郑王》一章也体现了与韩非写作风格的许多相似之处：广泛使用第一人称代词，自成体系的且基于算法的论点，尖刻的幽默感……的确，相似之处如此明显，以至于我们期望找到许多讨论这些相似之处的评论，但很惊讶地发现没有这样的讨论。然而，一个有天赋的作家是可以刻意模仿出这些相似之处的。 （《战国策》的《苏秦始将连横》一章的毫不留情地模仿了这种体裁）。因此，这些指标并不一定有意义。
在第一种情况下，韩非对周围的环境漠不关心或无动于衷，暗示李斯是一个愚蠢的或不忠于国家的人，无论哪种情况都将面临死刑。李斯则是刚为韩非提供了令人羡慕的机会且在这次面试中亲自出面的人。在这种情况下，李斯想要杀死他并不奇怪。相反，李斯控制住自己、不去杀害韩非才显得更奇怪。在第二种情况下，演讲者将自己列入那些缺乏智慧或胆识去保证韩国掌权的人的名单中，但是他对韩国政府顾问的集体能力的看法几乎使他的同事们难以对其产生好感。
在这两种情况下，给人的印象都不是说这些论点旨在表示对任何特定听众的蔑视。而是简单地说，韩非执迷于他所熟知的战略演算的抽象顺序，并且没有意识到其他人可能有不同的优先事项。要么是那样，要么就是他习惯于发挥自己的个人魅力，以逃避被处决的事情。在整个《韩非子》中都可以看到同样鲁莽坦率的风格，这也可能是造成韩非在韩国政治生涯停滞的原因。这种态度对于后来的作家而言，要比简单的文体方法（例如使用“我”和“吾”作为不定代词）更难以模仿。
间接证据也很充分。《谓郑王》后面紧接着是《或谓韩王》一章。《或谓韩王》的作者也是匿名，但其语气和风格与苏秦很接近。该章描述了维持反秦同盟的最后努力，苏秦是其中的主要支持者。此外，虽然它不适合统计分析技术，但它结合了苏秦最喜欢的几种修辞手法。它提到了早期历史记录中的多个人物（伯夷、桀、纣），它着重于防御而不是攻击策略，并且强调了一个事实，即如果听众现在不采取行动，那么将难以挽救他们的国家。
如果本章确实是苏秦提出的论点，那么通常会跟着亲秦的张仪提出的反议。那么，为什么不简单地将《谓郑王》理解为张仪的讲话呢？问题在于，演讲者给人的独特印象是他是韩国的内部人。首先，他展示了有关侠累相国遇刺细节的轶事知识，而这在其他故事版本中都没有出现。其次，他的讲话好像与韩国的其他顾问出自同一个机构。尽管张仪有一个让其他国的精英青睐自己的天赋（例如，他在《张仪之楚贫》一章中所做的事情），但没有证据表明他在韩国做过这些。
令这一事实更加复杂的是，收集在《战国策》中的张仪的一些演讲实际上是伪造或替代品，其中提到发生在张仪死后很久的事件。而且 — — 至关重要的是 — — 其中至少有一个是由韩非撰写的（可在此处找到平行段落的比较）。
因此，我们假设《谓郑王》可能是韩非演说的最初记录。一位编者用它代替了丢失的张仪的演说，以使《战国策･韩策》与《战国策》的叙事形式相吻合，即，在每节中都包括苏秦和张仪的论证/反论证。最初的文字从公认的《韩非子》语料中丢失，因此《谓郑王》在《战国策》中仅作为匿名政客在向韩郑王演说的记录而得以保留。
但是，这不仅仅是无聊的猜测。为了验证这一假设，我们使用了余弦相似度评分算法，比较了《谓郑王》和从《战国策》和《韩非子》中摘录的10,000个字符的摘录。[1]
我们发现《谓郑王》比《战国策》的任何部分（包括《韩策》的其他章节）都更接近《韩非子》：
虽然中国古言文没有标点，但我们选择保留现代标点符号，因为它们会在某种程度上反映所用短语的长度，结构和复杂性，即使它们不是原始文本的一部分。我们还使用Ctext工具比较分析了有标点和没有标点的文本分析结果。
尽管总体相似性评分有所变化，但可以看到相同的趋势。
当以矩阵形式查看输出时，来自《战国策》的摘录显示出高度的内部一致性：当带标点符号进行分析时，相似性得分超过0.9；如果不带标点分析，则相似性得分超过0.8。《谓郑王》与《韩非子》摘录之间也存在着同样的内在一致性：
但是，并非两组简单地具有高度的内部相似性。当我们将一组中的文本与另一组中的文本进行比较时，平均相似性得分会大大下降。换句话说，这两个群体不仅内部一致，而且彼此之间也明显不同。
为了检验这不仅仅是巧合，我们还比较了《谓郑王》和其他各种经典中文文本中的10,000个字符的摘录：包括《墨子》，《史记》中的精选章节（特别是，秦始皇、李斯和吕不韦的传记），《商君书》，《荀子》，《庄子》和《孔丛子》（其本书中包括一个故事，该故事引用过《谓郑王》的语句）。
再一次，我们看到《谓郑王》和《韩非子》之间的相似度要比其他任何文献都高。
顺便一提，有趣的是，最接近的文本是《荀子》，而韩非本是荀子的弟子。在《战国策》（《客说春申君曰》）的另一章中有荀子的一节，其中将其与《韩非子》的一节合并，形成一篇论文。
作为最后的检查，我们还比较了《战国策》中其他与《谓郑王》语段长度大致相似的一些章节。再一次，《谓郑王》一章与《韩非子》显示出最高的相似度。
但是，尽管这是一种有用的探索性方法，但总频率比较并不是分析文本相似性的最复杂方法。我们目前正在与大学合作伙伴合作，以训练更准确、更强大的模型，并希望以此来改进这种分析。
然而，尽管我们可能永远无法100％地确定作者的身份，但我们可以充满信心地说，我们目前所掌握的所有统计数据表明，该《谓郑王》文本适合于《韩非子》的早期章节。或者实际上是在我们测试过的其他任何上下文中。
哪一个都很好，但是即使《谓郑王》随着时间的流逝从一个语料库过渡到了另一语料库，又怎么样呢？
因为如果确实这是《韩非子》所缺少的一章，那么它一定是在描述《韩非子》当前版本的前两章之前发生的事件。因此，它为《韩非子》前两章所描述的情节提供了历史背景，解释了韩非受命出使秦国的理由，并暗示他站在双方的角度，并没有仅仅站在任何一边。
在时代背景下，这并不难以理解。正如同一时期的其他作品所证明的那样，领导人接受敌方阵营成员的建议并不少见。这些顾问知道，他们的联盟有可能对他们不利，因此，他们试图找到一种可以使双方都受益的行动方案，而不是试图使目标违背自己的利益。拒绝它。举一个著名的例子，韩国最初派遣郑国去秦国，提议修建一条连接京河和罗河的运河，其依据是这将加强秦国的经济，但也会转移本来用于攻击韩国的资源。秦政府发现这是韩的目标，但无论提议的最初动机是什么，其经济利益都是无可辩驳的，因此继续聘请郑国参与该项目。
韩国的同盟经常动摇，韩非自己在等级制度中的影响力即使在最好的时候也是薄弱的。尽管如此，他似乎已经决定掷骰子，押注韩国愿意落后于最强大的他国势力。但是，他未能预见到李斯所要求的服从水平，对他职业的持续威胁使他陷入极端的境地。因此，韩非被摆在一个不可能的位置：无论他的任务成功还是失败，韩国（战国）都注定要失败，最终，韩国最后的疯狂挣扎也会让韩非陷入危险境地。韩国本希望得到友好的对待但受到李斯的突然威胁，因此韩国不仅没有呈现出任何诚意，而且慌了，其表现出的沉默可以轻易地理解为战争准备。显然，出使秦国是灾难性的错误，尽管它的领导层不能确切地确定如何或为什么，但到那时，比起解救一个在这个国家中从来没有特别重要的、犯了错的外交官，韩国的领导层会更加关心自己。秦因此得出结论，韩非没有履行诺言而应负有罪，应承担后果。根据他自己的戒律：「為人臣者陳而言，君以其言授之事，專以其事責其功。功當其事，事當其言則賞；功不當其事， 事不當其言則罰。」
Joseph Lim，Vincent Arlen Santoso， Jennifer Dodgson 和李丽丽对本文做出了贡献。