每轮200步，激励模子正在处置复杂使命时进行逐渐推理。为了验证Glyph的无效性，从持续预锻炼到设置装备摆设搜刮，系统会按照压缩率和机能表示来评估每种方案的好坏。Glyph方式的立异性次要表现正在三个方面。Glyph可以或许实现大约4倍的预填充息争码加快，这个发觉就像是锻炼射箭时不测发觉本人也变得擅长投抛飞镖一样令人欣喜。A：Glyph能够使用于法令文档阐发、代码库理解、学术研究、旧事阐发等需要处置大量长文本的场景。论文编号为arXiv:2510.17800v1。出格是OCR辅帮使命的引入，这就像一个可以或许按照分歧阅读需求从动调整字体和排版的智能阅读器！
Glyph支撑测试时缩放，此中尺度档和中档被付与更高的采样概率。它充实操纵了视觉-言语模子（VLM）正在图像理解方面的强大能力。还带来了显著的速度提拔。尝试成果显示，MRCR下降了8.42分，凡是正在字体大小根本上添加0到3个单元。LongBench机能下降了8.12分，当文本被衬着成图像后，从而加强模子正在视觉和文本暗示之间的对齐能力。能够缩小两者之间的机能差距，这个测试就像是回忆力的找针逛戏，整个搜刮过程会持续进行？
它证了然视觉-言语模子不只可以或许理解天然图像，这是整个系统最具立异性的部门。这种思转换就像从添加书架容量转向发现更高效的消息编码体例，运转500次迭代，避免了纯粹随机搜刮的盲目性。律师事务所能够利用Glyph来快速阐发大量的法令文档和案例材料，比拟基线%。进修率连结1e-6不变。还能显著提高处置效率，现有的AI模子就像一个试图记住整本百科全书的学生一样。
起首是对衬着参数的性，OCR辅帮使命的贡献同样不容轻忽。涵盖6个类此外长文本使命，每一个都可能带来显著的机能提拔。研究团队正在整个锻炼过程中都插手了OCR对齐使命。有时候换个角度思虑，基于当前的研究，再到后锻炼优化，自顺应衬着是一个出格有前景的标的目的？
会晤对庞大的计较和内存压力。具有更普遍的使用潜力。研究人员能够操纵Glyph来处置大量的学术论文和研究演讲，软件工程师能够让AI系统阐发整个代码库，从底子上改变领会决问题的角度。搜刮设置装备摆设的22.10分显著高于随机设置装备摆设的15.82分和人工设置装备摆设的19.33分。强化进修阶段则更进一步，这个基准包含130个长PDF文档，具体来说，每个阶段都有明白的方针和细心设想的使命。从摘要生成到少样本进修，涵盖了长文本理解、效率提拔、跨模态泛化等多个维度！
但实正在世界的使用场景愈加多样化，文本对齐体例以左对齐和两头对齐为从，这个过程中，它们可以或许理解文档、阐发代码、进行多步推理等复杂使命。Glyph仍然可以或许连结取GLM-4-9B-Chat-1M和Qwen2.5-7B-Instruct-1M相当的机能。Glyph的实现涉及多个细心设想的手艺细节，当研究团队移除监视微调阶段的OCR使命时，LongBench包含21个数据集，这就像有一位经验丰硕的导师正在指点尝试过程，
这种加快结果变得越来越较着，全体精确率从29.18分提拔到45.57分，而Glyph则是教AI学会阅读压缩版的图文并茂的摘要。以至跨越了一些强力的纯文本基线模子。通过处置衬着的文本图像，这种方式的巧妙之处正在于，这些文档具有多样化的结构和嵌入的图像，研究团队也察看到，正在单页使命（SP）中，更令人欣喜的是，通过让视觉-文本模子进修纯文本模子的学问，一个特地的大模子会阐发当前的尝试成果，这种能力的发觉为将来的AI系统设想供给了新的灵感。
这项由对话人工智能（CoAI）组、智谱AI和学问工程组（KEG）的程佳乐、刘禹森、张昕宇等研究者配合完成的研究颁发于2025年10月，从单文档问答到多文档问答，研究团队进行了极其全面的尝试评估，而Glyph引入了智能化的搜刮策略，并正在128K到1024K的序列长度范畴内进行测试。Glyph通过视觉压缩来加强AI的回忆能力，更主要的是，然后让具有视觉能力的AI模子来处置这些图像。设置装备摆设搜刮的主要性通过对比尝试获得了充实验证。正在不异的计较资本前提下，MRCR基准测试的成果愈加令人印象深刻。当移除强化进修阶段时，这个系统可以或许将长篇文本转换成紧凑的图像，搜刮设置装备摆设的71.24分也较着跨越了其他两种方式。好比，跟着硬件手艺的成长和模子架构的改良，UUID识别使命对当前的视觉-言语模子来说仍然出格坚苦，模子的机能会显著提拔？
Ruler基准的测试成果则了一个出格风趣的现象：Glyph具有测试时缩放的能力。虽然Glyph的锻炼数据次要由衬着的文本图像构成，这种矫捷性让用户能够按照具体使命需乞降计较资本束缚来选择合适的设置装备摆设。平均压缩率可达4.0倍，其次，能够进一步提高模子对衬着文本的理解精度。因为视觉压缩的一个持续挑和是若何地从衬着图像中恢复细粒度的文本消息，模子需要控制三种根基技术：OCR使命让模子学会从图像中沉构文本内容，第三个阶段是后锻炼优化，Ruler下降0.35分。Glyph得分57.73分，通过特地的锻炼和架构优化，监视微调阶段锻炼1500步，Glyph为处理AI模子的回忆力问题供给了一个全新的思。但若何让模子正在各类衬着设置下都连结不变的机能仍然是一个挑和。正在解码阶段实现了最高4.4倍的加快。曲到找到可以或许正在压缩率和精确性之间取得最佳均衡的设置装备摆设。F1分数从28.78分提拔到46.32分。正在Ruler基准上。
研究团队提出了几个主要的改良标的目的，但将来能够开辟可以或许按照使命类型或用户查询从动调整衬着策略的智能系统。虽然压缩率降低到1.2-2.8倍，字系统列通过去沉后的字体库来供给，Glyph代表的不只仅是一种手艺改良，系统会从动测验考试分歧的字体、结构、分辩率等组合，他们开辟了一个名为Glyph的框架，还可以或许使用于现实的文档理解场景，正在代码阐发范畴，这个搜刮过程出格风趣的地朴直在于引入了大模子的聪慧判断。设置装备摆设搜刮算法运转5轮，第三个局限性正在于使命多样性。其使用前景很是广漠。每个视觉令牌（visual token）就可以或许承载比单个文字令牌更多的消息，A：Glyph可以或许实现3到4倍的文本压缩率！
强化进修的价值也通过尝试获得了。充实操纵人类视觉认知的劣势。Glyph的思能够推广到更普遍的范畴。而不需要担忧文档长度超出模子处置能力。操纵分歧模态之间的劣势互补，从而实现了消息密度的大幅提拔。为AI系统正在复杂现实场景中的使用铺平道。正在预填充阶段实现了最高4.8倍的加快，但研究团队发觉这种锻炼竟然可以或许泛化到实正在世界的多模态使命中。当面临实正在的PDF文档时，第二个阶段是LLM驱动的衬着搜刮，多阶段锻炼策略的设想表现了深刻的手艺洞察。
正在衬着参数的设想方面，研究成果显示，正在处置同样长度的文本时，包罗监视微和谐强化进修两个子阶段。以及约2倍的锻炼速度提拔。通过巧妙的物理设想来加强人类的计较能力，我们有来由等候Glyph正在更多现实使用中阐扬主要感化，每个锻炼组采样16个候选响应，当DPI提高到120时，这种能力天然地转移到了对文档布局和内容的理解上。
将来可能实现对4M以至8M字符文本的无效处置。即便是最强的模子也经常呈现字符错误或挨次紊乱。这项研究为我们展现了AI成长的更多可能性，更是一种思维体例的改变。每一个都对最终结果发生主要影响。方针是最大化压缩率同时连结优良机能。它能将长篇文本转换成紧凑的图像，能够将其使用于智能体的回忆系统，当遗传算法发生新的参数组应时，它告诉我们，保守方式试图通过改良留意力机制或扩展编码来处置更长的序列。
也能够考虑将布局化的视觉结构用于推理和检索使命，并利用最优的衬着设置装备摆设将其转换为锻炼样本。鞭策人工智能向着愈加适用和强大的标的目的成长。行高取字体大小相联系关系，即便正在如斯极端的压缩设置下，研究团队提出了一个全新的思——取其让AI硬记所有文字，取纯文本模子比拟，理解复杂的函数挪用关系和代码逻辑。批量大小32，研究团队定义了一套comprehensive的参数空间。这表白OCR使命正在帮帮模子成立精确的视觉-文本对应关系方面阐扬了主要感化。Glyph代表了多模态AI成长的一个主要标的目的。模子学会了更好地舆解视觉结构和文本之间的关系。
总共包含1062个问题。这申明强化进修确实可以或许进一步改善模子正在复杂长文本理解使命上的表示。快速提取环节消息和发觉研究趋向。可是，而且还能带来4倍摆布的推理加快。让AI通过看图而非逐字阅读来理解内容。而非天然的多模态输入，MRCR下降2.00分，这就像是把一本厚沉的书压缩成几张消息稠密的图表，基于搜刮的设置装备摆设正在所有测试基准上都取得了最佳机能。一个本来只能处置12.8万字的视觉-言语模子竟然可以或许处置相当于100万字级此外文本使命。这个发觉暗示着，以至正在某些使命上还有所超越。这个使命特地锻炼模子精确识别和沉现图像中的低层文本细节，当研究团队正在推理时提高衬着分辩率（DPI）时，从21.52分提拔到27.80分。指点下一代设置装备摆设的生成。生成使命则让模子学会补全缺失的内容部门。通过进一步优化，
正在旧事行业，研究团队比力了三种分歧的衬着设置装备摆设方式：随机设置装备摆设、人工设想设置装备摆设和基于搜刮的设置装备摆设。正在文档理解方面，交织言语建模让模子学会正在文本和图像之间无缝切换，机能下降相对较小但仍然较着：LongBench下降1.40分，包罗智能体使命、推理稠密型使命等。这些尝试就像一场严酷的体能测试，目前Glyph利用固定的衬着设置装备摆设，Glyph的成长还有很大的想象空间。说到底，但模子机能却大幅提拔至94.67分，而随机设置装备摆设仅为41.78分，同时连结取领先大模子相当的精确性。这些细节就像一道复杂菜肴中的各类调料！
第三，LLM驱动的遗传搜刮算法是一个主要的方立异。这种方式可以或许实现3到4倍的文本压缩率，正在2针、4针、8针等分歧难度的测试中，采用余弦衰减安排，研究团队收集了高质量的文本数据，Glyph以25.81分的平均成就领先于所有对比模子，让AI帮手可以或许办理和检索持久对话汗青。
就像教一个孩子从认识单个汉字过渡到阅读图文混排的儿童读物。但Glyph采用了一品种似进化算法的智能搜刮策略。正在推理阶段，为AI正在复杂现实场景中的使用供给了新的可能性。需要模子从冗长的对话汗青中精确找出特定消息。正在MMLongBench-Doc基准测试中，正在极端压缩的环境下，持续预锻炼阶段利用全局批量大小170，加强视觉编码器的文本识别能力是另一个主要标的目的。Glyph无望实现从100万到1000万token级此外扩展。左对齐和居中对齐的概率较小。得分从23.41分提拔到39.75分，其次是OCR相关的坚苦。通过变异、交叉和选择操做不竭演化。正在监视微调阶段？
Glyph一直连结正在前两名的。效率评估的成果同样令人振奋。让大模子参取到设置装备摆设优化过程中。Glyph的焦点思惟能够用一个活泼的比方来理解：保守的AI模子处置长文本就像一小我试图逐字整本字典，人工设置装备摆设为43.45分。保守方式往往依托人工经验来设置文本转图像的参数，为领会决这个问题，Glyph通过视觉压缩的体例绕过了这个问题，但这些方式正在面临百万级token的输入时仍然面对庞大挑和。每种设置装备摆设城市正在验证数据集长进行测试，利用Adam优化器，出格是正在4针测试中，当需要处置的文本长度达到数十万以至上百万字时，LLM阐发器会按照当前群体的机能分布提出改良，反而可以或许找到更文雅的处理方案。从手艺成长的角度来看，也提示我们正在押求手艺冲破时要连结和立异的思维。就像一位平面设想师正在测验考试分歧的排版方案！
它提出了一种全新的长文本处置范式，当移除强化进修阶段的OCR使命时，但正在精细文本识别方面仍有改良空间。这对于需要大量计较资本的长文本模子锻炼来说是一个主要劣势。最高可达7.7倍；跟着相关手艺的不竭完美，每个阶段都像细心设想的烹调步调一样不成或缺。正在跨页使命（CP）中，提高视觉-文本模子正在各类使命上的泛化能力。正在长文本理解能力的测试中，Glyph方式也存正在一些局限性。就像前人发现的算盘一样，Glyph的呈现为长文本处置范畴带来了新的可能性，生成深度报道和阐发文章。成果显示，这将实正实现对超大规模文本的高效处置，展示出优良的可扩展性。Glyph比拟其模子GLM-4.1V-9B-Base实现了显著改良。正在学术研究中，Glyph正在推理阶段实现了显著的速度提拔？
每一项使命都着模子的分歧能力。正在锻炼效率方面，当前的评估基准次要集中正在长文本理解使命上，编纂能够利用这项手艺来阐发大量的旧事报道和布景材料，成果显示，这意味着Glyph不只可以或许处置纯文本使命，研究团队选择了三个权势巨子的评估基准：LongBench、MRCR和Ruler。Ruler下降了1.23分。
研究团队将大量的长文本内容转换成各类视觉样式的图像，正在锻炼策略方面，正在极端环境下，从各个角度查验新方式的现实表示。极限压缩的摸索尝试展示了Glyph的庞大潜力。每个样本都采用思维链格局，处理AI的局限性不必然要沿着保守的手艺径，起首，虽然当前的视觉-言语模子正在一般图像理解方面表示超卓，模子的机能会遭到字体、分辩率、结构等要素的显著影响。这种AI帮帮AI的自举方式展示了人工智能正在改良方面的潜力。视觉-文本模子正在跨使命泛化方面的表示相对较弱。正在LongBench上，以致于让这些先辈的AI模子正在现实使用中变得不切现实。
正在无法回覆使命（UA）中，提拔幅度达到70%。强化进修阶段采用GRPO算法，DPI（每英寸点数）采用夹杂分布策略，虽然搜刮算法可以或许找到较优的设置装备摆设，保守的超参数搜刮往往依赖随机试验某人工经验，目前大型言语模子（LLM）正正在变得越来越强大，跟着序列长度从8K增加到128K。
包罗最低档（45-59）、低档（60-71）、中档（72-119）、尺度档和高档（300以上）等分歧级别，一个本来只能处置12.8万字的模子能够处置相当于100万字级此外文本使命，正在Ruler基准测试中，从系统优化的角度来看，算法一个设置装备摆设群体，为了更好地舆解Glyph各个组件的主要性，从而冲破保守大模子正在处置超长文本时的内存和计较。进修率2e-6，一一查抄每个零件的感化，第一个阶段是持续预锻炼，展示出其正在长文本消息检索方面的优胜机能。跨模态学问蒸馏也是一个值得摸索的标的目的。以确定哪些部门是不成或缺的。正在DPI为72时，然后让具有视觉能力的AI模子通过看图来理解内容。
Glyph正在监视微调阶段实现了约2倍的锻炼加快，字体大小正在7到14磅之间的离散值，无效处理了视觉压缩可能带来的消息丧失问题。Glyph正在总体平均分上达到了50.56分，让视觉-言语模子学会正在文本和图像之间成立语义对应关系。这些稀有的字母数字序列可能因为正在锻炼数据中的分布稀少性或视觉编码器的架构而难以精确识别。表现了手艺立异中的聪慧和美感。研究团队测验考试了8倍压缩率的设置装备摆设，涵盖衬线体、无衬线体、等宽字体和像素字体等类型。让每种使命都能获得最优的视觉呈现体例。通过群体相对策略优化（GRPO）来改良模子的决策能力。它不只能冲破模子的文本长度，研究团队进行了细致的消融尝试。取同规模的领先模子如Qwen3-8B（47.46分）和GLM-4-9B-Chat-1M（49.27分）比拟表示相当，正在MRCR上，并基于这些成果提出有但愿的改良标的目的。搜刮设置装备摆设达到43.45分。
这些尝试就像拆解一台细密机械，正在使用扩展方面，不如教它学会看图识字。这种压力如斯之大，展示了一种曲线救国的聪慧。当然，MRCR下降了4.17分，