把段落词长画成像素图:明确分词、码点和可核对导出
用一段中英混排文字实测按空白分词和按 Unicode 码点两种像素映射,检查行宽、亮度上限、PNG 和对应 CSV。
![]()
一段文字怎样变成可检查的像素图?我把一个单元放进网格的规则拆开写在工具里:先决定什么是单元,再数它有多少个 Unicode 码点,最后把长度折叠到有限的亮度档。这样得到的并不是一张由提示词生成的图,也不会承诺还原人像;它是一份可以把每一格追回原文的文本编码。
这篇文章用词长像素图里的默认样本走一遍。输入、预览、PNG 和 CSV 都留在浏览器内;下面的图片和文件是同一组本地运行留下的可复现快照。
Small texts make visible maps.
中文词和English words share one stated rule.
![]()
英文界面在无效编辑后保留已有预览;“Restore this preview’s inputs”会恢复该结果对应的原文和参数,不会重新绘制或替换结果 ID。
先选单元,图案才有明确含义
默认的“按空白分词”会把原文按 JavaScript 的 /\s+/u 拆开,连续空白只作分隔。它不会把空格或换行画成方格。这个样本共有 71 个 Unicode 码点,其中 10 个是分隔空白,因此得到 11 个单元:
| 序号 | 单元 | 码点长度 | 5 档亮度 |
|---|---|---|---|
| 1 | Small | 5 | 5 |
| 2 | texts | 5 | 5 |
| 3 | make | 4 | 4 |
| 4 | visible | 7 | 5 |
| 5 | maps. | 5 | 5 |
| 6 | 中文词和English | 11 | 5 |
| 7–11 | words 到 rule. | 3–6 | 3–5 |
亮度计算是 min(码点长度, 亮度档数)。所以 visible 的 7 和中英混排单元的 11 都落进第 5 档;这不是丢失原始长度,因为 CSV 仍会保留每个单元的完整码点长度和序号。默认 16 列的 11 个单元只占第一行,画布为 16 px 单元大小。可以下载这组默认 PNG和对应 CSV复查。
“按 Unicode 码点”做的是另一件事。它通过 Array.from(text) 逐个取码点,跳过空白后,这一段会变成 61 个一格长的单元。组合附加符和零宽连接符也各自是一格;它不是按用户看见的“字形簇”切分。Unicode UAX #29专门定义了字素簇等边界,而这里故意没有套用那套边界。JavaScript 的 Array.from() 文档也说明它会从字符串的可迭代序列取得元素;工具没有把 UTF-16 的 String#length 叫做字符数。
这个选择会大幅改变图案:按词时,单元数受空格影响;按码点时,汉字、英文字母、标点、组合附加符和连接符都有各自的位置。两种图都可以有用,前提是导出的规则写清楚。
网格宽度和亮度档是可见的两个旋钮
在默认结果后,把每行单元数从 16 改为 10,再把亮度档从 5 改为 3。原有预览不会消失,面板会标出它与当前编辑内容不一致,两个下载按钮也改成“下载保留的”版本。可以点“恢复这份预览的输入与设置”把原文、规则、行宽和亮度档带回该预览;这个动作不重新绘制,也不改变原结果 ID。重新生成才会提交新网格:同样的 11 个词按 10 列排成两行,所有长度 3 或以上的词收进第 3 档。
我把这一对调整后的产物也保留下来:10 列、3 档 PNG和10 列、3 档 CSV。再切换到码点规则、保留 10 列和 3 档,就能得到码点 PNG和码点 CSV。后一份 CSV 的长度列都为 1,但行列与图中的每一格仍一一对应。
CSV 的每一行重复了结果 ID、规则、列数、亮度档、原文码点数、单元总数、序号、行、列、单元、码点序列、码点长度、亮度档和颜色。这样即使把 CSV 单独打开,也能知道它描述的是哪一张网格。结果 ID 的短摘要计算会纳入原始文本和设置;例如这次样本多加一个空格,即使空白分词后的单元相同,计算出的 ID 也会改变。
JavaScript 的字符类转义说明是这里 /\s/ 规则的公开参考。它能帮助检查某个看不见的空白为什么把一段文本拆成两个单元;工具的 CSV 则提供本次输入实际发生的拆分。
上限保护的是画布,不是映射的可追溯性
首版限制原始输入最多 20,000 个 Unicode 码点。映射表在页面中只展示前 200 条,下载的 CSV 仍包含所有单元,避免把很长的表格塞进页面却把数据藏起来。
画布优先用 16 px 单元,但会为高网格降低单元大小,使每条边不超过 8192 px,位图不超过 1,600 万像素。最小行宽 8、最大输入为 20,000 个码点时,最多会有 2,500 行;每个单元仍会画出,只是会缩到较小像素尺寸,并放在自己的可滚动框中。页面外不需要横向拖着整篇文章来查看它。
空白文本和超过上限的文本只显示行内错误,已经存在的结果、PNG 和 CSV 继续留在下面。绘制时会分批让出浏览器帧;在接近上限的运行中按“取消生成”,工具会回到上一份有效预览。它不保存输入、结果或文件名到网址、本地存储或分析事件,也不会把文本送到服务器。静态页面资源的加载与这次文本计算是两件事。
用它检查一段文本,而不是把它当作图像语义模型
这个编码只看明确的单元长度。maps. 因为句点而有 5 个码点;把句点删掉,它会变成 4,并可能改变一格亮度。中文、英文和 emoji 都能进入同一规则,但图案不会理解句子的主题,也不会从词长推导出一个指定的人脸或物体。
如果目标是比较标点、换行、词与码点如何改变排列,先用很短的自有段落生成一版,再调行宽或亮度档,最后用 CSV 查回异常格子。需要按自然语言词、字素簇或语义权重切分时,应先换一条相应的规则;不要把这个工具的“按空白”或“按码点”标签解释成那些更复杂的分析。
PNG 由画布在本机转换而来,HTMLCanvasElement.toBlob()是浏览器导出二进制图像的接口说明。这里的下载是一份检查快照,不是未来导入并恢复会话的格式;刷新或关闭页面后,内存中的最后结果不会被保留。