关于提升数据集测试有效性的建议

[wsn555]

我们观察到目前longbench的数据集的多数任务的“答案”都集中在末尾，这导致许多方法通过直接舍弃中间的大量文本（例如streamllm）也能取得很好的结果，不利于综合合理的评价各种方法。可以尝试随机地在一些样本的末尾处（question 前面）插入一些和question无关的context，改变“答案”的位置，从而评测更加可靠。

[bys0318]

谢谢你的建议。longbench中synthetic tasks是这样随机构造的，即我们把evidence的段落放在context的随机位置。在其他任务中，为了保证和真实场景分布一致，我们避免用这种人造方式改变原先的context。这种答案分布的bias在真实场景中也往往是存在的——例如文章的开头、末尾一般更加重要。

[wsn555]

感谢回复，但是我试着只使用最末尾的1k token进行推理，精度和使用全量数据接近，这不合理啊。

[wsn555]

哦哦 我明白你的意思了 你的意思是 人类语言天然的就存在evidence偏向于在首尾？ 好吧，这样就难以区分哪些是真正有效的策略了。

[YouhuiBai]

In our practical testing process, we’ve encountered a similar issue.
We’ve noticed that various methods claiming to compress the sequence dimensions of KV caches (such as different heads drop different part of the sequence) and approaches for handling long sequence inference (like streamLLM) perform well on LongBench. This is because they achieve high scores by retaining only a small portion of the text at the end of the sequence. However, tasks like ‘finding a needle in a haystack’ can more accurately evaluate a model’s capabilities because they hide the ‘needle’ in different positions. Unfortunately, ‘finding a needle in a haystack’ doesn’t cover all aspects comprehensively. If possible, I hope the authors can enhance the LongBench mechanism.

[bys0318]

Thanks for your suggestion. We will consider updating LongBench.

[YueChenkkk]

感谢回复，但是我试着只使用最末尾的1k token进行推理，精度和使用全量数据接近，这不合理啊。

很好奇哪些task上会有这种情况，可以说一下嘛

[wsn555]

例如triviaqa，samsum，lcc等，你如果只保留末尾的四分之一的文本，和开头的prompt，你几乎能得到一样的分值。