humaneval

[codeAlwaysPass]

请问可以提供测试humaneval的相关方法吗，现在想要进行测试但是完全不知道该如何下手，generate_repo返回的是一个Projectrepo类型不能被转换成jsonl，希望作者能加上去，谢谢。

[iorisa]

ProjectRepo对应的是一个文件夹路径。如果要转JSON，本质上是将一个文件夹转JSON。
你希望转成什么样的JSON？
@codeAlwaysPass

[codeAlwaysPass]

我希望转成一个可以让humaneval评估的jsonl文件，目前我是自己写python脚本把文件夹里面的代码写入jsonl，但可能是由于我的代码问题这样得到的jsonl获得的准确率只有0.27。