【文件属性】：
文件名称：gpt-3：GPT-3：语言模型鲜为人知
文件大小：2.16MB
文件格式：ZIP
更新时间：2021-02-26 05:38:17
GPT-3：语言模型不多见
通过对大量文本进行预培训，然后对特定任务进行微调，最近的工作证明了在许多NLP任务和基准方面的巨大收获。 尽管在结构上通常与任务无关，但此方法仍需要成千上万个示例的特定于任务的微调数据集。 相比之下，人类通常只能通过几个示例或简单的指令来执行新的语言任务-当前的NLP系统在很大程度上仍难以做到这一点。 在这里，我们表明，扩展语言模型可以极大地提高与任务无关的性能，很少出现问题，有时甚至可以通过现有的最新微调方法达到竞争力。 具体来说，我们训练了GPT-3（一种具有1750亿个参数的自回归语言模型，比以前的任何非稀疏语言模型多10倍），并在很少的设置下测试其性能。 对于所有任务，应用GPT-3时不会进行任何梯度更新或微调，而仅通过与模型的文本交互指定任务和少量演示即可。 GPT-3在许多NLP数据集上均具有出色的性能，包括翻译，问题解答和完形填空任务，以及一些需要
【文件预览】：
gpt-3-master
----dataset_statistics()
--------languages_by_document_count.csv(2KB)
--------languages_by_character_count.csv(3KB)
--------languages_by_word_count.csv(3KB)
--------README.md(770B)
----overlap_frequency.md(9KB)
----model-card.md(9KB)
----README.md(3KB)
----175b_samples.jsonl(3.9MB)
----data()
--------single_digit_three_ops.jsonl(136KB)
--------reversed_words.jsonl.gz(90KB)
--------two_digit_multiplication.jsonl(139KB)
--------five_digit_subtraction.jsonl(154KB)
--------six_digit_addition.jsonl(159KB)
--------two_digit_subtraction.jsonl(137KB)
--------five_digit_addition.jsonl(153KB)
--------three_digit_addition.jsonl(141KB)
--------random_insertion_in_word.jsonl.gz(140KB)
--------two_digit_addition.jsonl(135KB)
--------four_digit_addition.jsonl(147KB)
--------sum_of_digits.jsonl(193KB)
--------mid_word_1_anagrams.jsonl.gz(104KB)
--------four_digit_subtraction.jsonl(149KB)
--------cycle_letters_in_word.jsonl.gz(96KB)
--------six_digit_subtraction.jsonl(160KB)
--------mid_word_2_anagrams.jsonl.gz(107KB)
--------three_digit_subtraction.jsonl(143KB)