购物车网站设计深圳百度关键字优化
一、提示语工程的认知基石:从ICL到CoT的范式革新
(一)上下文学习(ICL)的本质突破
上下文学习(In-Context Learning, ICL)作为提示语工程的核心机制,颠覆了传统机器学习的训练范式。它允许模型通过提示语中的少量示例(Few-Shot)甚至零示例(Zero-Shot)理解任务,其核心在于利用预训练模型的“隐性知识”实现快速泛化。
1. 零样本与少样本学习的双轨机制
- 零样本学习:依赖模型的先验知识,通过纯自然语言指令激活相关能力。例如,向GPT-4输入“将这段中文翻译成法语”,模型可直接调用内置的翻译能力,无需任何示例。实验表明,GPT-4在零样本机器翻译任务的BLEU分数达82.1,接近微调模型水平。
- 少样本学习:通过3-5个示例引导模型捕捉任务模式。如在情感分类任务中,提供“电影很棒!→ 积极\n剧情拖沓→消极”等示例后,LLaMA-2 70B的准确率从68%提升至89%。其数学本质是在提示空间中构建任务条件概率分布:
P ( y ∣ x , prompts ) ≈ ∏ i = 1 k P ( y i ∣ x i , prompts ) P(y|x, \text{prompts}) \approx \prod_{i=1}^k P(y_i|x_i, \text{prompts}) P(y∣x,prompts)≈i=1∏kP(yi∣xi,prompts)