TIME-LLM-BACKDOOR
输入“/”快速插入内容
TIME-LLM-BACKDOOR
TIME-LLM-BACKDOOR
用户2511用户25112024年5月1日修改
LLMs for Time Series
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models
1.
研究背景/动机：LLM用于NLP/CV领域都表现很好，通用性很强，在zero/few-shot任务上都表现不错，但是在ST领域模型一般都比较有针对性，没有通用的。而且研究表明LLM具有鲁棒的模式识别和复杂token序列的理解能力。
2.
创新点：在时序预测领域，将LLM结合进来比较具有首创性，而且为了避免改变原LLM的参数，同时也是为了避免昂贵的训练，这里是轻量级的方法，只加了轻量级的调节层，然后其可以在很少的样本上微调后即可适用于当前任务。我觉得主要创新点是其中这个时序特征的reprogramming，蛮新颖且有可解释性。
3.
主要方法：
上为架构图，其中LLM参数不动是Frozen的，在前后分别加了一个可训练的层（Patch Reprogramming和Output Projection）
这里采用通道独立策略。
Input Embedding：如上图序号1和序号2所示，时间序列先通过RevIN的归一化操作，然后分patch进行embedding，具体数据格式可见：
Patch Reprogramming：现在经过前面的处理后，数据仍是时序数据，所以要转成文本给LLM，需要将特征进行对齐，这里采用的是常用的对齐不同模态的cross-attention，但由于词汇量太大，而且很多没用，所以做了一个linear层从V个词中抽取了V'个prototypes，这样就少了很多，然后再在这些prototypes上做cross-attention就行了。这部分可以参照下图架构：
Prompt-as-Prefix：把这个时间序列数据集的一些先验信息，以自然语言的方式，作为前缀prompt，和对齐后的时序特征拼接喂给LLM，可以参照总体架构图的序号4。给出一个可能的prompt的例子：