企业官网建设流程全解析

文章主要内容和创新点

主要内容

本文提出了一种名为LLM4ES的新型框架，旨在利用预训练大型语言模型（LLMs）从事件序列中提取高质量的用户嵌入。其核心流程包括：

1. 将结构化事件序列（如金融交易、医疗记录等）转换为文本表示；
2. 通过文本富集技术（利用预训练LLM将事件序列重写为多样化格式和风格的文本）增强数据语义；
3. 在富集后的文本上微调LLM（以next-token预测为目标），并通过平均模型最后8层的隐藏状态提取用户嵌入；
4. 在金融（如用户流失、性别、年龄分类）和非金融（如电影偏好的性别/年龄预测、客户终身价值预测）领域验证，结果显示LLM4ES在用户分类任务中性能优于现有方法，且与其他方法集成时表现更优。

创新点

1. 提出LLM4ES框架：通过将事件序列转换为富集文本并微调LLM，提取通用用户嵌入，在金融和非金融数据集上较现有方法实现高达7%的ROC-AUC相对提升，且与CoLES等方法集成时性能进一步提升（如年龄预测任务提升3.3%）。
2. 引入文本富集技术：针对低变异性领域（事件序列数据往往格式单一），利用LLM将事件序列重写为多样化文本格式，解决LLM在结构化数据上的分布偏移问题，较原始序列化数据训练实现1.8%的ROC-AUC相对提升。

翻译部分

摘要

本文提出了LLM4ES，这是一种新颖的框架，它利用预训练的大型语言模型（LLMs）从事件