本论文研究了大语言模型(LLM),结合电力行业的生命周期评估(LCA)领域的英文文献,对
这些文献进行解析。通过处理,构建了一个完整的向量知识库,能够直接被大语言模型调用,极大
程度地增强了大语言模型在特定领域的可信度和实用性。
项目的关键成果之一是建立了一个大模型能直接调用的向量知识库,构成了一个智能的文献处
理系统。引入了检索增强生成(RAG)技术可以显著提升大语言模型在专业领域的表现。它可以改
善信息检索的精度和效率,使得模型在生成文本时能够更好地借鉴外部知识和信息,从而产生更准
确、更有用的内容。该文献处理系统经过了实际测试,并以 Chatbot 模式展现了良好的应用效果。
而后,通过不断对系统进行性能评估和用户反馈,进行了多次优化,以确保其稳健性和可靠性。
尽管在数据预处理和模型优化方面面临挑战,但本研究证明了 LLM 在专业领域应用中的潜力。
无论是医疗、法律还是其他任何需要处理和分析大量文献的领域,都可以借鉴本研究的成果,构建
类似的向量知识库和智能处理系统。这将极大地促进跨领域的知识融合和技术创新,推动各行业的
智能化发展。
1 研究背景
在信息技术和网络技术的快速发展下,共享信息资源的规模也在迅速增长,人们在工作和生活
中使用各种多样的信息资源,包括语音、短视频、聊天信息等。然而,日常生活中更多的信息以自
由形式存在,包括文本文档、图像、音视频、社交媒体帖子以及电子邮件等。这些不同于以往明确
定义和固定结构的数据,被称为非结构化数据,通常不容易用表格或数据库的形式来组织和存储。
这种数据的形式和内容各异,包括文本、图像、音频、视频等形式。大数据技术的兴起,越来越多
的非结构化数据被记录和存储,例如传感器数据、日志文件、社交媒体数据等。这些数据的规模庞
大、类型多样,传统的数据库系统已经不能很好地处理,需要新的处理和分析技术来应对。而人工
智能和机器学习技术的发展,处理非结构化数据的能力得到了进一步提升。自然语言处理、计算机
视觉等技术使得计算机能够更好地理解和分析文本、图像等非结构化数据,从中提取有用的信息和
知识。
文献则是科技研究者获取和积累知识的重要来源之一。文献中的理论研究成果和发现为科技研
究提供了重要的理论支撑和研究基础,有助于研究者在实践中应用和推广。而英文作为国际通用语
言,在全球范围内广泛应用,英文文献成为科研成果在不同国家和地区之间进行交流和传播的重要
工具。许多国际性的学术期刊和会议都采用英文作为发表和交流的语言,促进了全球学术界的合作
和交流。
PDF 是英文文献最为常见的格式之一。PDF 格式具有高度的可移植性和可读性,保留了原文档
的格式和字体,且无论何时何地,都可以使用各种设备查看和打印,因此成为了英文文献的常规格
式之一。传统的 PDF 处理方法,一般都是通过人工的方式来认知和提取。首先通过人工查阅的方式
对论文的必要信息进行阅读,然后辨识出所需的有效信息并进行提取,再把这些信息标记在论文资
源上供人们定位和使用。这种处理方法对于论文有效信息提取的工作人员的专业知识掌握要求较
高,对数量规模较小的论文集的处理比较有效。但人工认知方式的准确率和效率会随着论文集规模
的上升而快速下降。由于传统 PDF 论文有效信息处理方法存在如上的局限,怎样高效准确的处理论
文的有效信息,以便人们能在海量的论文资源中找到所需的信息,成为亟需解决的问题。
而自然语言处理工具可以对文本进行处理、分析和提取,从而帮助科研工作者提取和解析海量
PDF 文献中的信息。这些工具可以基于文本的语义、关键词等进行文献内容的分析和提取,帮助你
快速获取他们需要的信息。
自然语言模型的演变经历了从循环神经网络(RNN)到长短期记忆网络(LSTM),再到卷积神经
网络(CNN)的过程。传统的 RNN 存在长期依赖问题,而 LSTM 通过引入门控机制来解决这一问题,
使其更适用于处理长序列数据。而卷积神经网络(CNN),最初用于图像处理,后来也被引入到自然
语言处理领域,通过卷积和池化操作可以有效地捕捉文本中的局部特征。因此,随着任务需求的变
化,研究者选择合适的模型进行应用和优化,以适应不同的自然语言处理场景和任务要求。
尽管循环神经网络(RNN)、长短期记忆网络(LSTM)和卷积神经网络(CNN)在自然语言处理
任务中取得了成功,但它们有一些共同的缺点。这些缺点包括参数量有限、处理长距离依赖能力不
足、计算效率较低以及固定长度输入限制。参数量的限制可能阻碍了对复杂文本信息的建模,处理
长序列时信息传递可能不够顺畅,训练时间和计算成本也较高,而固定长度输入的要求可能导致信
息丢失或冗余。这些限制限制了它们在处理复杂文本任务和大语料库中的表现和应用范围。
大语言模型(LLM)在传统的 RNN、LSTM 和 CNN 基础上进行了多方面的改进与升级,包括增大
模型规模、引入自注意力机制、采用 Transformer 架构、扩大训练语料库以及利用多任务学习和迁
移学习等方法。这些改变使得大语言模型能够更好地捕捉文本中的语义和语法信息,处理长文本任
务,提高训练效率,拓展泛化能力,并在自然语言处理领域取得了显著的进步和成就。
电力行业是社会经济发展的基础能源,具有基础性、公共性、稳定性等特点。在电力行业的研
究中,需要关注电力转型、可持续发展、智能电网、新能源集成、电力市场和能源交易、电力系统
安全与稳定性等多领域课题。这些课题的研究对全球能源结构转型和节能减排战略的实施具有重要
意义,使得电力供应更加智能化、高效化、稳定化,能更好地满足社会的用电需求与经济的发展要
求。
电力行业的文献具有技术性、实践性、政策性、跨学科性和数据性等多个特点。文献中包含了
大量专业的技术术语和技术细节,并且与实际工程技术紧密相关。同时,政策法规、政策导向等方
面的内容也是文献中常见的一部分。由于电力行业的复杂性和多学科交叉性,电力行业的研究需要
广泛涉及多个学科知识并结合大量的数据进行分析和建模。这些文献的研究成果对于电力行业的发
展和实践具有重要的指导意义,有助于推动电力行业的高效安全稳定发展。
LCA(Life Cycle Assessment),即生命周期评价。生命周期评价是一种系统性的方法,用于
评估产品、服务或活动的整个生命周期中与环境和资源相关的影响,框架如图 1.1 所示。生命周期
评价已经成为评估和比较不同产品或活动环境绩效的重要工具,也是推动可持续生产和消费的重要
手段之一。