企业官网建设流程全解析

简介：本资源是一份面向人工智能方向初学者与课程设计学生的中文医学文本实体关系抽取实践项目，聚焦医疗NLP典型任务，适用于期末大作业、课程设计或入门级科研实践。压缩包共13个文件，含12个Python源码文件与1个说明文档，涵盖模型构建（models.py）、关系抽取主流程（run_relation.py）、API服务封装（flask_server.py、relation_api.py）、评估模块（run_eval.py）及工具函数（some_function.py、data_structures.py等），结构清晰、职责分明；整体仅28KB，轻量易部署。已有514人学习下载，代码完整且经实测可直接运行，无需额外调试，配套使用说明.txt提供关键配置与执行指引，特别适合缺乏医疗领域NLP实战经验的学生快速上手、理解从数据预处理到关系预测的全流程实现逻辑。

1. 中文医学文本实体关系抽取不是“套模型就能跑”：它卡在字词边界、术语歧义和标注不一致这三道坎上

你手头这份基于 Python 实现的中文医学文本实体关系抽取源码，不是那种 pip install 就能一键 demo 的玩具项目。它是一套完整落地链路：从原始病历/文献片段中精准识别“高血压”“阿司匹林”“心肌梗死”这类实体，再判断它们之间是否存在“药物-适应症”“疾病-并发症”“检查-异常值”等临床语义关系。我去年带学生做课程设计时，用它跑真实电子病历数据，第一轮 F1 值只有 0.42——不是模型不行，而是中文医学文本太“拧巴”：一个“阴性”可能指检验结果（阴性）、病理描述（阴性表达），也可能被误标为否定词；“左心室肥厚”是单个实体还是“左心室”+“肥厚”两个？不同医生标注习惯差异极大。这份源码的价值，正在于它没绕开这些血泪坑，而是用分层建模（先实体后关系）、规则兜底（some_function.py里藏了 17 条临床术语校验逻辑）、轻量 API（flask_server.py可直接对接 HIS 系统）把工程细节全摊开。适合需要交期末大作业、做课程设计、或想真正理解 NLP 在医疗场景怎么“接地气”的 Python 初学者和中级开发者——它不教你调参玄学，只教你怎么让模型在真实病历里少翻车。

2. 搭建环境与数据准备：避开 PyTorch 版本陷阱和中文分词断句雷区

2.1 环境依赖必须锁定版本：为什么requirements.txt里没写却要手动加

项目正文没提依赖文件，但实测发现models.py用到了torch.nn.TransformerEncoderLayer的batch_first=True参数，该参数在 PyTorch 1.9+ 才稳定支持。而utils.py中的jieba.lcut()调用依赖jieba的精确模式，旧版 jieba 对医学术语切分极差（比如把“冠状动脉造影”切成“冠状/动脉/造影”，漏掉关键修饰关系）。因此必须显式安装：

pip install torch==1.12.1+cpu torchvision==0.13.1+cpu -f https://download.pytorch.org/whl/torch_stable.html pip install jieba==0.42.1 numpy==1.21.6 scikit-learn==1.0.2 flask==2.0.3

提示：+cpu后缀是关键。若你有 GPU，把+cpu换成+cu113（对应 CUDA 11.3），但务必确认nvidia-smi显示驱动版本 ≥465.19，否则torch.cuda.is_available()会返回 False 导致run_entity.py直接退出。

2.2 数据结构必须按data_structures.py定义：别用自己写的 JSON 格式

项目里所有脚本都依赖data_structures.py中的MedicalTextSample类。它强制要求输入数据是如下结构的 JSONL 文件（每行一个样本）：

{ "text": "患者男，65岁，因胸痛3小时入院，心电图示ST段抬高，诊断为急性前壁心肌梗死。", "entities": [ {"start": 4, "end": 6, "type": "PERSON_AGE", "text": "65岁"}, {"start": 13, "end": 15, "type": "SYMPTOM", "text": "胸痛"}, {"start": 28, "end": 32, "type": "EXAMINATION", "text": "心电图"}, {"start": 40, "end": 48, "type": "DISEASE", "text": "急性前壁心肌梗死"} ], "relations": [ {"head": 0, "tail": 1, "type": "AGE_OF"}, {"head": 2, "tail": 3, "type": "EXAMINATION_FOR"} ] }

注意三个硬约束：

• start/end是字符级偏移（非字节），且text[start:end]必须严格等于text字段中对应子串；
• entities列表索引即relations中head/tail的 ID，不能跳号或重复；
• relations中type必须是const.py里预定义的 12 种关系之一（如DRUG_FOR_DISEASE,DISEASE_HAS_SYMPTOM），多一个字母都会在run_relation.py的validate_relations()中报错。

2.3 预训练词向量必须用shared/下的medical_char_emb.npz：别替换成通用词向量

models.py的CharEmbedding层加载的是shared/medical_char_emb.npz，这是一个 50 维的中文字符级 embedding，由 200 万份出院小结训练而来。我试过用gensim加载zhwiki_2019.wordvectors替换它，F1 值暴跌 37%——因为通用语料里“梗死”“栓塞”“代偿”等词向量稀疏，而医疗专用词向量对“心肌”“脑干”“肾小管”等复合词有强聚类。该文件解压后约 12MB，若下载不全（常见于网盘限速），np.load()会抛出ValueError: Cannot load file containing pickled data when allow_pickle=False。解决方法：用numpy1.16.6 以上版本重载：

import numpy as np # 替换 models.py 第 45 行：emb_data = np.load('shared/medical_char_emb.npz') emb_data = np.load('shared/medical_char_emb.npz', allow_pickle=True)

3. 模型训练与推理：实体识别用 BiLSTM-CRF，关系分类用依存路径增强

3.1 实体识别模块run_entity.py：BiLSTM-CRF 的 CRF 层必须用torchcrf而非pytorch-crf

run_entity.py默认使用torchcrf库实现 CRF 解码，但pip install torchcrf会装错版本（0.1.2 不兼容 PyTorch 1.12）。正确命令是：

pip install git+https://github.com/kmkurn/pytorch-crf.git@v0.7.2

训练时关键参数在run_entity.py第 89 行：

parser.add_argument('--lr', type=float, default=0.001) # 学习率不能 >0.002，否则 CRF loss 爆梯度 parser.add_argument('--dropout', type=float, default=0.5) # Dropout 必须 ≥0.4，否则过拟合严重 parser.add_argument('--max_len', type=int, default=128) # 输入文本截断长度，超长病历需分句处理

注意：max_len=128是硬限制。若原文本超长（如手术记录），utils.py的split_long_text()函数会按标点切分，但必须保证切分后每段首尾无跨句实体（如“患者于2023年1月1日入院，诊断为…”不能在“入院，”处切开，否则“2023年1月1日”实体丢失）。我一般手动加#SPLIT#标记在逗号后，再用正则re.split(r'，#SPLIT#', text)控制切分点。

3.2 关系抽取模块run_relation.py：依存路径特征如何注入 BERT 输出

run_relation.py的核心创新在models.py的RelationClassifier类。它不直接用 BERT [CLS] 向量，而是：

1. 先用spacy_zh（已内置在shared/）解析句子依存树；
2. 提取两个实体间的最短依存路径（如“阿司匹林 → 主谓关系 → 用于 → 修饰关系 → 治疗 → 动宾关系 → 高血压”）；
3. 将路径上每个词的 BERT token embedding 平均，拼接到两实体 span embedding 后。

关键代码在models.py第 217 行：

# path_emb 是依存路径词向量平均值，shape=(768,) # head_emb, tail_emb 是实体 span 的 BERT embedding，shape=(768,) combined = torch.cat([head_emb, tail_emb, path_emb], dim=-1) # shape=(2304,)

若你本地没装spacy_zh，运行会卡在utils.py的get_dependency_path()。解决方案：

python -m spacy download zh_core_web_sm # 然后修改 utils.py 第 12 行：nlp = spacy.load("zh_core_web_sm")

3.3 API 服务启动：flask_server.py的并发瓶颈与内存泄漏修复

flask_server.py默认用单线程Flask.run()，但实际部署时需支持并发请求。必须替换为gunicorn：

pip install gunicorn gunicorn -w 4 -b 0.0.0.0:5000 --timeout 120 flask_server:app

但实测发现relation_api.py的predict_relation()函数存在内存泄漏：每次预测后torch.cuda.empty_cache()未调用，GPU 显存持续增长。修复方法是在relation_api.py第 63 行return result前插入：

if torch.cuda.is_available(): torch.cuda.empty_cache()

同时，flask_server.py的/predict接口要求 POST 数据格式为：

{"text": "患者服用阿司匹林治疗高血压。", "entities": [{"text": "阿司匹林", "start": 4, "end": 8}, {"text": "高血压", "start": 12, "end": 15}]}

注意：entities里只需传待判断关系的两个实体，无需全部实体——这是为降低 API 响应延迟做的剪枝设计。

4. 避坑：五个让新手当场崩溃的典型问题及根因修复

4.1 现象：run_entity.py报错KeyError: 'B-PERSON_AGE'，但const.py明明定义了该标签

原因：const.py中LABEL_MAP的键是B-PERSON_AGE，但你的训练数据 JSONL 里entities.type写成了PERSON_AGE（漏了 BIO 前缀）。CRF 层要求严格 BIO 标注。
解决：用utils.py的convert_to_bio()函数批量转换：

from utils import convert_to_bio # 读取原始数据列表 raw_data，每项含 entities 字段 bio_data = [convert_to_bio(sample) for sample in raw_data]

4.2 现象：run_relation.py训练时loss为nan，且grad_norm突然飙升到inf

原因：models.py的RelationClassifier中nn.CrossEntropyLoss()默认reduction='mean'，当 batch 中某样本无有效关系对（即relations为空）时，loss 计算除零。
解决：在run_relation.py第 156 行loss.backward()前加保护：

if not torch.isnan(loss) and loss > 0: loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step()

4.3 现象：flask_server.py启动后，第一次请求正常，第二次返回空 JSON

原因：relation_api.py的model是全局变量，但 Flask 多进程下每个 worker 进程需独立加载模型。默认app初始化时只在一个进程加载，其他进程访问model为None。
解决：在flask_server.py的predict()函数内加懒加载：

if 'relation_model' not in globals(): global relation_model relation_model = load_relation_model() # 从 models.py 导入

4.4 现象：some_function.py的check_drug_dose()规则总不触发

原因：该函数依赖shared/drug_dose_rules.json，但文件路径写死为../shared/drug_dose_rules.json，而你的项目根目录是src/，导致路径错位。
解决：在some_function.py第 8 行改为：

RULES_PATH = os.path.join(os.path.dirname(__file__), '..', 'shared', 'drug_dose_rules.json')

4.5 现象：run_eval.py输出的Precision极高（0.98），但Recall仅 0.32

原因：评估脚本默认只计算exact_match（实体字符串完全相等），但中文医学文本存在大量同义表达（如“心梗”vs“心肌梗死”、“HBP”vs“高血压”）。run_eval.py的evaluate_entities()函数未启用模糊匹配。
解决：在run_eval.py第 112 行if pred_ent['text'] == gold_ent['text']:改为：

from difflib import SequenceMatcher similarity = SequenceMatcher(None, pred_ent['text'], gold_ent['text']).ratio() if similarity >= 0.85: # 阈值可调 tp += 1

5. 模型效果验证与业务落地技巧：用真实病历片段做三步压力测试

5.1 第一步：构造“对抗样本”验证实体边界鲁棒性

不要只用训练集里的标准句式。我常从医院信息科要三类真实病历片段做压力测试：

运行run_entity.py --test_file test_cases.json，重点看utils.py的print_entity_analysis()输出的boundary_error_rate是否 <5%。

5.2 第二步：用run_eval.py的-v模式定位关系误判根源

run_eval.py默认只输出宏观指标。加-v参数会生成详细错误报告：

python run_eval.py -p ./output/relation_pred.json -g ./data/test_relations.json -v

输出中关键字段：

• false_positive_reason: 标明误判类型（如"path_mismatch"表示依存路径提取错误）
• gold_head_type: 黄金标准中头实体类型（如DISEASE）
• pred_tail_type: 模型预测的尾实体类型（如DRUG）
• context_window: 实体周围 10 字符上下文，用于人工复核术语合理性

我曾发现 63% 的DRUG_FOR_DISEASE误判源于上下文含“禁用”“慎用”等否定词，于是给relation_api.py加了规则过滤：

if any(word in context_window for word in ['禁用', '慎用', '避免', '不宜']): return [] # 直接跳过关系预测

5.3 第三步：API 响应时间压测与缓存策略

flask_server.py在 4 核 CPU 上单请求平均耗时 320ms（BERT-base + 依存解析）。若 QPS >5，响应延迟飙升。我的优化方案：

1. 实体识别缓存：对相同text的实体结果用functools.lru_cache(maxsize=128)缓存；
2. 关系预测批处理：relation_api.py的batch_predict()函数将并发请求合并为 batch，一次 BERT 推理处理 8 个关系对；
3. 静态资源预热：启动时用warmup_models()加载模型到 GPU，并执行一次 dummy inference。

最终在 8GB 内存服务器上，QPS 稳定在 12，P99 延迟 ≤480ms。

从那以后我每次部署医疗 NLP 服务，都强制走一遍这三步压力测试——不是为了证明模型多准，而是确保它在真实病历的毛刺里不崩盘。希望帮到你。

本文还有配套的精品资源，点击获取