336 lines
17 KiB
Python
336 lines
17 KiB
Python
from openai import OpenAI
|
||
from typing import List, Dict
|
||
import json
|
||
from langchain_text_splitters import MarkdownHeaderTextSplitter, CharacterTextSplitter
|
||
import requests
|
||
import json
|
||
from modelsAPI.model_api import OpenaiAPI
|
||
|
||
def _split_markdown(text, chunk_size=2048, chunk_overlap=50):
|
||
"""
|
||
根据 max_level 动态生成 headers_to_split_on 配置
|
||
规则：
|
||
- max_level=1 → 只按 # 分割
|
||
- max_level=2 → 按 # 和 ## 分割
|
||
- 以此类推
|
||
"""
|
||
# 动态生成 headers_to_split_on 配置（目前固定为 Header_1）
|
||
headers_to_split_on = [("#", "Header_1")]
|
||
|
||
# 初始化分割器
|
||
splitter = MarkdownHeaderTextSplitter(
|
||
headers_to_split_on=headers_to_split_on,
|
||
strip_headers=True
|
||
)
|
||
chunks = splitter.split_text(text)
|
||
|
||
char_splitter = CharacterTextSplitter(
|
||
chunk_size=chunk_size,
|
||
chunk_overlap=chunk_overlap,
|
||
length_function=len,
|
||
separator="\n\n" # 更合理的分隔符
|
||
)
|
||
|
||
final_chunks = []
|
||
start_chars = ["1", "2", "3", "4", "5", "6", "7", "8", "9", "0", "第", "十",
|
||
"一", "二", "三", "四", "五", "六", "七", "八", "九"," 故障"]
|
||
new_header = []
|
||
|
||
# 提取所有 Header_1 并筛选出“有效标题”
|
||
for chunk in chunks:
|
||
header_1 = chunk.metadata.get('Header_1', '')
|
||
if header_1 and header_1[0] in start_chars:
|
||
new_header.append(header_1)
|
||
|
||
new_header_set = set(new_header)
|
||
|
||
# 构建带标题前缀的 final_chunks
|
||
for chunk in chunks:
|
||
header_1 = chunk.metadata.get('Header_1', '')
|
||
content = chunk.page_content
|
||
if len(content) <= 20000:
|
||
chunk_with_header = f"{header_1}\n{content}" if header_1 else content
|
||
final_chunks.append(chunk_with_header)
|
||
else:
|
||
split_texts = char_splitter.split_documents([chunk])
|
||
for split_chunk in split_texts:
|
||
chunk_with_header = f"{header_1}\n{split_chunk.page_content}" if header_1 else split_chunk.page_content
|
||
final_chunks.append(chunk_with_header)
|
||
|
||
# ===== 重新分组，并记录每个组的 header =====
|
||
rechunked = []
|
||
rechunked_headers = [] # 新增：每个 rechunked 块对应的 header
|
||
current = ""
|
||
current_header = "" # 当前正在构建的块所属的标题
|
||
|
||
for chunk in final_chunks:
|
||
is_new_section = False
|
||
matched_header = ""
|
||
|
||
# 检查是否以某个 new_header 开头
|
||
for h in new_header_set:
|
||
if chunk.startswith(h + "\n"):
|
||
is_new_section = True
|
||
matched_header = h
|
||
break
|
||
|
||
if is_new_section:
|
||
# 保存上一段
|
||
if current:
|
||
rechunked.append(current)
|
||
rechunked_headers.append(current_header)
|
||
# 开启新段
|
||
current = chunk
|
||
current_header = matched_header
|
||
else:
|
||
# 合并到当前段
|
||
if current:
|
||
current += "\n" + chunk
|
||
else:
|
||
current = chunk
|
||
current_header = "" # 如果开头无标题，则 header 为空
|
||
|
||
# 添加最后一段
|
||
if current:
|
||
rechunked.append(current)
|
||
rechunked_headers.append(current_header)
|
||
|
||
return rechunked, rechunked_headers
|
||
|
||
Ontology = ["舰艇", "系统", "子系统", "部件", "一级零部件", "二级零部件", "故障模式", "维修方案", "操作项目", "备品备件", "维修手册", "操作使用手册"]
|
||
Relationships = ["包含", "存在", "修理", "操作时使用", "依据","存储备用","维修时使用"]
|
||
|
||
# 节点类型及其属性定义
|
||
|
||
NODE_TYPES = {
|
||
"舰艇": ["名称", "型号", "弦号", "设计单位", "总装工厂", "所属部队"],
|
||
"系统": ["名称", "型号", "生产单位", "等级","功能"],
|
||
"子系统": ["名称", "型号", "生产单位", "等级","功能"],
|
||
"一级零部件": ["名称", "型号", "技术责任单位", "生产单位"],
|
||
"二级零部件": ["名称", "型号", "技术责任单位", "生产单位"],
|
||
"故障模式": ["名称", "故障原因", "故障影响", "故障类型", "发生时间", "处置情况", "修复情况","维修方案"],
|
||
"维修方案": ["名称", "维修项目编号","维修间隔期", "安全注意事项", "保障设备（工具）", "备品备件", "消耗材料", "人力人员", "备品备件", "修前判据", "修理步骤及工艺", "验收标准"],
|
||
"操作项目": ["名称", "操作项目编号", "安全防护", "注意事项", "保障设施、保障设备（工具）", "人力人员", "操作步骤"],
|
||
"备品备件" : ["名称", "规格", "型号", "图号或标准号或代号","计量单位", "单机重量", "尺寸（长X宽X高mm）", "单机装配数量","实物图片电子文档名称","MTBF(b)","生成厂家",
|
||
"出厂日期",
|
||
"供货周期（天）",
|
||
"有效期（月）",
|
||
"使用寿命（h)",
|
||
"备件箱号",
|
||
"储存要求_环境",
|
||
"储存要求_期限",
|
||
"停产后供应方式"],
|
||
"维修手册": ["名称", "url"],
|
||
"操作使用手册": ["名称", "url"],
|
||
}
|
||
|
||
Ontology_DESCRIPTION = {
|
||
"舰艇": ["代表一艘完整海上作战或保障平台的实体，是所有系统、设备和零部件的最高层级载体。区别于“系统”或“设备”，舰艇具有独立的型号、弦号和部队归属，不可作为其他舰艇的组成部分。"],
|
||
"系统": ["舰艇中实现某一类功能（如动力、导航、通信）的集成化功能单元，由多个设备协同组成。与“设备”不同，系统本身不直接对应物理装置，而是逻辑/功能层面的集合；与“舰艇”不同，系统不具备独立航行能力或部队归属。"],
|
||
"子系统": ["系统内部为实现特定子功能而划分的独立功能模块，是系统的直接组成部分。子系统既具备相对独立的功能完整性（可单独测试或隔离），又必须依赖所属系统才能发挥最终战术效能，是连接系统逻辑与物理设备的中间层级。"],
|
||
"部件": ["构成子系统或设备的最小可独立拆卸、更换的物理实体单元（常称为LRU，即外场可更换单元）。部件具有明确的物理边界和接口，通常无需深层拆解即可进行整体替换，是维修作业中直接操作的主要对象。"],
|
||
"一级零部件": ["部件内部的核心功能组件，是部件的直接构成元素。一级零部件通常承担部件内的主要能量转换、信号处理或机械传动任务，其故障往往导致整个部件功能失效，需通过专业工具拆解部件后方可触及。"],
|
||
"二级零部件": ["一级零部件的细分构成单元，属于更深层次的基礎元件（如电阻、电容、密封圈、轴承等）。二级零部件通常不具备独立的功能意义，主要作为基础材料或标准件存在，一般仅在车间级深度维修或制造过程中涉及。"],
|
||
"故障模式": ["对舰艇装备在运行过程中表现出的异常状态、性能退化或功能丧失现象的标准化描述。故障模式明确了“发生了什么错误”（如断裂、短路、泄漏、卡滞），是关联故障现象与维修方案的桥梁，不包含原因分析或解决措施。"],
|
||
"维修方案": ["针对特定故障模式或预防性维护需求，制定的一套标准化的技术处置流程集合。维修方案详细规定了诊断步骤、拆装工艺、测试标准及所需资源，旨在指导维修人员恢复装备的技术战术性能，是维修决策的核心依据。"],
|
||
"操作项目": ["舰员在日常使用、值更或训练过程中，对装备执行的具体动作指令或检查任务（如启动、切换模式、参数读取、日常擦拭）。操作项目侧重于装备的正确使用与状态监控，区别于以修复为目的的“维修方案”。"],
|
||
"备品备件": ["为保障舰艇装备持续运行和及时修复，预先储备的可替换物理实体的总称。备品备件涵盖了从部件到二级零部件的各个层级，其管理核心在于平衡库存成本与战备完好率，确保在故障发生时能立即供应。"],
|
||
"维修手册": ["记载装备维修理论、故障排查逻辑、详细修理工艺、测试规范及安全技术要求的权威性技术文档。维修手册主要面向维修技术人员，提供“如何修”的深度指导，是实施维修方案的法定依据。"],
|
||
"操作使用手册": ["指导舰员正确、安全、高效地使用装备的功能说明与操作规程文档。操作使用手册主要面向装备操作人员，内容涵盖工作原理简介、操作步骤、应急处置及日常保养要求，侧重于“如何用”而非“如何修”。"]
|
||
}
|
||
|
||
RELATIONSHIP_TYPES = {
|
||
"包含": ["舰艇包含系统", "系统包含子系统", "子系统包含部件", "部件包含一级零部件", "一级零部件包含二级零部件"],
|
||
"操作项目时使用": ["设备操作项目时使用操作项目"],
|
||
"维修时使用": ["设备维修时使用维修项目"],
|
||
"存在": ["子系统存在故障模式","部件存在故障模式","一级零部件存在故障模式","二级零部件存在故障模式"],
|
||
"存储备用" : ["设备存储备用备品备件"],
|
||
"依据" : ["维修方案依据维修手册","操作项目依据操作使用手册"],
|
||
}
|
||
def create_extraction_prompt(
|
||
text: str,
|
||
ontology: List[str],
|
||
Ontology_DESCRIPTION: Dict[str, List[str]],
|
||
relationships: List[str],
|
||
node_types: Dict[str, List[str]],
|
||
relationship_types: Dict[str, List[str]]
|
||
) -> str:
|
||
# 构建已有本体的定义（用于上下文）
|
||
ontology_def_descriptions = []
|
||
for etype in ontology:
|
||
clean_etype = etype.strip()
|
||
if clean_etype in Ontology_DESCRIPTION:
|
||
desc = "；".join(Ontology_DESCRIPTION[clean_etype])
|
||
ontology_def_descriptions.append(f"- {clean_etype}：{desc}")
|
||
else:
|
||
ontology_def_descriptions.append(f"- {clean_etype}：无明确定义")
|
||
|
||
# 构建关系示例
|
||
rel_examples = []
|
||
for rtype, examples in relationship_types.items():
|
||
for ex in examples[:1]:
|
||
rel_examples.append(f" - {ex}")
|
||
|
||
prompt = f"""你是一个专业的舰艇维修领域工程师。请基于给出的本体和属性等信息，抽取出实体、关系以及相关属性值。
|
||
|
||
> ⚠️ 重要说明：
|
||
> - **本体（Ontology Class）是抽象概念类别**，是对特定领域中概念体系的形式化、结构化规范，用于明确定义该领域内的实体类型（类）。
|
||
|
||
|
||
### 已有本体类型：
|
||
{chr(10).join(ontology_def_descriptions)}
|
||
|
||
### 已有关系类型：
|
||
- {"、".join(relationships)}
|
||
典型用法示例：
|
||
{chr(10).join(rel_examples)}
|
||
|
||
### 待分析文本：
|
||
{text.strip()}
|
||
|
||
### 你的任务：
|
||
1、根据给出的本体、关系以及相应的属性，从文本中抽取出所有可能的实体、关系以及相关属性值。
|
||
2、不要随意添加无效属性，抽取的实体属于本体范围内，关系属于关系范围内。、
|
||
|
||
### 输出格式：
|
||
请输出json格式内容，不要输出其他格式和额外内容
|
||
{{
|
||
"entities": [
|
||
{{
|
||
"type": "系统",
|
||
"name": "1 号主机冷却系统",
|
||
"properties": {{
|
||
"名称": "1 号主机冷却系统",
|
||
"型号": "",
|
||
"技术责任单位": "XX 舰艇保障大队",
|
||
"生产单位": "",
|
||
"技术状态": "",
|
||
"生产日期": "",
|
||
"启用时间": "",
|
||
"运行时间": "",
|
||
"运行条件": ""
|
||
}}
|
||
}},
|
||
{{
|
||
"type": "故障模式",
|
||
"name": "1 号主机冷却系统温度异常升高",
|
||
"properties": {{
|
||
"故障现象": "1 号主机冷却系统温度异常升高",
|
||
"故障原因": "根据 A 设备发生的温度异常升高现象,结合相关技术手册与历史故障记录,分析如下:
|
||
(一)冷却液循环泵可能存在异常,导致流量不足;
|
||
(二)热交换器内部堵塞或外部散热片污损,影响散热效率;
|
||
(三)温度传感器或控制系统信号异常,导致误报警。
|
||
",
|
||
"故障影响": "",
|
||
"故障类型": "",
|
||
"发生时间": "2013 年 05 月 7 日 9 时 23 分 37 秒",
|
||
"处置情况": " ",
|
||
"修复情况": ""，
|
||
“”
|
||
}}
|
||
}}
|
||
],
|
||
"relationships": [
|
||
{{
|
||
"type": "存在",
|
||
"from_entity": "1 号主机冷却系统",
|
||
"to_entity": "1 号主机冷却系统温度异常升高"
|
||
}}
|
||
]
|
||
}}
|
||
|
||
注意：
|
||
- 不要生成一些关系，如果没有就不要推荐
|
||
- 如果文本没有符合的关系和实体，不要进行强行抽取
|
||
"""
|
||
|
||
return prompt
|
||
|
||
async def extract_text_node_relationship(
|
||
text: str,
|
||
ontology: List[str],
|
||
Ontology_DESCRIPTION: Dict[str, List[str]],
|
||
relationships: List[str],
|
||
node_types: Dict[str, List[str]],
|
||
relationship_types: Dict[str, List[str]]
|
||
):
|
||
|
||
|
||
final_prompt = create_extraction_prompt(
|
||
text=text,
|
||
ontology=ontology,
|
||
Ontology_DESCRIPTION=Ontology_DESCRIPTION,
|
||
relationships=relationships,
|
||
relationship_types=relationship_types,
|
||
node_types=node_types
|
||
)
|
||
res_str = await OpenaiAPI.openai_chat_aysnc(final_prompt,timeout=600)
|
||
|
||
# 处理 API 调用失败
|
||
if res_str is None:
|
||
print("⚠️ 跳过当前 chunk：API 调用失败")
|
||
|
||
# 尝试解析 JSON
|
||
try:
|
||
res = json.loads(res_str)
|
||
except json.JSONDecodeError as e:
|
||
print(f"❌ JSON 解析失败: {e}")
|
||
print(f"原始响应内容: {repr(res_str)}")
|
||
|
||
# 安全访问字段
|
||
new_entities = res.get("entities", [])
|
||
new_relationships = res.get("relationships", [])
|
||
|
||
# 可选：最后汇总输出
|
||
# print("\n=== 最终结果 ===")
|
||
# print("生成文本本体:", new_entities_result)
|
||
# print("生成文本关系:", new_relationships_result)
|
||
return new_entities,new_relationships
|
||
|
||
|
||
# if __name__ == "__main__":
|
||
# text = """
|
||
# # 1）螺旋桨本体
|
||
|
||
# 功能与特性：能量转换的核心。它将主机的旋转动能转化为水流的反作用力（推力）。其特性由材料（如镍铝青铜、锰青铜）、桨叶数（3-6叶）、盘面比、螺距比等决定，直接影响效率、空泡和振动性能。
|
||
|
||
# 相互关系：直接安装在尾轴（螺旋桨轴） 末端，其扭矩由尾轴传递，其推力通过推力轴承传递给船体。
|
||
|
||
# 2）轴系
|
||
|
||
# 功能与特性：动力传递的桥梁。包括：
|
||
# s
|
||
# 推力轴及推力轴承：承受螺旋桨产生的巨大轴向推力，并将其传递给船体结构，是决定船舶能否前进、后退的关键。
|
||
|
||
# 中间轴：连接主机输出端与推力轴/尾轴。
|
||
|
||
# 尾轴（螺旋桨轴）：穿过尾轴管，末端安装螺旋桨，工作环境恶劣（浸没海水中），通常需包覆铜套防腐。
|
||
|
||
# 相互关系：将主机的旋转输出与螺旋桨本体刚性连接，形成一个完整的动力传递链。推力轴承是轴系与船体结构之间的关键受力界面。
|
||
|
||
# 3）尾轴管与密封系统功能与特性：
|
||
|
||
# 尾轴管：固定于船体尾端，支撑尾轴并形成从船内（机舱）到船外（海水）的通道。
|
||
|
||
# 密封系统（首尾密封）：绝对关键的安全设备。防止海水沿尾轴流入机舱（尾密封），同时防止润滑油泄漏（首尾密封均有此功能）。通常采用唇式密封或面式密封，材料耐磨、耐腐蚀。
|
||
|
||
# 相互关系：为尾轴提供支撑和润滑（油润滑或水润滑），其密封系统直接保护尾轴并确保机舱安全，与轴系和船体结构紧密集成。
|
||
|
||
# 4）毂帽与导流罩功能与特性：
|
||
|
||
# 毂帽：安装在螺旋桨毂后端，呈流线型，用于减少桨毂后部产生的涡流阻力，提高效率。
|
||
|
||
# 导流罩（如桨毂涡流消除器）：安装在桨毂前方，改善流入桨叶的水流状态，尤其适用于肥大船型，能提升效率、减少振动。
|
||
|
||
# 相互关系：直接安装在螺旋桨本体的毂上，是其水动力性能的优化附件。
|
||
|
||
# 系统相互关系总结：
|
||
|
||
# 主机驱动轴系旋转，轴系末端的尾轴带动螺旋桨本体旋转。螺旋桨产生的推力通过尾轴传递至推力轴承，最终作用在船体上使其运动。尾轴管及密封系统为这一旋转运动提供支撑、润滑和至关重要的水密保障。毂帽和导流罩则作为螺旋桨本体的附件，优化其水动力性能。所有子设备协同工作的核心目标，是确保主机功率被高效、平稳、可靠地转化为推进船舶前进的有效推力。 任何一环失效（如密封泄漏、轴承损坏）都将导致整个推进系统瘫痪。
|
||
# """
|
||
# content = []
|
||
# content.append(text)
|
||
# extract_text_node_relationship(content,ontology=Ontology,Ontology_DESCRIPTION=Ontology_DESCRIPTION,relationships=Relationships,relationship_types=RELATIONSHIP_TYPES,node_types=NODE_TYPES)
|
||
|
||
|