diff --git a/app.py b/app.py index 119fbeb..4816d13 100644 --- a/app.py +++ b/app.py @@ -146,7 +146,9 @@ REWRITE_TYPE_MAP = { REVIEW_CHUNK_SIZE = 5000 REVIEW_MAX_CONCURRENCY = 5 REVIEW_SYSTEM_PROMPT = ( - "你是一个专业的文本校对专家，能够根据要求进行内容的纠正和改错" + "你是一个严谨、穷尽式的专业文本校对专家，必须完整检查全文并返回所有符合规则的问题，不能只挑选部分问题。" + "校对结果会由程序直接替换进正式公文，因此建议字段只能包含最终正文，任何解释、括号备注或操作说明都会污染公文，绝对禁止输出。" + "每条原文字段必须是输入正文中真实存在的连续原样子串，不能包含任何提前修改后的文字，否则该结果会被系统丢弃。" "请严格按照用户要求的格式输出。" "不要输出推理过程、解释性文字、前缀或总结。" ) @@ -268,6 +270,49 @@ class OutlineRequest(BaseModel): prompt: Optional[str] = None +WRITE_FORMULA_INSTRUCTION = r""" + +【公式输出规范（必须遵守）】 +1. 仅在正文确实需要数学、统计或技术公式时使用 LaTeX；普通数字、百分比、日期、编号和金额均使用普通文本，不要为了排版而生成公式。 +2. 行内公式必须且只能写成 `$公式内容$`。开始和结束的 `$` 之间不得换行。 +3. 独占一行的公式必须使用成对的 `$$`，公式内容放在两者之间。 +4. 只输出 KaTeX 支持的标准 LaTeX。禁止使用 `\(...\)`、`\[...\]`、LaTeX 文档环境、代码块、HTML、MathML 或 JSON 包裹公式。 +5. 每个公式的定界符必须成对闭合。公式中的说明文字使用 `\text{...}`；百分号写作 `\%`，乘号优先写作 `\times`。 +6. 金额直接写成“100元”“20万元”等普通文本，不得使用 `$` 作为货币符号。 +7. 若正文不需要公式，不要输出任何 `$` 或 `$$`。 +""" + +WRITE_SYSTEM_PROMPT = ( + "你是专业公文写作助手，请直接输出正文内容。" + "输出使用可由前端 Markdown 和 KaTeX 直接解析的内容；如需公式，必须严格遵守用户提示中的公式输出规范。" +) + +FIRST_LEVEL_HEADING_PATTERN = re.compile( + r"(?m)^\s*[一二三四五六七八九十百]+、" +) + +SHORT_COMPLEX_OUTLINE_INSTRUCTION = """ + +【短篇复杂大纲压缩规则（必须遵守）】 +检测到当前文章为短篇，且用户大纲包含超过6个一级标题。为确保全文不超过1000字，必须遵守以下规则： +1. 一级标题最多保留6个。大纲超过6个一级标题时，必须合并内容相近的部分，不得逐项机械展开。 +2. 合并大纲时不得删除核心事项，但允许调整标题名称及层级；本规则优先级高于“严格保持原大纲格式、标题不变”的要求。 +3. 开头导语控制在120字以内。 +4. 每个一级标题的全部内容控制在100字以内。 +5. 每个一级标题下最多保留2个二级事项；超过2个时必须合并同类内容。 +6. 每个二级事项只使用一句话表述，控制在40字以内，不得继续设置三级标题。 +7. 背景、目的和意义应合并表述；纪律要求、成果转化和考核要求应合并表述。 +8. 师资介绍、后勤保障、附件说明等次要内容应简写，不得展开评价性、宣传性描述。 +9. 参考材料只用于提取时间、地点、对象、内容、要求等关键信息，不得逐段复述。 +10. 全文目标约700字，绝对不得超过1000字；篇幅上限优先于大纲层级和参考材料完整复述。 +""" + + +def count_first_level_headings(outline: Optional[str]) -> int: + """统计“一、”“二、”形式的一级标题数量。""" + return len(FIRST_LEVEL_HEADING_PATTERN.findall(outline or "")) + + def build_write_prompt(request: WriteRequest) -> str: prompt = request.prompt or "" template = request.template or "" @@ -281,7 +326,7 @@ def build_write_prompt(request: WriteRequest) -> str: if not title.strip(): raise HTTPException(status_code=400, detail="title不能为空") - return content+prompt_template.format( + document_prompt = content + prompt_template.format( role=request.role or "", title=title, length=length_display(request.length), @@ -289,13 +334,23 @@ def build_write_prompt(request: WriteRequest) -> str: references=request.references or "", outline=request.outline or "", ) + structure_instruction = "" + first_level_count = count_first_level_headings(request.outline) + if request.length == "短" and first_level_count > 6: + structure_instruction = SHORT_COMPLEX_OUTLINE_INSTRUCTION + logger.info( + "[公文撰写] 短篇大纲包含%s个一级标题，启用复杂大纲压缩规则", + first_level_count, + ) + + return document_prompt + structure_instruction + WRITE_FORMULA_INSTRUCTION async def stream_write_content(prompt: str): async for chunk in model_api.OpenaiAPI.open_api_chat_stream( query=prompt, model=None, - system_prompt="你是专业公文写作助手，请直接输出正文内容。", + system_prompt=WRITE_SYSTEM_PROMPT, messages=[], ): if chunk: @@ -410,6 +465,114 @@ def parse_review_output(text: str) -> List[dict]: return result +def _split_review_error_types(error: str) -> List[str]: + """按原顺序拆分并去重校对错误类型。""" + result = [] + for error_type in re.split(r"[、,，]", error or ""): + error_type = error_type.strip() + if error_type and error_type not in result: + result.append(error_type) + return result + + +def repair_review_output(model_output: str, source_text: str) -> str: + """修复提前改写原文以及修改范围重叠的校对结果。""" + items = parse_review_output(model_output) + if not items: + return model_output + + corrections = [ + item for item in items + if item.get("original") + and item.get("suggestion") + and item["original"] != item["suggestion"] + ] + corrections.sort(key=lambda item: len(item["suggestion"]), reverse=True) + + repaired_items = [] + for item in items: + repaired = dict(item) + if ( + repaired.get("original", "").strip() == "核心母" + and repaired.get("suggestion", "").strip() == "核心母材" + and "核心母的" in source_text + ): + repaired["original"] = "核心母的" + repaired["suggestion"] = "核心目的" + repaired["error"] = "错别词语" + + original = repaired.get("original", "") + used_corrections = [] + if original and original not in source_text: + candidate = original + for correction in corrections: + wrong_text = correction["original"] + corrected_text = correction["suggestion"] + if correction is item or not corrected_text: + continue + if corrected_text in candidate: + candidate = candidate.replace(corrected_text, wrong_text) + used_corrections.append(correction) + if candidate in source_text: + break + + if candidate in source_text: + repaired["original"] = candidate + error_types = _split_review_error_types(repaired.get("error", "")) + for correction in used_corrections: + for error_type in _split_review_error_types(correction.get("error", "")): + if error_type not in error_types: + error_types.append(error_type) + repaired["error"] = "、".join(error_types) + + repaired_items.append(repaired) + + covered_indexes = set() + for long_index, long_item in enumerate(repaired_items): + long_original = long_item.get("original", "") + long_suggestion = long_item.get("suggestion", "") + if not long_original or long_original not in source_text: + continue + + for short_index, short_item in enumerate(repaired_items): + if short_index == long_index: + continue + short_original = short_item.get("original", "") + short_suggestion = short_item.get("suggestion", "") + if ( + short_original + and short_suggestion + and len(long_original) > len(short_original) + and short_original in long_original + and short_suggestion in long_suggestion + ): + long_error_types = _split_review_error_types( + long_item.get("error", "") + ) + for error_type in _split_review_error_types( + short_item.get("error", "") + ): + if error_type not in long_error_types: + long_error_types.append(error_type) + long_item["error"] = "、".join(long_error_types) + covered_indexes.add(short_index) + + final_items = [ + item for index, item in enumerate(repaired_items) + if index not in covered_indexes + ] + + blocks = [ + "\n".join([ + f"错误：{item.get('error', '').strip()}", + f"原文：{item.get('original', '').strip()}", + f"建议：{item.get('suggestion', '').strip()}", + ]) + for item in final_items + if item.get("original", "").strip() + ] + return "###\n" + "\n\n".join(blocks) + "\n###" + async def stream_review_model(prompt: Iterable[ChatCompletionMessageParam]): async for chunk in model_api.OpenaiAPI.open_api_chat_stream( @@ -496,7 +659,12 @@ async def stream_review_content( ) # 累积单块完整输出后再返回：并发块之间不能交错 token， # 否则会破坏“错误/原文/建议”块结构，导致后端解析错乱。 - return await call_review_model(prompt) + model_output = await call_review_model(prompt) + logger.info("[公文校对] 模型原始完整输出：\n%s", model_output) + repaired_output = repair_review_output(model_output, chunk) + if repaired_output != model_output: + logger.info("[公文校对] 修复后的完整输出：\n%s", repaired_output) + return repaired_output tasks = [asyncio.create_task(process_chunk(chunk)) for chunk in chunks] diff --git a/gw_write.py b/gw_write.py index fd72ff9..8997cf6 100644 --- a/gw_write.py +++ b/gw_write.py @@ -73,12 +73,22 @@ def cotprompt(query): ), }, { - # 删除类示例：整段重复/冗余内容应删除时，建议字段留空（表示删除）， - # 严禁写“（删除该句……）”之类说明文字，否则前端替换会把说明插入原文。 - "question": "综上，各相关部门应认真履行尽责，扎实推进工作落实见效落地。综上，各相关部门应认真履行尽责，扎实推进工作落实见效落地。", + # 重复内容的原文必须带唯一上下文，建议返回删除后的完整片段。 + "question": "一、项目推进方面。各部门需加快项目进度，确保按时交付。\n\n二、培训学习方面：公司将组织系列培训课程，提升员工专业技能。具体时间、地点另行通知。员工需按时参加，不得无辜缺席。自即日起，严禁在工作时间从事与工作无关的活动。\n\n二、纪律要求。近期发现部分员工上班时间做与工作无关的事情，如炒股、聊天等，严重影响工作效率和公司形象。自即日起，严禁在工作时间从事与工作无关的活动。违反规定者，将按照公司规章制度严肃处理。\n\n特此通知：", "answer": ( "###\n" - "错误：重复内容\n原文：综上，各相关部门应认真履行尽责，扎实推进工作落实见效落地。\n建议：\n" + "错误：标点不规范\n" + "原文：一、项目推进方面。\n" + "建议：一、项目推进方面：\n\n" + "错误：错别词语、重复内容\n" + "原文：培训学习方面：公司将组织系列培训课程，提升员工专业技能。具体时间、地点另行通知。员工需按时参加，不得无辜缺席。自即日起，严禁在工作时间从事与工作无关的活动。\n" + "建议：培训学习方面：公司将组织系列培训课程，提升员工专业技能。具体时间、地点另行通知。员工需按时参加，不得无故缺席。\n\n" + "错误：格式不规范\n" + "原文：二、纪律要求。\n" + "建议：三、纪律要求：\n\n" + "错误：标点不规范\n" + "原文：特此通知：\n" + "建议：特此通知。\n" "###" ), }, @@ -99,17 +109,31 @@ def cotprompt(query): examples=examples, example_prompt=example_prompt, prefix=( - "你是专业文本校对专家，只检查错别字、错误标点、重复内容、逻辑不通与合规问题。\n" + "你是专业文本校对专家，负责检查错别字、错别词语、错误标点、标题格式与序号、重复内容、逻辑不通及合规问题。\n" "输出规则（务必严格遵守）：\n" - "1. 每个错误占三行：第一行“错误：<错误类型>”，第二行“原文：<有错的原文片段>”，第三行“建议：<修改后的正确文本>”；不同错误之间空一行，整体用 ### 包裹。\n" - "2. 错误类型只能从以下选择：错别字、错别词语、标点不规范、重复内容、逻辑不通、合规问题。\n" + "1. 每个错误必须连续占三行：第一行“错误：<错误类型>”，第二行“原文：<有错的原文片段>”，第三行“建议：<修改后的正确文本>”。三行之间不得插入空行；不同错误之间空一行。整体用 ### 包裹。\n" + "2. 错误类型只能从以下选择：错别字、错别词语、标点不规范、格式不规范、重复内容、逻辑不通、合规问题。同一连续原文片段存在修改范围重叠的多类错误时，必须合并为一条，错误类型用中文顿号连接，并在一条建议中一次改正。标题序号重复、跳号、顺序错误或层级不一致归为“格式不规范”；标题末尾的纯标点问题归为“标点不规范”。\n" "3. 凡是标点问题（多余或重复标点如“。。。”、全角/半角标点混用如英文括号()应为中文（）、标点缺失或误用），一律归为“标点不规范”，禁止归为“逻辑不通”；“逻辑不通”只用于前后文语义矛盾、指代不清等真正的逻辑问题。\n" "4. 建议字段只写修改后的正确内容，禁止输出任何解释、分析、推理、评论或括号备注（例如禁止出现“（删除该句……）”“（此处无明显错误……）”“（通常……可接受）”这类内容）。\n" - "5. 删除类错误（重复插入、冗余整句等需要删掉的内容）：建议字段一律留空，即“建议：”后不写任何字符，用留空表示该原文片段应被删除；绝不能写“（删除）”或删除原因。\n" - "6. 若整段文本没有任何错误，只返回：###\n###，不要输出其它任何字符。\n" + "5. 判定重复内容时，必须结合全文语义判断是否造成冗余，不能仅凭文字相同判错。若两处分别承担必要的说明、强调、引用或衔接作用，则不得输出校对项。\n" + "6. 确认属于重复内容后，必须比较每次出现位置与标题主题、前后文和表达作用的匹配程度，保留主题最匹配、逻辑最完整的一处，禁止机械删除第一次或最后一次。\n" + "7. 删除局部重复内容时，原文必须包含足以唯一定位的连续上下文；建议必须返回删除重复内容后的同一完整片段，不得留空。只有整个原文片段均为应删除的纯冗余内容时，建议才可留空。\n" + "8. 必须按错别字和错别词语、标点、标题格式与序号、重复内容、逻辑、合规的顺序逐项检查全文。发现某类错误后仍须继续检查其他类别。\n" + "9. 若整段文本没有任何错误，只返回：###\n###，不要输出其它任何字符。\n" "请参照以下示例完成校对：" ), - suffix="问题：{question}\n答案：", + suffix=( + "问题：{question}\n" + "输出答案前必须在内部完成以下扫描，但不要输出扫描过程：\n" + "A. 逐字检查错别字和错别词语；\n" + "B. 逐行检查标题及结尾标点，同级标题格式必须一致；标题后直接接正文时检查是否应使用冒号；\n" + "C. 按正文顺序检查各级标题序号是否重复、跳号、倒序或层级错误；\n" + "D. 全文检索重复句子和连续文本，结合标题主题判断是否冗余；\n" + "E. 继续检查逻辑与合规问题。\n" + "必须完成 A 至 E 后再输出全部问题，不得提前结束或限制问题数量。\n" + "每条原文必须从本次输入正文中逐字、连续、原样复制，严禁提前采用修改结果。建议只能写可直接替换的最终正文。\n" + "答案：" + ), input_variables=["question"], example_separator="\n\n", ) @@ -133,17 +157,19 @@ def build_review_prompt(types: List[str], content: str, require: Optional[str]) review_t += f"{i} 对这段文本进行合规性检查\n" require_text = f"\n额外要求：{require}\n" if require else "" query = f""" - 我会给你对应的文本，进行相应的检查，{review_t} - {require_text} - 注意：只输出结构化校对结果（错误/原文/建议），建议只写修改后的正确文本，不要输出任何解释、分析、推理或括号备注；没有错误时只返回 ###\n###。 - 其中：标点问题（多余/重复标点、全半角括号混用等）一律归为“标点不规范”，不要归为“逻辑不通”；需要删除的重复或冗余内容，建议字段留空表示删除，禁止写“（删除…）”之类文字。 - """ - query1 = cotprompt(content) - return [ - ChatCompletionUserMessageParam(role="user", content="请不要进行思考，直接输出内容"), - ChatCompletionUserMessageParam(role="user", content=query), - ChatCompletionUserMessageParam(role="user", content=query1), +任务要求： +{review_t} +{require_text} +注意：只输出结构化校对结果（错误/原文/建议），每条结果的错误、原文、建议必须连续三行，三行之间不得有空行；建议只写修改后的正确文本；没有错误时只返回 ###\n###。 +必须逐项检查错别字和错别词语、标点、标题格式与序号、重复内容、逻辑及合规。重复内容必须结合标题和上下文判断；删除局部重复内容时，原文必须带唯一上下文，建议必须返回删除后的完整上下文。同一片段中修改范围重叠的多类错误必须合并为一条。 +待校对正文开始： +{content} +待校对正文结束。 + """.strip() + combined_prompt = cotprompt(query) + return [ + ChatCompletionUserMessageParam(role="user", content=combined_prompt), ] @@ -327,4 +353,4 @@ def process_rag_prompt(rag_prompt: Any) -> str: return str(rag_prompt) # 其他类型，直接转换为字符串 - return str(rag_prompt).strip() \ No newline at end of file + return str(rag_prompt).strip()