spill.go 6.4 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192
  1. package helper
  2. import (
  3. "encoding/json"
  4. "fmt"
  5. "os"
  6. "path/filepath"
  7. "regexp"
  8. "strings"
  9. "time"
  10. "github.com/mark3labs/mcp-go/mcp"
  11. )
  12. // AgentBaseDir 是 MCP Agent 允许读写的本地根目录。
  13. // 输入侧 source_path 校验、输出侧结果落盘都限制在此目录及其子目录内。
  14. const AgentBaseDir = "/tmp/fwh-toolbox-agent"
  15. // spillDir 大结果落盘目录(AgentBaseDir 的子目录)
  16. var spillDir = filepath.Join(AgentBaseDir, "results")
  17. // InlineMaxBytes 结果内联返回的最大字节数,超过则落盘到文件。
  18. // 约 32KB,兼顾避免烧 token 与减少不必要的"读文件"往返。
  19. const InlineMaxBytes = 32 * 1024
  20. // previewMaxBytes 落盘时返回给 Agent 的预览内容最大字节数
  21. const previewMaxBytes = 2000
  22. // hintSanitizer 用于清洗文件名 hint,只保留安全字符
  23. var hintSanitizer = regexp.MustCompile(`[^a-zA-Z0-9_\-]+`)
  24. // JSONResultOrFile 将数据序列化为 JSON,并在序列化前完成 PII 脱敏(A+B):
  25. // - 命中已知强类型:走源头结构体脱敏(优化 A),零额外内存开销。
  26. // - 其余类型:序列化后走流式 token 脱敏(优化 B)。
  27. // - 脱敏失败:返回错误,拒绝输出(fail-closed,绝不泄露原始数据)。
  28. //
  29. // 脱敏完成后:
  30. // - 小结果(<= InlineMaxBytes)直接内联返回文本
  31. // - 大结果写入本地文件,返回包含 localPath + 预览 + 元信息的摘要
  32. //
  33. // hint 用于生成可读的文件名前缀(如 "plane_work_items")。
  34. func JSONResultOrFile(data any, hint string) *mcp.CallToolResult {
  35. b, err := marshalSanitized(data)
  36. if err != nil {
  37. return mcp.NewToolResultError(err.Error())
  38. }
  39. return BytesResultOrFile(b, hint)
  40. }
  41. // marshalSanitized 执行 A+B 脱敏并返回脱敏后的 JSON 字节。
  42. // - 优化 A:命中强类型时先对副本做字段级脱敏,再直接序列化(无需二次处理)。
  43. // - 优化 B:未命中强类型时序列化后做流式 token 脱敏。
  44. func marshalSanitized(data any) ([]byte, error) {
  45. if sanitized, ok := sanitizeStrong(data); ok {
  46. b, err := json.MarshalIndent(sanitized, "", " ")
  47. if err != nil {
  48. return nil, fmt.Errorf("序列化失败: %v", err)
  49. }
  50. return b, nil
  51. }
  52. b, err := json.MarshalIndent(data, "", " ")
  53. if err != nil {
  54. return nil, fmt.Errorf("序列化失败: %v", err)
  55. }
  56. masked, err := MaskJSONBytes(b)
  57. if err != nil {
  58. return nil, err
  59. }
  60. return indentJSON(masked), nil
  61. }
  62. // JSONResultOrFileAuto 与 JSONResultOrFile 相同,但使用通用文件名前缀,
  63. // 便于对现有 helper.JSONResult 调用点做无侵入替换。
  64. func JSONResultOrFileAuto(data any) *mcp.CallToolResult {
  65. return JSONResultOrFile(data, "result")
  66. }
  67. // TextResultOrFile 针对可能较大的纯文本返回值做落盘判断:
  68. // - 小文本直接内联返回
  69. // - 大文本写入本地文件,返回 localPath + 预览
  70. func TextResultOrFile(text string, hint string) *mcp.CallToolResult {
  71. return BytesResultOrFile([]byte(text), hint)
  72. }
  73. // BytesResultOrFileMasked 针对上游返回的原始 JSON 字节(如 Plane API 响应)
  74. // 先做流式 PII 脱敏(优化 B),再走落盘判断。
  75. // - 脱敏失败(含无法解析的非法 JSON):返回错误,拒绝输出(fail-closed)。
  76. //
  77. // 相比"unmarshal 成 any 再 JSONResultOrFile",此路径省去一次反序列化+序列化往返。
  78. func BytesResultOrFileMasked(b []byte, hint string) *mcp.CallToolResult {
  79. masked, err := MaskJSONBytes(b)
  80. if err != nil {
  81. return mcp.NewToolResultError(err.Error())
  82. }
  83. return BytesResultOrFile(indentJSON(masked), hint)
  84. }
  85. // BytesResultOrFile 针对已经序列化好的 JSON/文本 bytes 做落盘判断。
  86. func BytesResultOrFile(b []byte, hint string) *mcp.CallToolResult {
  87. if len(b) <= InlineMaxBytes {
  88. return mcp.NewToolResultText(string(b))
  89. }
  90. path, werr := writeSpillFile(hint, b)
  91. if werr != nil {
  92. // 落盘失败则退化为直接内联返回,保证功能可用(仅牺牲上下文占用)
  93. return mcp.NewToolResultText(string(b))
  94. }
  95. meta := map[string]any{
  96. "spilled": true,
  97. "localPath": path,
  98. "bytes": len(b),
  99. "preview": truncate(string(b), previewMaxBytes),
  100. "note": "结果较大已写入本地文件,请使用文件读取工具按 localPath 读取完整内容;preview 仅为前部片段。",
  101. }
  102. mb, err := json.MarshalIndent(meta, "", " ")
  103. if err != nil {
  104. return mcp.NewToolResultText(string(b))
  105. }
  106. return mcp.NewToolResultText(string(mb))
  107. }
  108. // writeSpillFile 将 bytes 写入落盘目录,返回绝对路径。
  109. func writeSpillFile(hint string, b []byte) (string, error) {
  110. if err := os.MkdirAll(spillDir, 0755); err != nil {
  111. return "", err
  112. }
  113. name := fmt.Sprintf("%s_%d.json", sanitizeHint(hint), time.Now().UnixNano())
  114. path := filepath.Join(spillDir, name)
  115. if err := os.WriteFile(path, b, 0644); err != nil {
  116. return "", err
  117. }
  118. return path, nil
  119. }
  120. // sanitizeHint 清洗文件名前缀,避免路径穿越和非法字符
  121. func sanitizeHint(hint string) string {
  122. hint = hintSanitizer.ReplaceAllString(hint, "_")
  123. hint = strings.Trim(hint, "_")
  124. if hint == "" {
  125. hint = "result"
  126. }
  127. if len(hint) > 64 {
  128. hint = hint[:64]
  129. }
  130. return hint
  131. }
  132. // truncate 截断字符串到指定字节数(按 rune 边界安全截断)
  133. func truncate(s string, max int) string {
  134. if len(s) <= max {
  135. return s
  136. }
  137. // 从 max 处向前回退到 rune 边界
  138. end := max
  139. for end > 0 && !utf8RuneStart(s[end]) {
  140. end--
  141. }
  142. return s[:end] + "\n...(truncated)"
  143. }
  144. // utf8RuneStart 判断字节是否为 UTF-8 编码的起始字节
  145. func utf8RuneStart(b byte) bool {
  146. // 0xxxxxxx (ASCII) 或 11xxxxxx (多字节起始);10xxxxxx 为续字节
  147. return b&0xC0 != 0x80
  148. }
  149. // ValidateSourcePath 校验输入侧的本地文件路径:
  150. // - 必须位于 AgentBaseDir(/tmp/fwh-toolbox-agent)目录或其子目录内
  151. // - 清理 ".." 等路径穿越
  152. //
  153. // 返回清理后的绝对路径;非法路径返回 error。
  154. func ValidateSourcePath(path string) (string, error) {
  155. if path == "" {
  156. return "", fmt.Errorf("路径为空")
  157. }
  158. abs, err := filepath.Abs(filepath.Clean(path))
  159. if err != nil {
  160. return "", fmt.Errorf("路径解析失败: %v", err)
  161. }
  162. base := filepath.Clean(AgentBaseDir)
  163. // 允许 base 本身或 base 的子路径;用分隔符前缀避免 /tmp/fwh-toolbox-agent-evil 误通过
  164. if abs != base && !strings.HasPrefix(abs, base+string(os.PathSeparator)) {
  165. return "", fmt.Errorf("路径不在允许目录内,仅允许 %s 及其子目录", AgentBaseDir)
  166. }
  167. return abs, nil
  168. }