2.6. 开发首个 AI 服务:文本数据预处理与分析
在前面的章节中,我们已经成功集成了 OpenAI SDK 并配置好了数据库。本节,我们将真正“跑通”一个 AI 业务流程:接收前端传入的文本数据 -> 在后端进行数据清洗和预处理 -> 提交给 AI 模型进行分析 -> 返回分析结果给前端。
1. 为什么需要数据预处理?
在把数据交给大语言模型(如 GPT)之前,进行“清洗”是非常重要的一步,原因如下:
- 节省成本 (Token):多余的空格、无意义的换行符都会被计算为 Token,消耗你的 API 额度。
- 提高 AI 专注度:杂乱的数据可能会干扰 AI 的注意力,导致分析结果偏离主题。
- 安全性:过滤掉潜在的恶意注入代码。
2. 第一步:定义数据传输对象 (DTO)
为了保证接收到的数据是合法且符合预期的,Nest.js 推荐使用 DTO (Data Transfer Object) 结合 class-validator 进行数据校验。
2.1 启用全局验证管道
首先,在 backend/src/main.ts 中开启全局的验证管道:
// backend/src/main.ts
import 'dotenv/config';
import { Logger, ValidationPipe } from '@nestjs/common';
import { NestFactory } from '@nestjs/core';
import { ConfigService } from '@nestjs/config';
import { AppModule } from './app.module';
async function bootstrap() {
const app = await NestFactory.create(AppModule);
// 启用全局验证管道
app.useGlobalPipes(new ValidationPipe({
whitelist: true, // 自动剔除 DTO 中未定义的属性,增加安全性
}));
const configService = app.get(ConfigService);
const port = configService.get<number>('PORT') || 3001;
await app.listen(port);
new Logger('Bootstrap').log(`API listening on http://localhost:${port}`);
}
void bootstrap();
2.2 创建 AnalyzeTextDto
在 backend/src/analysis/dto 目录下创建 analyze-text.dto.ts 文件:
// backend/src/analysis/dto/analyze-text.dto.ts
import { IsString, IsNotEmpty, MaxLength } from 'class-validator';
export class AnalyzeTextDto {
@IsString()
@IsNotEmpty({ message: '分析内容不能为空' })
@MaxLength(5000, { message: '分析内容不能超过5000字' })
content: string;
}
这样,如果前端传入了空数据或者超过 5000 字,后端会自动拦截并返回友好的错误提示。
3. 第二步:编写核心业务逻辑 (Service)
打开 backend/src/analysis/analysis.service.ts,我们需要实现文本预处理方法,并调用之前写好的 OpenAIService。
// backend/src/analysis/analysis.service.ts
import { Injectable, Logger } from '@nestjs/common';
import { OpenAIService } from '../openai/openai.service';
@Injectable()
export class AnalysisService {
private readonly logger = new Logger(AnalysisService.name);
constructor(private readonly openAIService: OpenAIService) {}
/**
* 数据预处理:简单清理文本
*/
private preprocessText(text: string): string {
if (!text) return '';
// 1. 去除前后空白字符
let cleanedText = text.trim();
// 2. 替换多个连续的换行符为单个换行符,防止 prompt 过长
cleanedText = cleanedText.replace(/\n{3,}/g, '\n\n');
return cleanedText;
}
/**
* 核心:分析文本数据
*/
async analyzeText(rawContent: string): Promise<string> {
// 1. 数据预处理
const cleanContent = this.preprocessText(rawContent);
this.logger.debug(`预处理完成,文本长度: ${cleanContent.length}`);
// 2. 构建 Prompt (提示词工程)
// 提示词的好坏直接决定了 AI 输出的质量
const prompt = `你是一个专业的数据分析专家。请仔细阅读并分析以下文本数据,提取出关键信息、主要观点,并给出你的专业总结或建议:\n\n"""\n${cleanContent}\n"""`;
// 3. 调用 AI 服务获取结果
return this.openAIService.chat(prompt);
}
}
4. 第三步:开放 API 接口 (Controller)
最后,我们需要在控制器 backend/src/analysis/analysis.controller.ts 中提供一个 POST 接口,接收前端发来的数据。
// backend/src/analysis/analysis.controller.ts
import { Controller, Get, Post, Body, HttpCode, HttpStatus } from '@nestjs/common';
import { AnalysisService } from './analysis.service';
import { AnalyzeTextDto } from './dto/analyze-text.dto';
@Controller('analysis')
export class AnalysisController {
constructor(private readonly analysisService: AnalysisService) {}
// 提供一个 POST 接口,路径为 /analysis/text
@Post('text')
@HttpCode(HttpStatus.OK) // 返回 200 状态码
async analyzeText(@Body() analyzeTextDto: AnalyzeTextDto) {
// 调用 Service 层的方法
const result = await this.analysisService.analyzeText(analyzeTextDto.content);
// 统一返回格式
return {
success: true,
data: result,
};
}
// 健康检查接口
@Get('status')
getStatus(): string {
return 'Analysis service is up and running!';
}
}
5. 测试你的首个 AI 接口
确保你的服务正在运行 (pnpm start:dev),并且你的 .env 中配置了有效的 OPENAI_API_KEY。
保证数据库的链接:
- 启动 Docker Desktop(否则任何 docker 命令都会失败)。
- 启动数据库容器:
- 在终端进入目录:cd ai-data-analyzer
- 执行:docker compose up -d
- 验证数据库已监听:
- nc -zv localhost 5432 返回 “succeeded” 即可
- 或 docker ps 看 ai_analyzer_postgres 状态为 Up
- 验证容器内登录:
- docker exec -it ai_analyzer_postgres psql -U rain9_ai_data -d ai_analysis_db -c '\l'
- 重新启动后端:在 backend 目录 pnpm start:dev
你可以使用 Postman、Apifox 或者直接在终端使用 cURL 来测试:
curl -X POST http://localhost:3001/analysis/text \
-H "Content-Type: application/json" \
-d '{"content": " 今天的天气非常不错,我发现最近几个月我们产品的日活用户(DAU)从 1 万涨到了 3 万,主要是因为我们在小红书上做了一次成功的营销活动,但是用户的留存率反而下降了5%。 \n\n\n\n 请帮我看看这是怎么回事。 "}'
预期的返回结果:
{
"success": true,
"data": "【关键信息】\n1. 产品日活用户(DAU)从1万增长到3万。\n2. 增长原因:小红书上的成功营销活动。\n3. 问题:用户留存率下降了5%。\n\n【专业总结与建议】\n这种现象在营销驱动的增长中非常常见。短期内大量新用户涌入,但这些用户可能只是被营销噱头吸引,而非产品的核心目标用户,因此导致整体留存率被稀释下降。\n\n建议:\n1. **进行新老用户群组分析 (Cohort Analysis)**:将新获取的用户与老用户分开分析,看看具体是哪一部分的留存率在下降。\n2. **优化新手引导 (Onboarding)**:针对小红书渠道来的用户,定制专门的新手引导流程,尽快让他们体会到产品的核心价值(Aha Moment)。..."
}
总结
恭喜!你已经完成了一个标准的 AI 服务的开发。你学会了:
- 使用 DTO 进行参数校验。
- 在 Service 中对数据进行预处理。
- 结合 Prompt 提示词工程调用大模型。
- 编写标准 RESTful API 接口返回 JSON 结果。
