准备环境：你需要装什么？

在开始之前，先确保你的电脑上安装了 Python（一种编程语言，用来写代码）和 pip（Python 的包管理工具，帮你安装别人写好的代码库）。如果你还没装，可以去 python.org 下载最新版本，安装时记得勾选“Add Python to PATH”。

然后打开终端（Windows 用命令提示符，Mac 用终端），输入以下命令安装我们需要的库：

• pip install numpy（NumPy：处理数字的库，像计算器的高级版）
• pip install pandas（Pandas：处理表格数据的库，类似 Excel 的代码版）
• pip install statsmodels（Statsmodels：做统计分析的库，帮你算平均值、置信区间等）

装完后，输入 python 进入 Python 交互环境，再输入 import numpy，如果没有报错，说明安装成功。

安装步骤：跑通第一个实验

我们模拟一个场景：你的 LLM 平台（LLM 就是大语言模型，比如 ChatGPT 背后的技术）有两个模型——标准版和高级版。你想测试一个智能路由功能，它会自动把请求分给更合适的模型。但你不能随机分用户，因为高级版资源有限。所以我们要用 时间片轮换实验（Switchback）：每 30 分钟切换一次路由开关，然后比较两种时间段的效果。

创建一个新文件 experiment.py，复制以下代码：

import numpy as np
import pandas as pd
import statsmodels.api as sm

# 生成模拟数据：时间片标签（0=关，1=开）和对应效果
np.random.seed(42)
time_slots = 100
routing_on = np.random.binomial(1, 0.5, time_slots)
effect = 0.06  # 路由开启后任务完成率提升6%
noise = np.random.normal(0, 0.1, time_slots)
completion_rate = 0.5 + routing_on * effect + noise

# 放入 DataFrame
df = pd.DataFrame({'routing': routing_on, 'completion': completion_rate})

# 用线性回归估计效果
X = sm.add_constant(df['routing'])
model = sm.OLS(df['completion'], X).fit()
print(model.summary())

保存后，在终端运行 python experiment.py。你会看到一堆输出，其中 coef 列里 routing 那一行的值大约 0.06，就是我们设定的提升效果。

验证是否成功：看懂输出

运行结果中，最重要的是 P>|t| 这一列。如果 routing 对应的值小于 0.05，说明效果是统计显著的（不是随机波动）。另外 coef 就是估计的提升幅度。如果接近 0.06，说明实验设计成功。

常见坑：如果结果不对，检查数据是否每个时间片独立（没有前后影响）。如果时间片之间有“拖尾效应”（比如路由关掉后，高级版还在忙），需要更复杂的调整，但作为入门，这个例子够了。

下一步可以做什么

你可以把代码中的模拟数据换成自己平台的真实日志。用 pandas.read_csv() 读取你的数据，然后按时间切片计算平均完成率。更高级的玩法是加入 HAC 标准误（处理时间序列数据的统计方法）或 Bootstrap（一种用重抽样计算置信区间的方法），但那是进阶内容了。

现在你已经学会了基本的环境搭建和实验运行。恭喜你，AI 入门第一步走通了！