离散选择模型：从 RUM 到 Nested Logit

01 随机效用模型 RUM 框架

离散选择模型研究的是：个体 $i$ 从 $J$ 个互斥选项 $j=1,\dots,J$ 中选一个。McFadden 的随机效用模型（random utility model, RUM）假设每个选项给个体带来一个效用，个体选效用最大的那个：

其中 $V_{ij}=X_{ij}'\beta$ 是研究者可观测的"代表性效用"（systematic utility），$X_{ij}$ 是选项 $j$ 对个体 $i$ 的属性（如价格、时间、品牌）；$\varepsilon_{ij}$ 是研究者观测不到的偏好扰动。个体选 $j$ 当且仅当 $U_{ij}\ge U_{ik}\;\forall k$。

研究者看不到 $\varepsilon$，只能预测"个体 $i$ 选 $j$ 的概率"：

这是一个积分：只要对 $\varepsilon=(\varepsilon_{i1},\dots,\varepsilon_{iJ})$ 的联合分布做假设，就能"算出" $P_{ij}$。不同的分布假设 → 不同的模型：$\varepsilon_{ij}$ i.i.d. 极值型（Gumbel）→ Logit；$\varepsilon_{ij}$ 多元正态 → Probit；同类选项误差相关 → Nested Logit。

02 Logit 推导与 IIA 性质

假设每个 $\varepsilon_{ij}$ 独立同分布服从标准 Gumbel（极值 I 型）分布，累积分布 $F(\varepsilon)=e^{-e^{-\varepsilon}}$。McFadden 证明：在这个假设下，最大效用差的积分可以解析地算出来，得到 Logit 选择概率：

推导关键一步：Gumbel 分布的"可加性"——若 $\varepsilon_{ij}$ i.i.d. Gumbel，则 $\max_k(V_{ik}+\varepsilon_{ik})$ 减去 $\varepsilon_{ij}$ 的累积分布恰好是标准 Logistic。这把本来高维的积分化简为指数比。

2.1 Logit 选择概率的逐步推导（不跳步）

设定：$J$ 个选项，$\varepsilon_{ij}\overset{iid}{\sim}\text{Gumbel}(0,1)$，CDF 与密度分别为 $F_\varepsilon(\varepsilon)=e^{-e^{-\varepsilon}}$、$f_\varepsilon(\varepsilon)=e^{-\varepsilon}e^{-e^{-\varepsilon}}$。代表性效用 $V_{ij}=X_{ij}'\beta$。

第 1 步（写出选 $j$ 的事件）：$i$ 选 $j$ 当且仅当 $U_{ij}\ge U_{ik}\;\forall k\ne j$，即 $\varepsilon_{ij}\ge (V_{ik}-V_{ij})+\varepsilon_{ik}$ 对所有 $k\ne j$。

第 2 步（对 $\varepsilon_{ij}$ 积分）：把 $P_{ij}$ 写成对 $\varepsilon_{ij}$ 取值 $e$ 的积分，条件化后其余 $\varepsilon_{ik}$ 须落在 $(-\infty,\,e+V_{ij}-V_{ik}]$：

第 3 步（代入 Gumbel CDF）：令 $y=e^{-(e+V_{ij})}$，则 $e=-V_{ij}-\ln y$，$de=-dy/y$。代入 $F_\varepsilon(e+V_{ij}-V_{ik})=\exp[-e^{-(e+V_{ij}-V_{ik})}]=\exp[-e^{V_{ik}-V_{ij}}\,y]$，连乘得 $\prod_{k\ne j}e^{-e^{V_{ik}-V_{ij}}y}=\exp\!\big[-y\sum_{k\ne j}e^{V_{ik}-V_{ij}}\big]$。

第 4 步（补入 $k=j$ 项）：注意 $e^{V_{j}-V_{j}}=1$，故 $\sum_{k\ne j}e^{V_{ik}-V_{ij}}+1=\sum_{k=1}^{J}e^{V_{ik}-V_{ij}}$。积分化为标准 Gamma 积分：

IIA 性质（Independence of Irrelevant Alternatives）

把任意两个选项 $j$ 和 $l$ 的概率比取出来：

比值只依赖 $j$ 和 $l$ 的代表性效用，跟第三个选项 $k$ 是否存在、属性如何都无关。这就是 IIA（无关选项独立性）。它是 Logit 最有用、也最常被诟病的性质。

03 Probit 与 Multinomial Logit

二元 Probit

把 $\varepsilon_{ij}$ 改成标准正态，潜变量设定为 $y_i^*=X_i'\beta+u_i,\;u_i\sim N(0,1)$，观测 $y_i=1\{y_i^*>0\}$，则：

Probit 没有封闭形式的"Logit 式"闭式解，但可以数值积分/用 $\Phi(\cdot)$ 直接算，是 01-mle 页的标准应用。

Multinomial Logit（MNL）

当选项之间的属性因人而异、随选项变（alternative-specific），就用上面的 conditional/multinomial logit：$P_{ij}=e^{X_{ij}'\beta}/\sum_k e^{X_{ik}'\beta}$。若协变量只随人变（不随选项变），则需引入 alternative-specific 常数 $\alpha_j$：

注意 $\beta_j$ 现在随选项变，这正是 MNL 与 conditional logit 的区别：人层变量对"选哪一个"的影响可以不同。

04 Nested Logit：放松 IIA

Nested Logit 把选项按"相似性"分成若干巢（nest）$B_m$，让同一巢内选项的误差相关、跨巢误差仍独立。它通过一个"巢内相关参数" $\lambda_m\in(0,1]$ 放松 IIA。

代表性效用仍写为 $V_{ij}=X_{ij}'\beta$。对巢 $B_m$，定义包含值（inclusive value，又叫 log-sum）：

选择概率分解为"选巢 $m$ 的概率"乘以"巢 $m$ 内选 $j$ 的条件概率"：

当所有 $\lambda_m=1$，Nested Logit 退化成普通 MNL（IIA 恢复）；$\lambda_m<1$ 表示巢内选项误差正相关（"红巴士/蓝巴士"被放进同一巢，IIA 在巢内被放松）。

05 MLE 估计与边际效应

给定选择数据 $\{i,j_i^*\}$（$j_i^*$ 为个体 $i$ 实际选的选项），似然就是每个观测概率的乘积：

对 MNL，得分函数可由对数似然逐一对 $\beta$ 求导写出。定义指示变量 $d_{ij}=\mathbf{1}\{i\text{ 实际选 }j\}$（$\sum_j d_{ij}=1$），则对数似然 $\ell(\beta)=\sum_i\sum_j d_{ij}\log P_{ij}$。

优化用 Newton/BHHH/L-BFGS 即可，海森负定（对数似然全局凹）保证唯一极大。

边际效应（marginal effect）

系数 $\beta$ 不是"概率的变化"，要转换成边际效应。对连续变量 $x_{ij}^{(r)}$：

实务中通常报告在样本平均（或代表性个体）处的边际效应，而非 $\beta$ 本身，因为 $\beta$ 的符号虽直观，量级却难解释。

06 代码：MNL / Nested Logit 完整实现

下面用模拟数据演示交通方式选择：个体在"汽车 / 巴士 / 轻轨"三种方式中选一种。属性含"成本"与"时间"，二者系数相同（alternative-invariant），故用 conditional logit；再演示如何估计 $\lambda$。

import numpy as np
from scipy.optimize import minimize
from scipy.stats import norm

# ---------- 1. 造模拟数据：n=1000 个出行者, J=3 种交通方式 ----------
np.random.seed(42)
n, J = 1000, 3
beta_true = np.array([-0.05, -0.10])     # [成本系数, 时间系数]（应为负）

# X[i, j, 0]=成本, X[i, j, 1]=时间
cost = np.random.uniform(5, 30, size=(n, J))
time = np.random.uniform(10, 60, size=(n, J))
X = np.stack([cost, time], axis=2)        # shape (n, J, 2)

# 真实代表性效用 V[i,j] = X[i,j] @ beta + Gumbel 扰动
V = X @ beta_true
eps = np.random.gumbel(size=(n, J))       # i.i.d. Gumbel -> MNL
U = V + eps
choice = U.argmax(axis=1)                 # 实际选择

# ---------- 2. MNL 对数似然 ----------
def mnl_probs(beta, X):
    V = X @ beta                          # (n, J)
    V = V - V.max(axis=1, keepdims=True)  # 数值稳定
    ev = np.exp(V)
    return ev / ev.sum(axis=1, keepdims=True)

def neg_ll_mnl(beta, X, choice):
    P = mnl_probs(beta, X)
    p_choice = P[np.arange(len(choice)), choice]
    return -np.sum(np.log(np.clip(p_choice, 1e-12, 1.0)))

# ---------- 3. MLE 估计 ----------
res = minimize(neg_ll_mnl, np.zeros(2), args=(X, choice),
               method='BFGS', options={'disp': True})
beta_hat = res.x
print("MNL beta_hat :", np.round(beta_hat, 4))
print("MNL beta_true:", beta_true)

# ---------- 4. 边际效应（样本平均处） ----------
P = mnl_probs(beta_hat, X)
# dP_j/dx_r = P_j(1-P_j) beta_r  （对 alternative-specific x）
me_cost = (P * (1 - P) * beta_hat[0]).mean(axis=0)
me_time = (P * (1 - P) * beta_hat[1]).mean(axis=0)
print("平均边际效应（成本，三种方式）:", np.round(me_cost, 5))
print("平均边际效应（时间，三种方式）:", np.round(me_time, 5))

# ---------- 5. Nested Logit 估计（演示：巴士+轻轨同巢，汽车独立巢） ----------
# 巢结构：{巴士=1, 轻轨=2} 在同一巢; {汽车=0} 独立巢
nest_of = {0: 0, 1: 1, 2: 1}            # 选项 -> 巢编号
# 待估参数：beta(2) + lambda_1(1), lambda_0 固定=1
def neg_ll_nested(theta, X, choice):
    b = theta[:2]
    lam1 = np.clip(theta[2], 1e-3, 1.0)
    lam = {0: 1.0, 1: lam1}
    V = X @ b                              # (n, J)
    # 巢内条件概率
    P_in = np.zeros((n, J))
    I = {m: np.zeros(n) for m in [0, 1]}
    for m in [0, 1]:
        members = [j for j in range(J) if nest_of[j] == m]
        Vm = V[:, members] / lam[m]
        Vm = Vm - Vm.max(axis=1, keepdims=True)
        evm = np.exp(Vm)
        P_in[:, members] = evm / evm.sum(axis=1, keepdims=True)
        I[m] = lam[m] * np.log(evm.sum(axis=1))
    # 选巢概率
    Iarr = np.column_stack([I[0], I[1]])
    Iarr = Iarr - Iarr.max(axis=1, keepdims=True)
    P_nest = np.exp(Iarr) / np.exp(Iarr).sum(axis=1, keepdims=True)
    # 边缘概率 P_ij = P_nest(i,m)*P_in(i,j)
    P = np.zeros((n, J))
    for m in [0, 1]:
        members = [j for j in range(J) if nest_of[j] == m]
        P[:, members] = P_in[:, members] * P_nest[:, m:m+1]
    p_choice = P[np.arange(n), choice]
    return -np.sum(np.log(np.clip(p_choice, 1e-12, 1.0)))

resN = minimize(neg_ll_nested, np.append(beta_hat, 0.7), args=(X, choice),
                method='BFGS', options={'disp': True})
print("Nested beta:", np.round(resN.x[:2], 4),
      " lambda_hat =", round(resN.x[2], 3))

06+ 数据来源对照表（离散选择常用数据集）

离散选择模型需要"个体 i 在备选 j 之间做选择"的数据——要么是个体级 micro 数据（每人一行，记录选了哪个），要么是市场级 aggregate 份额（每市场×产品一行，记录份额）。下表把英文经典与中国常用数据集对照列出，写作时直接取用：

07 论文案例

08 常见错误与进阶资料

进阶资料

• McFadden & Train (2000), "Mixed MNL Models for Discrete Response", JBES —— Mixed Logit 把 IIA 完全放松，是现代 IO/营销的主力模型。
• Ben-Akiva & Lerman, Discrete Choice Analysis, 1985 —— Nested Logit 与包容值的经典教材。
• Berry, Levinsohn & Pakes (1995), "Automobile Prices in Market Equilibrium", Econometrica —— 把离散选择推广到产品市场数据，是下一页 BLP 的内容。
• 软件：Python logit/xlogit；R mlogit；Stata clogit/nlogit。

方程总清单 / Equation Summary

本页全部方程按出现顺序汇总如下，共 14 个。每个方程均可在正文中找到对应的变量定义、设定理由与经济直觉。