数据合并与面板整理：从零散表到公司-年份面板

*--------------------------------------------------------------*
*  02-merge-modes.do
*--------------------------------------------------------------*
clear all
set more off

* ---------- 构造演示数据 ----------
* master: 公司-年份面板（已清洗好的财务数据）
clear
input stkcd year roe
1 2010 0.05
1 2011 0.08
2 2010 0.03
2 2011 0.04
3 2010 0.09
end
save "master_fin.dta", replace

* using-A: 公司基本信息表（每家公司一行）—— 1:1 / m:1 都可以用
clear
input stkcd industry province
1 "C3" "Guangdong"
2 "C4" "Beijing"
end
save "using_info.dta", replace

* using-B: 行业层面宏观变量（每个行业-年份一行）
clear
input industry year ind_growth
"C3" 2010 0.12
"C3" 2011 0.15
"C4" 2010 0.08
"C4" 2011 0.09
end
save "using_indmacro.dta", replace

* ---------- 1:1 合并：公司基本信息 ----------
* 因为 master 里 stkcd-year 唯一、using 里 stkcd 唯一，
* 这里用 m:1 stkcd（master 多行、using 一行）最自然
use "master_fin.dta", clear
merge m:1 stkcd using "using_info.dta"
* _merge 取值：
*   1 = 主数据集独有（using 没匹配到）
*   2 = 被合并数据集独有（master 没这行）
*   3 = 两边都有（完美匹配）

* 查看匹配情况
tab _merge

* 删掉"using 独有"的行（对我们没意义）
keep if _merge == 1 | _merge == 3
drop _merge

* ---------- 多关键字 m:1：行业 × 年份 ----------
* 这次要合并的是"行业-年份"层面的宏观变量，
* 主数据集中没有 industry，需要先在 master 里加 industry 列。
* 为演示，我们直接重建 master：
use "master_fin.dta", clear
gen industry = ""
replace industry = "C3" if stkcd == 1
replace industry = "C4" if stkcd == 2
replace industry = "C4" if stkcd == 3

* 按 (industry, year) 两个关键字合并
merge m:1 industry year using "using_indmacro.dta"
tab _merge
drop _merge
list

*--------------------------------------------------------------*
*  04-industry-match.do
*--------------------------------------------------------------*
* 假设 master 里有 stkcd year industry
* 2011 年及以前用老版（CSRC 2001），2012 起用新版（CSRC 2012）

* 1) 把年份分段
gen old_code_flag = (year <= 2011)

* 2) 准备两张映射表（省略手工构造代码，假设已经在 industry_map_2001.dta 和 industry_map_2012.dta 里）
* use industry_map_2001.dta, clear
* keep if old_code_flag == 1
* merge m:1 industry using ...

* 3) 一个更实用的写法：把行业代码截断成"证监会一位大类"
*    旧代码形如 "C8"，新代码形如 "C27"
gen ind1 = substr(industry, 1, 1)        // 把 C8 / C27 都变成 "C"
* 三位行业大类：旧版取前两位，新版取前一位加两位数字
gen ind3 = ""
replace ind3 = substr(industry, 1, 2) if year <= 2011
replace ind3 = substr(industry, 1, 3) if year >= 2012

* 4) 行业 × 年份固定效应：用 ind3 × year
egen ind_year = group(ind3 year)
* 之后 reghdfe y x, absorb(ind_year firm) 即可

*--------------------------------------------------------------*
*  05-append.do
*--------------------------------------------------------------*
clear all
set more off

* 假设 data/raw/ 下有 fin_2007.dta ... fin_2020.dta
* 标准做法：先清空，再 append using
use "data/raw/fin_2007.dta", clear
forvalues y = 2008/2020 {
    append using "data/raw/fin_`y'.dta"
}
describe
count

* 关键检查：append 后变量名应当完全一致
* 如果有"2015 年新增了一个变量 R&D"，旧年份该变量会自动变成缺失
* 用 misstable summarize 检查一下

*--------------------------------------------------------------*
*  06-reshape.do
*--------------------------------------------------------------*
clear all
set more off

* ---------- 第一步：构造一个 wide 表 ----------
* 每家公司一行，roe_2010 ... roe_2012 三列
clear
input stkcd roe_2010 roe_2011 roe_2012
1 0.05 0.08 0.06
2 0.03 0.04 0.05
3 0.09 0.10 0.11
end
list

* ---------- wide -> long（最常用！） ----------
* reshape long 告诉 Stata：
*   "把 roe_<j> 拆成 (j, roe)"
* 语法：reshape long 变量前缀, i(id) j(timevar)
reshape long roe, i(stkcd) j(year)
list, sepby(stkcd)
* 现在是 (stkcd, year, roe) 的长表

* ---------- long -> wide（反向操作） ----------
reshape wide roe, i(stkcd) j(year)
list

*--------------------------------------------------------------*
*  07-xtset.do
*--------------------------------------------------------------*
webuse nlswork, clear      // Stata 自带的面板：员工-年份

* 1) xtset：声明 panelvar = idcode, timevar = year
xtset idcode year

* 2) xtdescribe：检查面板的"形状"
*    输出会告诉你：
*    - 总共多少个组（公司/个人）
*    - 时间跨度
*    - 是否平衡（balanced）
*    - 每个组有多少期观测
xtdescribe

* 3) xtsum：面板版的 summarize（组内/组间/总体方差分解）
xtsum ln_wage age tenure

* 4) 看一下"时间有没有跳跃"
*    比如某个员工 1980 年之后跳到 1985 年，xtset 会警告
list idcode year in 1/30

*--------------------------------------------------------------*
*  08-balanced.do
*--------------------------------------------------------------*
webuse nlswork, clear
xtset idcode year
xtdescribe    // 此时是非平衡

* 方法：只保留"恰好观察满所有年份"的公司
* 1) 每个公司有多少期？
bysort idcode: gen n_years = _N
* 2) 总年数是多少？
quietly levelsof year, local(allyears)
scalar T_total = `: word count `allyears''
* 3) 保留恰好等于 T_total 的公司
keep if n_years == T_total
xtset idcode year
xtdescribe    // 现在应当是 "balanced"