注册 投稿
经济金融网 中国经济学教育科研网 中国经济学年会 EFN通讯社

我常用到的stata命令(二)

作者: 产权界定   发表于CCER论坛

(续)
前面说的都是对单个数据库的简单操作,但有时我们需要改变数据的结构,或者抽取来自不同数据库的信息,因此需要更方便的命令。这一类命令中我用过的有:改变数据的纵横结构的命令reshape,生成退化的数据库collapse,合并数据库的命令append和merge。

纵列(longitudinal)数据通常包括同一个行为者(agent)在不同时期的观察,所以处理这类数据常常需要把数据库从宽表变成长表,或者相反。所谓宽表是以每个行为者为一个观察,不同时期的变量都记录在这个观察下,例如,行为者是厂商,时期有2000、2001年,变量是雇佣人数和所在城市,假设雇佣人数在不同时期不同,所在城市则不变。宽表记录的格式是每个厂商是一个观察,没有时期变量,雇佣人数有两个变量,分别记录2000年和2001年的人数,所在城市只有一个变量。所谓长表是行为者和时期共同定义观察,在上面的例子中,每个厂商有两个观察,有时期变量,雇佣人数和所在城市都只有一个,它们和时期变量共同定义相应时期的变量取值。

在上面的例子下,把宽表变成长表的命令格式如下:

reshape long (雇佣人数的变量名), i((标记厂商的变量名)) j((标记时期的变量名))

因为所在城市不随时期变化,所以在转换格式时不用放在reshape long后面,转换前后也不改变什么。相反地,如果把长表变成宽表则使用如下命令

reshape wide (雇佣人数的变量名), i((标记厂商的变量名)) j((标记时期的变量名))

唯一的区别是long换成了wide。

collapse的用处是计算某个数据库的一些统计量,再把它存为只含有这些统计量的数据库。用到这个命令的机会不多,我使用它是因为它可以计算中位数和从1到99的百分位数,这些统计量在常规的数据描述命令中没有。如果要计算中位数,其命令的语法如下

collapse (median) ((变量名)), by((变量名))

生成的新数据库中记录了第一个括号中的变量(可以是多个变量)的中位数。右面的by选项是根据某个变量分组计算中位数,没有这个选项则计算全部样本的中位数。

合并数据库有两种方式,一种是增加观察,另一种是增加变量。第一种用append,用在两个数据库的格式一样,但观察不一样,只需用append空格using空格(文件名)就可以狗尾续貂了。简单明了,不会有什么错。另一种就不同了,需要格外小心。如果两个数据库中包含共同的观察,但是变量不同,希望从一个数据库中提取一些变量到另一个数据库中用merge。完整的命令如下:

use (文件名)                [打开辅助数据库]
sort (变量名)    [根据变量排序,这个变量是两个数据库共有的识别信息]
save (文件名), replace    [保存辅助数据库]
use (文件名)                [打开主数据库]
sort (变量名)    [对相同的变量排序]
merge (变量名) using (文件名), keep((变量名))
                                    [第一个变量名即为前面sort后面的变量名,文件名是辅助数据库的名字,后面的变量名是希望提取的变量名]
ta _merge                        [显示_merge的取值情况。_merge等于1的观察是仅主库有的,等于2的是仅辅助库有的,等于3是两个库都有的。]
drop if _merge==2            [删除仅仅来自辅助库的观察]
drop merge                    [删除_merge]
save (文件名), replace        [将合并后的文件保存,通常另存]

讲到这里似乎对于数据的生成和处理应该闭嘴了。大家可能更想听听估计、检验这些事情。但我并不想就此止住,因为实际中总是有一些简单套用命令无法轻易办到的特殊要求。此时至少有两条路可以通向罗马:一是找到更高级的命令一步到位;二是利用已知简单命令多绕几个圈子达到目的。

下面讲一个令我刻骨铭心的经历,这也是迄今我所碰到的生成新数据中最繁复的了。原始数据中包含了可以识别属于同一个家庭中所有个人的信息和家庭成员与户主关系的信息。目的是利用这些信息建立亲子关系。初步的构想是新数据库以子辈为观察,找到他们的父母,把父母的变量添加到每个观察上。我的做法如下:

use a1,clear                    [打开全部样本数据库]
keep if gender==2&agemos>=96&a8~=1&line<10
[保留已婚的一定年龄的女性]
replace a5=1 if a5==0   
[变量a5标记和户主的关系。等于0是户主,等于1是户主的配偶。这里不加区分地将户主及其配偶放在一起。]
keep if a5==1|a5==3|a5==7
[保留是户主(=1),是户主的子女(=3),或是户主的儿媳(=7)的那些人。]

ren h hf                        [将所需变量加上后缀f,表示女性]
ren line lf                        [将所需变量加上后缀f,表示女性]
sort wave hhid
save b1,replace                [排序并保存]

keep if a5f==1                [留下其中是户主或户主配偶的]
save b2,replace                [保存]

use b1,clear
keep if a5f==3|a5f==7
save b3,replace                [留下其中是户主女儿或儿媳的并保存]

use a3,clear                    [打开与户主关系是户主子女的儿童数据库]
sort wave hhid
merge wave hhid using CHNS01b2, keep(hf lf)
ta _merge
drop if _merge==2
sort hhid line wave            [处理两代户,将户主配偶女性库与儿童库合并]

by hhid line wave: egen x=count(id)
drop x _merge                [计算每个年份家庭匹配的情况,x只取值1,表明两代户匹配成功]
save b4,replace                [保存]

use a4,clear                    [打开与户主关系是户主孙子女的儿童数据库]
sort wave hhid
merge wave hhid using CHNS01b3, keep(a5f a8f schf a12f hf agemosf c8f lf)
ta _merge
drop if _merge==2            [处理三代户,将户主女儿或儿媳女性库与孙子女儿童库合并]

sort hhid line wave
by hhid line wave: egen x=count(id)
gen a=agemosf-agemos
drop if a<216&x==3            [计算每个年份家庭匹配的情况,x不只取1,三代户匹配不完全成功。删除不合理的样本,标准是年龄差距和有三个可能母亲的那些家庭。]

gen xx=x[_n+1]
gen xxx=x[_n-1]
gen y=lf if x==1
replace y=lf[_n+1] if x==2&xx==1
replace y=lf[_n-1] if x==2&xxx==1
keep if x==1|(lf==y&x==2)
[对于有两个可能母亲的儿童,有相同编码的女性出现两次的情况。上面的做法是为了保证不删除这部分样本。]

drop a x xx xxx y _merge
save b5,replace                [保存合并后的数据库]

[对男性数据的合并完全类似,不赘述。]

log close
exit,clear

我的方法是属于使用简单命令反复迂回地达到目的那一类的,所以非常希望有更简便的方法来替代。不过做实证时往往不是非常追求程序的漂亮,常常也就得过且过了。曾经有人向我索要过上面的处理方法,因为一直杂事缠身,就没有回复。现在公开了,希望对需要的人能有所帮助,我也懒得再去一一答复了。

文章评论
关注我们
看过本文的人还看过了
    MySQL Query : SELECT * FROM `efn_www`.`cms_news` WHERE status=99 AND catid IN (104,1516,1517,1518,1519,1537,1538,1540,1714,1716,1730,1790,1791,1792,1793,1794,1795,1796,1797,1798,1799,1800,1801,1802,1803,1804,1805,1806,1807,1808,1809,1810,1811,1812,1813,1814,1815,1816,1817,1818,1819,1820,1731,1821,1822,1823,1824,1825,1826,1827,1828,1732,1829,1830,1831,1832,1833,1834,1835,1836,1837,1838,1839,1733,1840,1841,1842,1843,1844,1845,1734,1846,1847,1848,1849,1850,1851,1717,1735,1852,1853,1854,1855,1856,1857,1858,1859,1860,1736,1861,1862,1863,1864,1865,1866,1737,1867,1868,1869,1870,1871,1718,1738,1872,1873,1874,1875,1876,1877,1878,1879,1880,1881,1739,1882,1883,1884,1885,1886,1887,1740,1888,1889,1890,1891,1892,1893,1894,1895,1896,1897,1898,1899,1741,1900,1901,1902,1903,1904,1905,1906,1907,1908,1909,1910,1911,1912,1913,1742,1914,1915,1916,1917,1918,1919,1920,1921,1922,1923,1924,1925,1926,1743,1927,1928,1929,1930,1931,1744,1932,1933,1934,1935,1936,1937,1719,1745,1938,1939,1940,1941,1942,1943,1944,1945,1946,1947,1948,1949,1950,1746,1951,1952,1953,1954,1955,1956,1957,1747,1958,1959,1960,1961,1962,1720,1748,1983,1984,1985,1986,1987,1988,1989,1990,1991,1992,1993,1994,1995,1996,1997,1998,1749,1999,2000,2001,1750,2002,1721,1751,2003,2004,2005,2006,2007,2008,1752,2009,2010,2011,2012,2013,2014,1753,2015,2016,2017,1754,2018,2019,2020,2021,1755,2022,1722,1756,2023,2024,2025,2026,2027,2028,2029,1757,2030,2031,2032,2033,1758,2034,1759,2035,1760,2036,2037,1723,1761,1762,1763,1715,1724,1725,1764,1765,1766,1767,1768,1769,1770,1771,1772,1773,1774,1775,1776,1777,1778,1779,1780,1781,1782,1783,1784,1785,1786,1787,1788,1789,1726,1727,1728,1729,1541,1542,2164,2167,2168,2165,2169,2170,2171,2172,2173,2174,2175,2176,2177,2178,2166,2179,2180,105,2199,2201,2202,2203,2200,2204,2205,2206,106,1543,1548,1551,1552,1553,1554,1555,1556,1557,1558,1559,1560,1561,1562,1563,1564,1565,1566,1567,1568,1569,1570,1571,1572,1573,1574,1575,1576,1577,1578,1579,1580,1581,1582,1583,1584,1585,1586,1587,1588,1589,1590,1591,1592,1593,1594,1595,1596,1597,1598,1599,1600,1601,1602,1603,1604,1605,1606,1607,1608,1609,1610,1611,1612,1613,1614,1615,1616,1617,1618,1619,1620,1621,1622,1623,1624,1625,1627,1628,1629,1630,1631,1632,1633,1634,1635,1636,1637,1638,1639,1640,1549,1641,1642,1643,1644,1645,1646,1647,1648,1649,1650,1651,1652,1653,1654,1655,1656,1657,1658,1659,1660,1661,1662,1663,1664,1665,1666,1667,1668,1669,1670,1671,1672,1673,1674,1675,1676,1677,1678,1679,1680,1681,1682,1683,1684,1685,1686,1687,1688,1550,1689,1690,1691,1692,1693,1694,1695,1696,1697,1698,1699,1700,1701,1702,1703,1704,1705,1706,1707,1708,1709,1544,1710,1711,1712,1545,1546,2038,2256,2257,107,108,32,2186,2188,2189,2190,2191,2192,2193,2194,2195,2187,2196,2197,2198,114,115,122) ORDER BY rand() LIMIT 5
    MySQL Error : Got error 28 from storage engine
    MySQL Errno : 1030
    Message : Got error 28 from storage engine
    Need Help?