Public Policy in an Uncertain World: Analysis and Decisions

by Charles F. Manski

Public policy advocates routinely assert that “research has shown” a particular policy to be desirable. But how reliable is the analysis in the research they invoke? And how does that analysis affect the way policy is made, on issues ranging from vaccination to minimum wage to FDA drug approval? Charles Manski argues here that current policy is based on untrustworthy analysis. By failing to account for uncertainty in an unpredictable world, policy analysis misleads policy makers with expressions of certitude. Public Policy in an Uncertain World critiques the status quo and offers an innovation to improve how policy research is conducted and how policy makers use research.

Consumers of policy analysis, whether civil servants, journalists, or concerned citizens, need to understand research methodology well enough to properly assess reported findings. In the current model, policy researchers base their predictions on strong assumptions. But as Manski demonstrates, strong assumptions lead to less credible predictions than weaker ones. His alternative approach takes account of uncertainty and thereby moves policy analysis away from incredible certitude and toward honest portrayal of partial knowledge. Manski describes analysis of research on such topics as the effect of the death penalty on homicide, of unemployment insurance on job-seeking, and of preschooling on high school graduation. And he uses other real-world scenarios to illustrate the course he recommends, in which policy makers form reasonable decisions based on partial knowledge of outcomes, and journalists evaluate research claims more closely, with a skeptical eye toward expressions of certitude.

Genres: Economics, Politics, Public Policy, Science, Nonfiction

224 pages, Hardcover

First published February 11, 2013

Reviews

[Vadim]

Логик Карвет Рид писал: "лучше смутная истина, чем точная ошибка" ("It is better to be vaguely right than exactly wrong"). Книга Чарльза Мански "Государственная политика в мире неопределенности" предоставляет убедительную защиту этого тезиса на примере экономической теории. Он показывает, что погоня за точностью, однозначностью оценки последствий политики ("мера приведет к росту среднедушевых доходов на 3,278%") нередко оборачивается своей противоположностью -- обнародованием данных, которые заведомо неверны, и потому никак не могут считаться точным сообщением о чем-либо интересном для людей. Ложная точность достигается за счет использования нереалистичных или спорных по другим причинам предпосылок (неверно широко принятых у исследователей в силу соображений удобства), а также того, что многочисленные источники потенциальных ошибок в оценках явно или неявно признаются несущественными или несуществующими.

По мнению Мански, публика должна предъявлять более квалифицированный спрос на результаты работы исследователей: нельзя требовать от них неправдоподобной точности (на которую исследователи, увы, соглашаются), а нужно требовать от них описания связанных с их оценками неопределенности. Оценка роста доходов в 3,278% заведомо неточна, тогда как прояснение диапазона вероятных значений роста как "от 3 до 4%" или "от -3% до 10%" даст полезную информацию для принятия решений, хотя бы в первом случае. Книга полна интересных практических примеров оценки государственной политики, но если она всего лишь научит задавать два вопроса -- "есть ли оценка последствий?" и "какова надежность этой оценки?" -- она уже предоставит читателю возможность стать более компетентным судьей в общественных делах.

[Thomas]

Thought provoking book on the credibility of research. Excellent read for practitioners and policy makers alike. Manski seemingly falls short, however, of providing a clear case for the practicality of interval estimates as opposed to point estimates, the latter of which appear much more useful in the eyes of current politicians and policy makers.

[Liam]

"When researchers say that randomized experiments constitute the 'gold standard' for evidence on treatment response, they have in mind an ideal case where treatment response is individualistic, all subjects comply with their assigned treatments, and it is credible to extrapolate from the experiment to the question of policy interest. Experiments regularly deviate from this ideal in practice..." (67)

"I see no reason why a scientist should choose to make predictions under a single hypotheses, dismissing others that are plausible and consistent with available evidence. Doing so gives an impression of predictive power that one does not really have." (105)

"I argue that a person facing an actual decision problem is not concerned with the consistency of his behavior across hypothetical choice scenarios. He only wants to make a reasonable choice in the setting that he actually faces. Hence, normative decision theory should focus on what I call actualist rationality. ... In the language of philosophical ethics, actualist rationality is consequentialist -- once values a prescription for decision making for its welfare consequences. The rationality of axiomatic theory is deontological -- one values consistency of behavior across choice scenarios for its own sake." (135)

[Gelijn Werner]

Ongelofelijk belangrijk inzicht van topeconometrist in de verschillende vormen van zekerheden die beleidsmakers en economen veinzen in een onzekere wereld, de manier waarop je denkfouten kunt herkennen en hoe je dan wél gedrag kunt voorspellen en beleid kunt maken in een onzekere wereld. De assumptie van het boek: assumptie + data = conclusie. Een sterkere conclusie gaat doorgaans samen met sterkere assumpties. De vraag is: hoe herken je dat? En als voorspelling van gedrag en maken van beleid dan zo vaak mis gaat, hoe kan het dan beter? Als het niet soms taai/saaiig was dan vijf sterren.

[Mills College Library]

320.6 M288 2013