73924 DISCUSSION PAPER NO. 1220 Evaluating the Efficacy of Mass Media and Social Marketing Campaigns in Changing Consumer Financial Behavior Florentina Mulaj and William Jack November 2012   Evaluating the Efficacy of Mass Media and Social Marketing Campaigns in Changing  Consumer Financial Behavior    Florentina Mulaj and William Jack    November 2012       Abstract    Mass media and social marketing programs are cheap, scalable, and potentially effective means  of  influencing  consumers’  financial  behavior  and  decisions.  In  light  of  this  potential,  and  in  order  to  provide  clear  policy  direction,  this  paper  provides  an  overview  of  the  existing  and  ongoing  research  efforts  in  this  domain,  and  highlights  the  importance  of  expanding  the  evidence  base  by  conducting  rigorous  impact  assessments  in  this  field.  Exploring  four  case  studies,  it  provides  lessons  in  designing  effective  evaluations  specifically  targeting  mass  media  and  social  marketing  programs  on  consumer  financial  management,  highlights  the  value  of  incorporating  insights  from  behavioral  psychology  in  program  design,  and  suggests  avenues  for  future research.           JEL Classification: C93, D14, D03, L82  Keywords: financial education, financial literacy, financial capability, entertainment education,  consumer financial behavior                                                                  William  Jack,  Georgetown  University.  Correspondence  e�mail:  wgj@georgetown.edu.  Florentina  Mulaj,  World  Bank.  Correspondence  e�mail:  fmulaj@worldbank.org.  All  views  expressed  in  this  article  are  those  of  the  authors  and do not necessarily represent the views of, and should not be attributed to, the organizations associated.  1    Table of Contents    Abstract     Introduction .................................................................................................................................... 3  Literature Review ...........................................................................................................................  6  Insights From Behavioral Psychology ..........................................................................................  11  Can Mass Media and Social Marketing be Applied in Consumer Finance? ............................... 14  Focus on Evaluation .....................................................................................................................  16  1.1. South Africa: Use of Soap�Opera Edutainment for Debt Management .................... 17  1.2. Nigeria: A Feature Film on Financial Management.................................................... 20  1.3. Nigeria: A Large�Scale Savings Promotion Campaign ................................................ 22  1.4. Kenya: Financial Education through Comics, Radio, and Social Networking ............. 24  Lessons and Areas for Further Research .....................................................................................  27  Conclusion .................................................................................................................................... 30    References    List of Figures  Figure 1:   Evaluation Flowchart for South Africa “Soap Opera� Project  Figure 2:   Evaluation Flowchart for Nigeria “Story of Gold Feature Film� Project  Figure 3:   Evaluation Flowchart for Nigeria “I�Save I�Win Savings Campaign� Project  Figure 4:   Evaluation Flowchart for Kenya “Financial Education� Project    List of Tables  Table 1:   National Strategies for Financial Education and Stages of Development            2    I. INTRODUCTION    In recent years, and especially in the wake of the latest financial crisis, the world has witnessed  a  growing  interest  in  increasing  levels  of  financial  literacy  and  capability  of  individuals  to  empower  them  in  their  engagement  with  financial  markets  both  in  developed  and  developing  countries.  This  is  in  particular  prominent  in  emerging  economies  with  populations  exhibiting  lower  levels  of  education  but  experiencing  a  rapidly  increased  access  to  formal  financial  services  and  products.  The  spread  of  communication  networks  and  technology�based  branchless  banking  has  accelerated  this  outreach  to  the  low�income  and  the  most  vulnerable  groups  of  populations  in  remote  communities  not  previously  reached  by  traditional  financial  networks.  Through  different  local  shops  and  community  centers,  these  individuals  now  have  access  to  basic  banking  services,  such  as  deposit  and  withdrawal  functions,  savings  accounts,  credit, micro insurance, including remittance services. A recent study by the Citi Foundation and  the  Monitor  Group  reports  that  between  500  to  800  million  of  the  world’s  poor  now  have  access  to  finance,  but  only  25  percent  of  this  population  has  received  any  form  of  training  about  the  use  of  financial  services  and  products  (Deb  and  Kubzansky,  2012).  Many  of  these  consumers represent first time users in many of the newly developed markets, making financial  choices  that  impact  not  just  their  own  well�being,  but  that  of  their  families  and  potentially  the  economy  as  a  whole.  Recognizing  the  urgent  need  to  protect  these  individuals  and  to  cultivate  a  responsible  financial  management  culture,  it  has  now  become  uncontested  among  the  international  community  that  a  liable  financial  inclusion  agenda  must  include  investments  in  individuals themselves to help them make better financial choices.     In  response  to  this  widespread  agreement  in  addressing  the  financial  literacy  and  capability  gap,  a  number  of  countries  have,  and  many  others  are  in  the  process  of,  establishing  national  strategies  for  financial  literacy  and  education  with  the  objective  of  aligning  the  public  and  the  private  sector  to  a  shared  agenda  and  highlighting  that  a  financially  capable  population  is  fundamental  to  economic  stability.  To  date,  there  are  eight  high�income  and  three�middle  income  countries  with  established  national  strategies  (some  predating  the  recent  financial  3    crisis),  and  an  additional  fifteen  countries  (ten  of  which  are  middle  and/or  low  income)  are  in  the process, with a growing number interested in joining the efforts (Grifoni and Messy, 2012).     Table 1: National Strategies for Financial Education and Stages of Development  National Strategy  Count  Countries  1) Countries that have designed    Australia (2011), Brazil (2010), Czech Republic (2010), Ghana (2009), India  and implemented    (2006/2010), Ireland** (2009), Japan (2005), Malaysia (2003), Netherlands  (implementation date)  15  (2008), New Zealand (2008, 2010), Portugal (2011), Slovenia (2011), Spain  (2008), United Kingdom (2003), United States (2006, 2011)  2) Countries that have started    Canada, Colombia, Estonia, Indonesia, Kenya,  Latvia,  Lebanon, Malawi,  considering and/or designing  21  Mexico, Peru, Poland, Romania, Serbia, South Africa, Sweden, Tanzania,  a NS (not yet implemented)  Turkey, Uganda, Russian Federation, Thailand, Zambia    * Updated as of February 2012. Source: Grifoni, Messy (2012), OECD.    By  contract,  as  the  attention  of  the  governments  on  this  policy  issue  has  heightened  attempts  to  provide  concrete  policy  directions  have  been  less  successful.  While  there  might  be  many  reasons  behind  this  shortcoming,  two  are  especially  salient  and  deserve  consideration.  First,  the  limitation  is  in  part  because  the  debate  around  this  topic  has  evolved  in  definition  and  scope. The concept of what it means to be financially capable has changed from an initial focus  on knowledge and ability to answer numeric questions, known as financial literacy, to a broader  concept  encompassing  skills,  attitudes  and  most  importantly  habit  formation  and  expected  behavior,  which  is  now  recognized  in  the  literature  as  financial  capability.  Second,  empirical  evidence  to  date  both  in  support  of  theory  and  in  terms  of  efficacy  of  interventions  is  insufficient  to  guide  policy.  A  growing  body  of  survey  research  suggests  a  strong  correlation  between  financial  literacy  levels  and  financial  well�being,  however  the  extent  to  which  this  relationship is  causal is  yet  inconclusive.  At  the  same  time,  though  the  number  of experimental  studies  in  low�  and  middle�income  countries  aimed  at  theory  validation  and  causality  determination  has  grown  in  the  last  couple  of  years,  the  results  are  still  pending,  leaving  many  questions  open  in  the  interim.  Some  of  these  questions  are  fundamental,  such  as,  does  improving  financial  literacy  lead  to  desired  behavioral  outcomes?  And  if  so,  what  methods  are  the most effective and feasible in achieving this goal, especially in developing country contexts?     4    To  support  rigorous  research  that  contributes  to  the  available  evidence  base  in  this  field  and  test different  theories on financial capability, the World Bank�managed Trust Fund for Financial  Literacy  and  Education  supported  by  the  Russian  Federation,  the  Fund,  has  financed  17  impact  evaluations  in  developing  countries,  all  of  which  are  currently  undergoing  implementation  and  are  expected  to  produce  results  by  the  end  of  2012  and  early  2013.   The  Fund’s  overall  goal  is  threefold:  1)  develop  survey  methods  for  measuring  financial  capability  levels  in  low�  and  middle�  income  countries,  2)  develop  a  methodological  toolkit  to  guide  evaluation  of  financial  capability programs; and 3) help expand the existing evidence on this topic (Holzmann, 2010).     Especially  concerned  with  the  paucity  of  rigorous  studies  to  guide  strategy  on  the  financial  capability agenda, the Fund recognizes the need to first develop and adapt evaluation methods  to  specifically  target  financial  capability  programs,  and  second,  of  equal  importance,  to  learn  what  programs  work  in  developing  countries.  The  aforementioned  17  evaluations  have  been  financed  with  this  purpose  and  selected  to  address  particular  gaps  in  research  both  in  terms  of  development  of  evaluation  methods  and  in  testing  different  channels  of  delivering  education  (including  experimentation  in  different  settings  and  targeting  different  groups).  The  evaluation  methods  in  these  studies  predominately  use  randomized  experimental  approaches,  in  some  cases supplemented with process and qualitative research techniques.      A  specific  area  of  research  that  the  Fund  has  explored  in  more  depth  is  the  use  of  mass  media  and  social  marketing  tools  to  deliver  financial  education  and  information  with  the  objective  of  influencing  a  change  in  behavior  toward  expected  outcomes.  The  Fund’s  efforts  in  this  area  began with a conference held in collaboration with the World Bank’s Finance and Private Sector  Development Network, in Washington D.C., on June 21, 2011. The objective of this event was to  mobilize the expertise  in the field to discuss the experiences with the application of these tools  in other policy areas and to develop a road map for experimentation in consumer finance.1                                                                   1  Information related to the conference, including agenda and speaker presentations, may be found on the Trust  Fund’s website at: http://www.finlitedu.org/news/program�evaluation/14/  5    There  are  two  main  reasons  why  research  in  this  domain  is  important  in  advancing  the  debate  in  the  field.  First,  though  limited  in  number,  the  results  from  completed  randomized  studies  to  date  do  not find  much  impact  of  financial education  delivered  through traditional  school�based  methods,  including  workshops  and  seminars.  While  the  causes  behind  this  inadequacy  are  not  entirely  clear,  these  findings  warrant  further  experimentation,  especially  with  delivering  educational  content  through  non�traditional  channels,  such  as,  but  not  limited  to,  the  use  of  commercial  entertainment  media  (television,  radio,  feature  films,  sms�mobile,  internet�based  social  networking,  comics  and  computer  games,  etc)  and  marketing  campaigns,  and  testing  the  extent  to  which  the  modes  of  delivery  affect  outcomes.  Second,  from  an  evaluation  perspective, the use of experimental methods in assessing impact of mass media and marketing  interventions  presents  serious  evaluation  challenges,  which  to  an  extent  might  explain  the  scarcity of robust studies targeting these programs.     In  this  direction,  this  paper  provides  an  overview  of  the  Fund’s  work  on  this  topic  and  motivation  behind  this  research.  It  argues  that  the  media  and  marketing  tools  present  great  potential  for  application  in  personal  finance  to  change  consumer  behavior,  but  more  scientific  evaluations  are  needed  to  build  evidence  to  guide  policy.  Quality  evaluation,  however,  is  challenging.  Thus,  the  second  part  of  this  paper  presents  challenges  and  lessons  learned  in  conducting  field  experiments  using  four  different  case  studies  specifically  designed  to  use  mass  media  and  marketing  techniques  in  consumer  finance.  It  concludes  with  recommendations  on  how  to  design  proper  evaluations  of  such  programs  and  puts  forth  policy  questions  in  need  for  further research.     II. LITERATURE REVIEW    A  persuasive  body  of  survey  evidence  finds  correlation  between  financial  literacy  and  household  well�being.  Lower  levels  of  financial  literacy  have  been  found  to  be  negatively  related  with  engagement  in  saving,  credit,  and  investment  practices  (Hilger,  Hogarth,  and  Beverly,  2003),  with  planning  for  retirement  (Lusardi  and  Mitchell,  2007a),  borrowing  at  high  6    interest  rates  (Stango  and  Zinman,  2008),  acquiring  fewer  assets  (Lusardi  and  Mitchell,  2007b),  with  the  use  of  informal  sources  of  borrowing,  and  more  generally  with  participation  in  financial  markets  (Lusardi,  Klapper,  and  Georgios,  2011).  On  the  contrary,  however,  the  majority of the results collected through experimental studies provide inconclusive evidence on  the extent to which this relationship is causal, with some early indications suggesting that while  education  enhances  literacy,  it  in  fact  falls  short  in  changing  behavior  (Duflo  and  Saez,  2003;  Cole et al., 2011).    In  comparison  to  the  research  in  high�income  economies,  research  on  this  topic  in  low�  and  middle� income countries has not until recently received attention by the academic community.  Until  early  2012,  the  only  completed  randomized  experiment  of  a  financial  education  program  in  a  developing  country  was  by  Cole,  Sampson,  and  Zia  (2001)  in  Indonesia,  which  studied  the  impact  of  financial  education  training  on  savings  behavior  among  the  unbanked.  The  study  found  no  impact  on  the  overall  population;  nevertheless  detected  a  small  increase  in  demand  for  savings  accounts  among  the  individuals  with  initial  low  levels  of  financial  literacy.  An  interesting  finding  was  that  providing  a  subsidy  increased  the  probability  of  opening  a  bank  account,  and  a  follow  up  analysis  two  years  later  found  that  those  that  were  offered  subsidies  were  more  likely  to  continue  using  banking  services,  suggesting  that  financial  education  alone  may not be sufficient in changing behavior. Similarly, a randomized study by Karlan and Valdivia  (2009)  examined  the  impact  of  a  business  education  program  delivered  to  a  female  entrepreneur group in Peru, and found limited impact on knowledge and behavior. Though this  particular  training  was  not  specifically  on  financial  literacy,  the  intervention  had  the  same  goal,  which  is  to  raise  knowledge  so  as  to  induce  behavioral  change.  Along  same  lines,  a  study  conducted  by  McKenzie  and  Weber  (2009)  in  Uganda,  also  examining  the  effect  of  business  training targeting female entrepreneurs, found no significant impact on behavior.    Recognizing  the  need  for  further  evidence  to  better  understand  the  relationship  and  the  direction  of  causality  between  financial  literacy  and  outcomes  of  interest,  rigorous  experimental  studies  in  developing  countries  have  proliferated  in  the  last  couple  of  years,  with  7    many of the studies approaching completion and the results stage. A well�cited paper by Xu and  Zia  (2011)  provides  a  comprehensive  overview  of  this  growing  number  of  ongoing  evaluations,  explains  the  focus  and  scope  of  the  studies,  and  the  expected  contributions  in  the  literature.  While  there  is  a  lot  to  learn  from  the  forthcoming  evidence,  it  is  worth  noting  that  most  of  these  experiments  test  the  impact  of  delivering  financial  education  through  school�based  programs,  including  workshop  and  seminars.  Areas  of  research  that  remain  understudied  include  a  comparison  of  the  relative  impact  of  delivering  the  same  content  to  the  same  target  audience but through different delivery channels, especially comparing the traditional methods  of classroom models to more untraditional, such as using media, marketing, and entertainment  outlets.  Of  similar  importance,  is  unpacking  the  content  to  test  the  impact  of  the  quality  of  education, intensity and duration of exposure to information.     As  indicated  earlier,  the  forthcoming  literature  currently  underway  in  low�  and  middle�  income  countries funded by the World Bank’s Financial Literacy Trust Fund is aimed at addressing some  of  these  gaps  in  research.  The  next  section  provides  a  summary  of  this  literature,  including  a  couple early observations and findings from some of these studies.     Traditional Financial Education: Schools, Workshops and Training Seminars  Bruhn  and  Zia  (2012)  use  a  randomized  controlled  trial  to  assess  whether  high  school  �nancial  education  in  Brazil  improves  students’  and  parents’  knowledge,  attitudes  and  behavior.  This  is  the  first  large�scale  rigorous  impact  evaluation  of  a  financial education  program  in  schools,  and  is  one  of  the  largest  randomized  evaluations,  including  nearly  900  schools  and  26,000  students  across  five  states  in  Brazil.  The  study  was  conducted  during  two  academic  school  years,  from  August  2010  to  December  2011.  Results  from  the  follow�up  surveys  revealed  that  the  program  had  some  impact  on  students’  financial  literacy  levels  (5�7  percent  increase),  and  improved  students’ attitudes. The results also report changes in behavior based on self�reported data.2                                                                 2  These results are based on an authors’ presentation in a World Bank conference in Saint Petersburg, Russia, June  26�27, 2012. Presentation material is available on the World Bank Trust Fund for Financial Literacy and Education  website: http://www.finlitedu.org/evaluation/wb/pilots/brazil1/  8    Gibson, McKenzie, and Zia (2012) studied the impact of a training program in Australia and New  Zealand,  targeting  migrant  workers  and  their  remitting  behavior.  The  training  consisted  of  a  2� hour  session,  including  written  material  focusing  on  reasons  to  remit,  strategies  for  comparing  costs,  and  information  about  different  remittance  products.  The  results  showed  that  the  training led to increases on knowledge, e.g. migrants were 12�16 percent more likely to know it  is cheaper to send a large transfer than individual smaller ones, and 10�52 percent points more  likely  to  know  the  cheapest  method  of  remitting.  The  study  also  found  that  migrants  changed  some  financial  behavior  in  response  to  the  knowledge  gained.  However,  the  training  was  not  found to change frequency of remitting, the amount remitted, or the take�up of products.    Three  other  studies  examine  the  impact  of  financial  education  on  low  income  populations  through  workshop  trainings  and  seminars.    In  South  Africa,  Cole  and  Zia  (forthcoming)  use  a  randomized  experimental  design  to  evaluate  the  impact  of  a  group�based  interactive  financial  literacy  seminar  delivered  to  members  of  burial  societies  and  women’s  development  groups  in  the  Eastern  Cape.  The  study  measures  impact  on  savings,  remittances,  credit  and  product  selection.  In  Mexico,  Bruhn,  Ibarra,  and  McKenzie  (forthcoming)  conduct  a  randomized  experiment  to  measure  the  impact  of  financial  literacy  training  on  savings,  borrowing,  and  credit card usage of bank consumers.     In  India,  Sarr  (forthcoming)  conducts  two  separate  randomized  experiments,  supplemented  with  process  evaluation.  One  evaluates  a  classroom  and  one�on�one  financial  literacy  training  on financial management delivered in conjunction with mobile and doorstep banking, targeting  low�income  households  primarily  employed  in  the  informal  economy.  The  second  study  measures  the  impact  of  classroom  training  on  savings,  general  financial  management,  and  product selection, combined with reminders and follow�up visits to participating households.     Non�Traditional Financial Education: Use of Mass Media and Entertainment   In India and Kenya, Gine, Karlan, and Ngathia (forthcoming) use a randomized controlled trial to  evaluate  the  impact  of  a  financial  education  program  on  the  farmers’  decisions  to  purchase  9    index�based  weather  insurance  and  to  examine  social  network  spillovers.    The  program  uses  comic books as a delivery mechanism of financial education.     In  South  Africa,  Berg  and  Zia (forthcoming)  are  testing  the  impact  of  financial  literacy  messages  delivered  through  mass  media  and  soap  operas  on  debt  management.  Along  similar  lines,  in  Nigeria, Coville and Di Maro (forthcoming) conduct an evaluation using a randomized controlled  trial  approach  to  assess  the  extent  to  which  a  feature  �lm  produced  through  the  Nigerian  Film  Industry can promote responsible borrowing and savings strategies.    In  Kenya,  Habyarimana  and  Jack  (forthcoming)  use  a  randomized  trial  approach  to  test  the  absolute  and  relative  impact  of  the  different  financial  education  delivery  mechanisms  on  the  financial  capability  and  behavior  of  Kenyan  youth.  The  study  compares  the  impact  of delivering  education in classroom through a comic book format and pre�recorded radio shows delivered in  CDs.  This  is  the  first  study  to  compare  different  channels  of  delivering  financial  education  to  students as compared to many existing and ongoing studies that focus on one intervention.     Kaufman  and  Shue  (forthcoming)  conduct  an  experiment  in  Nigeria  to  measure  the  impact  of  a  national  marketing  campaign  to  encourage  savings.  The  study  examines  the  extent  to  which  different  components  of  the  larger  campaign  influence  take�up  rates.  Secondly,  the  study  explores  “learning  by  doing�.  That  is,  the  extent  to  which  participation  in  lottery  will  by  itself  motivate  people  to  continue  saving  and  engage  in  other  banking  practices.  Another  study  measuring  the  impact  of  “learning  by  doing�  is  conducted  by  Legovini,  Di  Maro,  and  Kanz  (forthcoming).  Drawing  from  literature  on  behavioral  finance,  this  study  works  with  the  Brazilian  stock  market  to  test  a  range  of  interventions  on  investment  behavior,  including  an  online stock market simulator used as an environment to deliver financial education.     Financial Education though Combined Interventions  In  Mexico,  Gine  and  Mazer  (forthcoming)  use  a  randomized  controlled  trial  approach  to  evaluate  the  effectiveness  of  Mexico’s  government  mandated  credit  disclosure  reform  on  10    consumers’  knowledge  and  understanding  of  the  financial  products  and  their  financial  choices.  The  intervention  uses  a  combination  of  standard  product  disclosure  formats  with  one�on�one  counseling services and mobile SMS reminders.     In Dominican Republic, Gine, Karlan, and Fischer (forthcoming) assess whether conditional cash  transfer  programs  can  be  leveraged  to  deliver  financial  education  and  impact  both  knowledge  and behavior. In Malawi, Gine (forthcoming) utilizes a randomized controlled trial to investigate  innovative  ways  to  address  low  levels  of  formal  savings  by  leveraging  psychological  mechanisms.  It  examines  whether  direct  deposit  of  wages,  as  opposed  to  receiving  cash,  can  help  individuals  to  match  desired  savings  and  expenditure  patterns  with  actual  behavior.  In  addition,  the  study  explores  how  a  combination  of  formal  financial  products  and  training  can  help to activate mental accounting to facilitate savings.    In  Uganda,  Goldstein  and  Zia  (forthcoming)  conduct  a  randomized  evaluation  to  identify  the  impact  of  a  comprehensive  financial  management  and  vocational  training  program  for  small� scale industries, focusing on network effects. More specifically, the study examines whether the  enhanced  knowledge  received  through  the  training  program  spreads  to  other  businesses  and  across business networks, influencing certain behavior among the untreated population.    III. INSIGHTS FROM BEHAVIORAL PSYCHOLOGY    While most of the approaches to addressing the financial capability gap to date are built on the  premise  that  enhanced  knowledge  and  access  to  financial  services  and  products  contributes  to  desirable  behaviors,  literature  from  behavioral  economics  challenges  this  theory.  Critics  maintain  that  not  all  individuals  act  rationally  (Thaler,  1980)  and  that  in  addition  to  external  barriers,  many  different  intrinsic  psychological  characteristics  can  lead  to  irrational  and  undesirable  choices,  even  among  a  literate  and  well  informed  population.  The  field  of  behavioral  economics  is  vast  in  research  in  support  of  this  view,  citing  different  psychological  and  emotional  biases  that  can  account  for  a  departure  from  rationality.  To  list  just  a  few  11    examples  from  this  literature:  there  is  strong  evidence  that  people  are  loss�averse,  that  is,  attribute  greater  value  to  losses  than  gains  (Kahneman  and  Tversky,  1979);  have  preference  to  remain  at  the  status  quo  (Samuelson  and  Zeckhauser,  1988;  Knetsch,  1989);  have  inconsistent  preferences  and  discount  the  long  term  in  comparison  to  the  present,  both  in  terms  of  reward  and punishment, also known as hyperbolic discounting (Loewenstein and Prelec, 1992; Laibson,  1997).  Other  relevant  biases  identified  include  procrastination,  information  overload,  decisions  based on rules of thumb and overconfidence.     What is even more compelling is that in poverty, many of these behavioral anomalies are more  pronounced.  Much  of  the  research  from  psychology  and  economics  finds  strong  interactions  between  scarcity  of  resources  and  some  of  the  aforementioned  deviant  behaviors.  These  findings,  mainly  emerging  in  the  last  two  decades,  are  profound  in  that  they  challenge  a  previously  dominating  view  (Schultz,  1964)  that  the  poor  individuals  are  not  any  different  from  everyone  else.  An  emerging  school  of  thought  maintains  that  poverty  creates  a  particular  context  that  affects  how  people  think  and  process  information,  often  coupled  with  stress,  desperation  and  more  generally  a  state  of  vulnerability,  resulting  in  different  behavioral  responses (Banerjee 2000; Mullainathan and Thaler 2000; Duflo, 2004).     Further  unpacking  poverty  and  its  unique  underlying  context,  recent  and  ongoing  experimental  work  by  Sendhil  Mullainathan,  Eldar  Shafir,  Marianne  Bertrand  and  their  colleagues, presents  a  slightly  different  approach  to  this  question  and  suggests  that  poverty  doesn’t  just  create  a  unique  context  but  in  fact  creates  a  particular  psychology  that  could  account  for  some  of  the  irrational  decisions  observed  among  the  poor.  One  key  observation  from  this  research  worth  noting  is  the  relationship  between  cognitive  resources  and  long�term  planning.  The  authors  argue  that  cognitive  resources  are  limited  and  that  the  more  cognitive  capacity  the  poor  spend  on  solving  present  problems,  takes  away  from  their  capacity  to  plan  for  the  future.  For  example, in India and Philippines, Mullainathan and Karlan (2009) observe that street vegetable  vendors  take  day  loans  at  high  interest  rates  for  their  working  capital,  and  unable  to  get  out  of  debt over time, rely on growing loans to maintain their business. While there could be different  12    reasons  for  this  behavior,  such  as  lack  of  financial  literacy  or  access  to  savings  instruments,  the  authors  maintain  that  shortsightedness  due  to  limited  cognitive  resources  could  drive  the  behavior.  Mullainathan  detailed  this  theoretical  framework  and  supporting  evidence  from  different  field  experiments  in  a  presentation  for  the  Conference  on  Poverty  and  Behavioral  Economics, held in Helsinki, Finland, in September 2011.3     Another interesting finding from the behavioral literature is that emotions have a strong impact  on  decisions  and  generally  people  are  more  likely  to  act  when  something  appeals  to  their  emotions  than  otherwise  (Andrade  and  Ariely,  2009).  There  is  also  evidence  that  though  the  emotional  state  is  transient,  the  impact  of  decisions  reached  under  an  emotional  state  can  live  longer  than  the  emotional  state  itself  and  guide  future  decisions  (Andrade  and  Ariely,  2009).  Applying  this  in  the  context  of  financial  decision�making,  it  would  suggest  that  even  in  the  absence of a more general knowledge, getting people to act upon their intentions or alter their  behavior, even for a short period of time, could create the basis for their future decisions when  those individuals are faced with similar situations.      In  retrospect,  what  all  these  arguments  from  a  behavioral  perspective  suggest  is  that  there  is  more  to  changing  financial  behavior  than  simply  providing  education  and  access  to  financial  instruments,  and  that  psychological  insights  integrated  in  program  design  could  address  some  of  the  behavioral  biases  (Pathak,  Holmes,  and  Zimmerman,  2011).  This  does  not  imply  that  programs  on  financial  education  should  not  be  promoted;  rather  it  suggests  that  joined  with  behavioral treatment mechanisms, they could potentially be more effective.     While  further  experimentation  in  this  domain  is  necessary  to  guide  policy,  one  approach  that  has  gained  popularity  is  ‘nudging’,  which  refers  to  shifting  behavior  by  altering  the  choices  people  face  (default  setting  is  a  good  example).  The  concept,  though  extensively  used  in  marketing  and  in  other  policy  areas  for  a  long  time,  is  only  recently  receiving  attention  from  behavioral  economists  (Thaler  and  Sunstein,  2009).  Nudging  can  take  different  forms,  from                                                               3  Sendhil Mullainathan, Harvard University, UNU�WIDER Conference on Poverty and Behavioural Economics, 1�2  September 2011, Marina Congress Center, Helsinki, Finland.  13    choice architecture to reminders, incentives, peer pressure, etc.  The basic principle behind this  form  of  intervention  is  to  design  the  environment  in  which  individuals  make  choices  and  decisions.  Another  and  more  direct  approach  applied  with  success  in  many  domains,  especially  public health, is using persuasion (also referred to as advocacy) via social marketing and media,  which  entails  a  short  cut  to  behavioral  change  through  an  appeal  to  emotions  as  opposed  to  following a cognitive route (Holzmann, 2012).    IV. CAN MASS MEDIA AND SOCIAL MARKETING BE APPLIED IN CONSUMER FINANCE?    The general point from the abovementioned literature is that education is not enough and that  persuading  people  and  appealing  to  their  emotions  has  an  effect  on  behavior.    The  question  then  arises,  can  commercial  media  (TV  sitcoms,  dramas,  soap  operas,  and  feature  films)  and  social  marketing  (such  as  public  announcements  and  campaigns)  be  used  to  combine  educational  information  delivery  with  behavioral  treatments  to  improve  financial  literacy  and  overcome  some  of  the  psychological  barriers  that  account  for  undesirable  behavior?  Whereas  media  and  marketing  have  both  been  associated  with  changes  in  social  behavior,  positive  and  negative,  and  there  is  substantial  evidence  of  them  being  effective,  especially  in  the  private  sector,  they  haven’t  been  much  used  in  the  field  of  personal  finance.  For  example,  until  early  2012,  Makutano  Junction  in  Kenya,  funded  by  the  UK  Department  for  International  Development,  represented  one  of  the  few  soap  operas  that  included  financial  education  messages in the storyline with the aim of influencing financial decision�making of Kenyans.4 The  show  has  been  broadcasted  since  2004  and  gained  popularity  in  a  number  of  English�speaking  countries  in  Africa.  While  there  hasn’t  been  any  rigorous  evaluation  of  the  program,  the  Kenya  Broadcast  Corporation  reports  that  thousands  of  viewers  have  contacted  the  broadcast  station  to receive more information related to the messages passed on during the episodes.      In some of the other areas, in particular health, as mentioned previously, these tools have been  used with success for a long time. For instance, as Brazil’s Rede Globo soap opera network grew                                                               4  For more information see http://www.makutanojunction.org.uk/  14    through  the  1970s  and  1980s,  women,  especially  of  a  lower  socioeconomic  status,  also  began  having  fewer  children  (La  Ferrara,  Chong,  and  Duryea,  2008).  Similarly,  the  U.S.  Center  for  Disease Control’s AIDS hotline received a drastic increase in calls in response to two episodes of  a  soap  opera  portraying  a  story  of  a  beloved  character  dealing  with  HIV  positive  diagnosis  (Kennedy et al, 2004). Along the same lines, the evaluation of “the Bold and the Beautiful� soap  opera  revealed  that  after  an  episode  in  which  a  character  discloses  his  HIV�positive  status,  the  number  of  calls  to  the  national  AIDS  hotline  spiked.  A  Kaiser  Family  Foundation  survey  conducted  between  1997  and  2000  with  the  viewers  of  the  “ER�,  an  American  TV  medical  drama series, found that about half of the regular viewers reported learning about health issues  through  the  show.5  Another  well�known  example  is  the  impact  assessment  of  a  condom� efficacy  message  on  teens  incorporated  in  an  episode  in  the  popular  American  TV  sitcom  “Friends�  in  2002.  The  storyline  entails  a  highly  dramatized  argument  between  two  characters  regarding  an  unplanned  pregnancy.  The  main  message  that  appeared  on  the  screen  was:  “condoms  are  only  97%  effective�.  A  survey  conducted  by  RAND  Corporation  found  that  65  percent of the viewers remembered the message (Collins, et al, 2003).    Evidence  of  the  effectiveness  of  social  marketing  campaigns  in  promoting  behavioral  change  is  also  vast  across  many  subject  areas  and  applying  various  techniques,  from  print  handouts  and  billboards,  to  public  service  announcements  linked  to  TV  shows  and  films,  to  celebrity  endorsements,  street  theater,  and  formal  in�school  and  in�the�work  place  presentations.  A  well�cited  paper  by  Leslie  B.  Snyder,  “Health  Communication  Campaigns  and  their  Impact  on  Behavior�,  published  in  the  Journal  of  Nutrition  Education  and  Behavior  in  2007,  provides  a  number  of  examples  of  the  success  of  these  campaigns  in  nutrition,  tobacco  and  alcohol  use,  physical exercise, and immunization in developing countries.     What  is  suggested  by  this  literature  is  that  the  advantage  of  media  and  marketing  tools  that  incorporate  a  narrative  model,  is  that  first,  they  can  reach  a  large  audience,  and  second,  can                                                               5  The Henry J. Kaiser Family Foundatio. Entertainment Education and Health in the United States. Issue Brief.  Spring 2004. http://www.kff.org/entmedia/upload/entertainment�education�and�health�in�the�united�states� issue�brief.pdf.  15    deliver  messages  and  appeal  to  peoples’  emotions  through  memorable  stories.  But  does  this  mean  the  case  for  utilization  of  these  tools  in  improving  consumer  financial  decision�making  has  been  established?  The  answer  to  this  question  is  not  obvious  and  cannot  be  reliably  addressed  based  on  the  existing  evidence.  Knowing  the  impact  of  these  techniques  in  other  disciplines is helpful but insufficient to guide policy and program design in consumer finance. In  many  respects  there  are  similarities;  whether  in  health  care,  road  safety,  or  financial  management,  the  outcome  of  interest  is  individual  habit  alteration.  But  there  are  differences  too.  First,  financial  management  (or  mismanagement,  thereof)  is  not  perceived  to  be  immediately  life�threatening,  at  least  not  to  the  same  degree  as  health  risks  or  road  safety.   Second,  financial  content  is  less  appealing  to  be  tailored  into  alluring  narratives.  Furthermore,  the information one might need to be able to differentiate, for example, between savings plans,  investment  options,  managing  debt,  or  choosing  products,  can  be  overwhelming  and  not  easily  received  through  simple  messages.  Therefore,  a  number  of  field  experiments  are  needed  to  establish a robust knowledge base to help guide the design and scaling�up of these programs in  improving  individual  financial  decision�making.  The  evaluations  financed  by  the  Fund,  and  discussed below, provide a first step in this direction.     V. FOCUS ON EVALUATION    In  employing  standard  methods  of  randomized  evaluation  in  the  context  of  mass  media  and  social marketing programs, researchers are confronted with a number of challenges.  However,  without  a  clear  identification  strategy,  it  is  impossible  to  determine  the  causal  impact  of  an  intervention, so creative solutions to these challenges are required.    The  first  problem  is  that  many  entertainment  interventions  are  by  their  very  nature  public  or  near�public  goods  and  non�excludable.    For  example,  it  is  difficult  to  on  the  one  hand  exploit  the  economies  of  scale  of  large  scale  distribution  and  dissemination  of  print,  radio,  television,  and  internet  messages  while  on  the  other  hand  cleanly  distinguishing  between  treatment  and  control groups.  Some of the case studies reviewed below find crafty ways around this problem,  16    while others are less successful.  Of course, many randomly controlled trial (RCT) designs suffer  from less than full compliance, in which fewer than 100 percent of those assigned to treatment  actually  receive  the  treatment,  and  some  assigned  to  the  control  nonetheless  do  so.   However  this problem is exacerbated in many contexts involving mass media communication.    A  second  challenge  is  defining  the  treatment  and  isolating  exactly  what  aspect  of  the  intervention, if any, is effective in inducing change.  Most of the interventions considered below  are  highly  multi�dimensional  in  nature,  including  a  mix  of  specific  content,  the  style  of  delivery,  character traits and associations with previous entertainment, and the accompanying storyline.   For  example,  is  it  the  message  sent  by  an  actor  that  induces  young  people  to  save  more,  the  fact  that  he  is  a  role  model  who  they  aspire  to  be  like,  or  both?    To  isolate  the  different  channels  through  which  an  intervention  might  prove  effective,  it  would  be  necessary  to  run  a  large  number  of  different  versions  of  the  treatment  –  e.g.,  the  same  story  with  an  unknown  actor,  the  same  story  and  actor  with  a  different  musical  score,  the  famous  actor  with  no  content,  a  lively  parallel  but  unrelated  story  to  provide  light  relief,  or  a  mini�series  versus  a  single  feature  film.   These  possibilities  suggest  that  while  implementing  just  a  single  treatment  is  difficult  enough,  conducting  a  fully  informative  and  highly  multi�treatment  study  is  likely  to  be  impossible.   This  does  not  mean  we  can  learn  nothing  from  randomized  experiments  in  this  context, but that when discussing external validity we should interpret the results with caution.    In  the  rest  of  this  section,  we  illustrate  these  evaluation  methods  and  challenges  with  a  series  of  four  impact  evaluations  that  utilize  mass  media  and  social  marketing  tools.  This  research,  financed  by  the  Fund,  is  still  ongoing;  with  some  projects  closer  to  completion  than  others  (most  will  be  completed  in  February  2013).  Hence,  in  the  interim  this  paper  mainly  focuses  on  the development of the research methods for evaluation, not on results.    5.1   South Africa: Use of Soap�Opera Edutainment for Debt Management and Counseling    Household  over�indebtedness  is  a  long�lasting  and  growing  problem  in  South  Africa.  According  to  the  Consumer  Financial  Vulnerability  Index,  developed  by  the  South  African  Bureau  of  17    Market Research (BMR), the household�debt�to�income ratio averaged 54 percent for about 25  years  prior  to  2005,  and  it  jumped  to  76  percent  in  the  second  quarter  of  2011.6  The  high  debt  levels  affect  individuals’  ability  to  save  and  plan  for  the  future,  and  also  thwart  their  eligibility  for new credit. While many different factors could account for this outcome, many have alluded  to the low levels of financial capabilities.     This study examines the extent to which financial education can be successfully disseminated to  the  broader  audience  through  a  highly  popular  TV  soap  opera,  called  Scandal!,  broadcasted  on  South  African  eTV,  which  is  the  second  most  popular  station  in  the  country.  The  target  viewers  are  low�income  individuals  with  and  without  existing  consumer  debt.  The  advantage  of  this  intervention  is  that  it  utilizes  an  existing  and  already  popular  drama  series,  as  opposed  to  developing  anew.  Scandal!  has  been  running  for  5  years  (four  times  a  week)  and  is  widely  known  for  incorporating  controversial  topics  in  the  storyline,  such  as  politics,  alcohol  and  drug  addiction, depression, and health.     The  narrative  incorporating  financial  education  was  developed  by  the  production  company  of  Scandal,  Ochre  Media,  in  collaboration  with  the  South  African  National  Debt  Mediation  Association (NDMA), a non�profit credit counseling agency. The show focuses on managing debt  and seeking help once over�indebted and it has ran for three consecutive months, from January  to  April  2012.  The  plot  centered  on  a  lead  female  character,  Maletsatsi  Khumalo,  who  after  moving  with  her  family  to  a  new  town  in  South  Africa,  finds  herself  spend  beyond  her  means  and  eventually  taking  on  loans  and  getting  in  debt.  The  story  also  captures  the  intra�family  tensions that result from the inability of the protagonist to openly discuss the problem with her  family  members.  After  the  financial  problem  is  divulged,  the  couple  begins  the  process  of  debt  repayment and better financial management.7                                                                  6  South African Reserve Bank, Quarterly Bulletin, December 2011, No 262.   7  Program description and discussion about the evaluation methodology is based on the authors’ background  material and presentations delivered at the World Bank Trust Fund for Financial Literacy and Education workshop  in Cape Town, South Africa, November 2011. Also available at:  http://www.finlitedu.org/evaluation/wb/pilots/south�africa1/  18    The objective of the evaluation is to measure the financial capabilities of individuals who watch  the  soap  opera,  compared  with  those  of  a  representative  group  of  individuals  who  don’t,  the  control  group.  However,  a  significant  challenge  in  this  setting  is  to  ensure  high  levels  of  compliance  with  the  assignment  to  both  treatment  and  control  groups.  To  ensure  those  assigned  to  the  treatment  group  watch  the  soap  opera,  they  are  given  a  financial  incentive,  earning  financial  (air�time)  rewards  if  they  are  able  to  answer  questions  about  non�financial  aspects of the show.     Conversely,  to  ensure  members  of  the  control  group  do  not  watch  the  soap  opera,  they  are  in  fact  given  incentives  to  watch  something  else  (on  a  different  channel,  but  airing  at  the  same  time),  also  offered  financial  rewards  for  answering  questions  about  the  show.   As  long  as  the  alternative  show  contains  no  material  that  could  affect  financial  capabilities  (or  other  outcome  variables  of  interest),  the  measured  impact  is  informative  about  the  effect  of  the  soap  opera  itself.    If  however  the  alternative  somehow  influenced  financial  attitudes,  knowledge,  or  behavior (in a negative or positive way), the comparison would be biased.    Thus this project has elements of both an encouragement design (for the treatment group) and  a  discouragement  design  (for  the  control).    Without  the  discouragement  for  the  control,  exposure  to  the  treatment  might  still  be  expected  to  be  higher  in  the  treatment  than  the  control.    The  discouragement  simply  serves  to  widen  this  differential,  thereby  increasing  the  likelihood of detecting an effect.    The multi�dimensionality of the treatment – including the quality of the acting, the likeability of  the  characters,  the  sense  of  personal  empowerment  or  fatalism  imbued,  etc.  –  presents  an  on� going  challenge.   To  isolate  the  impact  of  the  financial  messages,  these  features  would  have  to  presumably  be  kept  constant  across  both  the  treatment  and  control  groups.    However  if  the  hypothesis  is  that  financial  messages  are  more  effective  when  presented  in  an  entertaining  context, then the control group might better be exposed to bland material.     19    This  suggests  that  ideally  a  four�arm  approach  is  needed:  in  addition  to  the  treatment  arm  in  which  financial  messages  are  presented  in  an  entertaining  context,  a  second  arm  is  exposed  to  a show that is equally entertaining, a third is exposed to a boring show with financial messages,  and  a  fourth  is  exposed  to  a  boring  show  with  no  financial  material.    The  approach  adopted  here is a first step in this direction.    Figure 1: Flowchart for the South Africa Soap Opera Evaluation Setup    Listing exercise � 3,000 people   1,000 people encouraged � 500 per show     Scandal! Soap Opera with financial literacy Muvhango � Soap Opera w/o financial literacy    Initial Call to Participants  Initial Call to Participants    Surveys (3) –1 per month  Surveys (3) –1 per month    Payment of Incentives  Payment of Incentives    Source: Evaluation authors.    5.2   Nigeria: A Feature Film on Financial Management     Results  from  the  EFInA  Access  to  Financial  Services  in  Nigeria  2010  survey  showed  that  around  46 percent of the Nigerian population, about 39.2 million, remains financially excluded, with no  access to formal or informal financial services.8 The survey also revealed that 23.8 million adults  save  at  home.  Overall,  data  indicates  that  the  savings  culture  in  Nigeria  is  poor.  This  research  examines  the  extent  to  which  a  full  feature  film  can  be  used  as  a  vehicle  to  disseminate  financial  education  messages  to  the  viewers  with  the  objective  of  imparting  knowledge  about  key financial management concepts and ultimately result in a behavior change.     The  film,  called  the  “The  Story  of  Gold�,  is  produced  by  the  Nigerian  Film  Industry,  the  Nollywood,  and  distributed  by  Credit  Awareness,  a  local  NGO  promoting  financial  literacy,  with  the  support  of  the  Nigerian  Central  Bank.  It  is  approximately  two  hours  long  and  the  main  plot                                                               8  Resulted are based on 2010 EFInA Access to Financial Services in Nigeria survey: http://www.efina.org.ng/our� work/research/access�to�financial�services�in�nigeria�survey/  20    revolves  around  the  core  values  of  smart  savings  and  responsible  borrowing,  highlighting  repercussions of poor financial decisions. It tells the story of identical twin sisters growing up in  Nigeria, Aduni and Aduke, who though receiving the same financial endowment, make different  financial  choices  leading  to  a  number  of  challenges  that  affect  their  lives  as  well  as  those  around  them.  It  is  a  moving  story  of  the  success  of  one  sister  and  the  failure  of  the  other,  and  with the successful twin intervening to rescue the sister in need.9     An  additional  component  to  the  intervention  is  that  microfinance  institutions  (MFI)  are  available  at  the  movie  screening  to  make  access  to  formal  banking  obtainable  if  the  viewers  want  to  take  immediate  action.  As  mentioned  earlier  in  the  paper,  research  has  shown  that  decisions  made  under  an  emotional  state  can  often  become  the  basis  for  future  action,  even  after  the  emotional  state  fades.  Including  the  financial  institutions  at  the  screening  locations  allows  capturing  that  and  giving  people  the  opportunity  to  take  the  first  step.  In  this  context,  the  study  tests  whether  a  popular  media  initiative  can  increase  knowledge,  awareness,  and  persuade people to take the first step towards responsible financial management, and explores  the extent to which such immediate decisions might influence future actions.    As in the soap opera study in South Africa, this evaluation measures the difference in outcomes  between  a  treatment  group  and  a  placebo  group,  thus  isolating  the  impact  of  the  information  itself.   Individuals  are  randomly  assigned  to  receive  invitations  to  one  of  four  events  –  the  two  movies  with  or  without  MFI  presence.    In  order  to  reduce  the  likelihood  that  enumerators  might  make  assignments  non�randomly,  respondents  are  initially  randomly  assigned  to  receive  one  of  four  color�coded  wristbands.   The  bands  allow  them  to  enter  a  screening  corresponding  to  that  color.    However,  at  the  time  of  assignment,  the  meaning  of  these  colors  is  not  made  clear to the enumerators or the respondents. Only later, the four events are randomly matched  to the four colors, and the treatments administered accordingly.                                                                 9  Program description and discussion about the evaluation methodology is based on the authors’ background  material and presentations delivered at the World Bank Trust Fund for Financial Literacy and Education workshop  in Cape Town, South Africa, November 2011. Also available at: http://www.finlitedu.org/evaluation/wb/pilots/  21    Figure 2: Flowchart for the Nigeria Feature Film Evaluation Setup     Listing � 3,000 microenterprises   Random selection into 5 groups � 600 in each    the 5 groups   Invitations � in 1 of  Group 1: Story of  Group 1: Story of     movie  Group 3: Placebo Group 4: Placebo  Group 5: Pure Gold movie and MFIs Gold � only and MFIs movie � only control   Surveys – 1st after movie; follow�up +� 3months later   Source: Evaluation authors.    Participants  might  be  inclined  to  talk  with  each  other,  and  to  share  information  and  practices  learned  from  the  movie.   Such  spillovers,  if  they  existed,  would  tend  to  reduce  the  size  of  the  measured effect of the movie.  To assess the importance of such spillovers, while estimating the  actual  effect  of  the  movie  on  those  who  are  exposed  to  it,  the  study  adopts  a  mix  of  individual  and cluster randomization.  Specifically, as part of an initial listing exercise, in which a census of  micro  entrepreneurs  in  an  area  surrounding  the  screening  site  is  undertaken,  geographically  proximate  clusters  of  businesses  are  identified.   Of  these  clusters,  twenty  percent  are  assigned  to  “pure  control�  status,  and  no  enterprises  in  these  clusters  receive  any  treatment  or  placebo  intervention.    Within  each  of  the  remaining  clusters,  individuals  are  randomly  assigned  to  all  four  of  the  treatment  or  placebo  groups.    This  design  allows  estimation  of  the  impact  of  the  interventions themselves, as well as an assessment of the extent of within�cluster spillovers.10       5.3   Nigeria: A Large�Scale Savings Promotion Campaign    Also in Nigeria, and addressing both the banked and unbanked population, this project explores  how  a  national  promotion  campaign  and  “learning�by�doing�  can  encourage  financially  unsophisticated individuals to open and maintain savings accounts. It evaluates how individuals  react  to  the  different  components  of  the  campaign,  e.g.  TV  advertisements,  internet,  and  celebrity endorsements,  and  how  the  experience  of  maintaining  a  savings  account  over  a  three                                                               10  The size of the spillovers is not perfectly identified, since the control group within the treated clusters receives a  placebo, while the control group in the non�treated clusters does not.  22    month  period  can  improve  financial  knowledge,  alter  perceptions  and  attitudes,  and  change  long�term savings habits.    The  nationwide  savings  promotion  campaign,  called  "I�Save  I�Win"  (ISIW),  was  launched  by  the  InterContinental  Bank  in  Nigeria  in  2011.  It  entailed  a  number  of  heavily  publicized  lottery  prizes  for  those  who  opened  or  maintained  savings  account  and  held  savings  balances  above  various threshold amounts �� US$320 for regional lotteries and $640 for the national prize �� for  90  days.   The  lottery  was  advertised  with  a  media  push  including  celebrity  endorsements  and  media  releases  through  Facebook  and  YouTube,  over  a  period  of  several  months.  The  research  objective  is  to  first  assess  how  the  experience  of  maintaining  savings  accounts  during  the  90� day  period  affects  savers’  long�term  savings  habits,  and  second  how  different  media  promotions affect participation in the program and savings behavior.11     Evaluating  the  impact  of  the  ISIW  program  is  difficult  because  it  entails  a  number  of  different  components  that  are  administered  sequentially.  At  best,  the  marginal  impact  of  each  component  could  in  principle  be  assessed  by  measuring  changes  in  attitudes  or  behavior  following each one.  But in practice the components follow each other too closely to allow such  measurement, and one must be satisfied with an assessment of the overall impact.    Even  with  this  more  limited  objective,  challenges  remain.    The  project  adopts  a  difference  in  differences  approach  to  measuring  impact  by  comparing  changes  in  the  savings  behavior  of  people  who  participate  in  the  ISIW  competition  with  those  of  a  group  that  does  not.    The  difference  in  differences  approach  can  produce  a  reliable  estimate  of  the  program impact  even  if the two groups are not statistically identical, but only if those groups would have experienced  similar  changes  in  the  absence  of  the  intervention  (the  parallel  trends  assumption),  and  only  if  membership in each group remains fixed over time (or varies randomly).    Ideally,  the  treatment  group  would  include  those  exposed  to  the  various  components,  and  the                                                               11  For more information visit: http://www.finlitedu.org/evaluation/wb/pilots/nigeria2/  23    control  group  would  include  otherwise  similar  individuals  who  were  not.   Because  of  the  very  public  nature  of  the  campaign,  finding  such  a  control  group  is  difficult.   Instead,  the  treatment  group  in  this  case  consists  of  those  who  endogenously  choose  to  participate  in  the  program,  while the control group consists of those who use an alternative bank.    Figure 3: Flowchart for the Nigeria Marketing Campaign Evaluation Setup       accounts Total savings   Treatment Accounts – exposed to promotion   Control accounts – not exposed  Incentives    Gifts for opening savings accounts; Qualify  No Incentives  for prize drawings with 90 days of saving    above certain thresholds. Winners announced  Pure Control    Drawings randomized into having a winner  Admin/survey data collected  from local bank branch Admin/survey data collected   Source: World Bank Trust Fund team based on authors’ project concept description.      Aside from the obvious selection problems, an additional concern here is that individuals might  switch  from  the  control  bank  to  the  treatment  bank,  with  no  effect  on  the  number  of  bank  accounts  held,  or  on  savings.  Unless  those  who  switch  can  be  tracked  closely,  a  simple  comparison of the two groups will suffer from a double counting problem, and the difference in  differences approach will yield an over�estimate of the impact of the program.   These concerns  are  mitigated  in  light  of  the  fact  that  the  two  banks  are  geographically  separate.   However,  the  public  accessibility  of  the  campaign,  and  potential  differences  in  relevant  characteristics  and  counterfactual  trends  over  time  between  geographically  distinct  populations,  suggests  the  results should be interpreted with caution.     5.4   Kenya: Financial Education through Comics, Radio, and Social Networking     Kenyan  youth  face  an  uncertain  and  volatile  financial  landscape,  with  high  un�  and  under� employment,  questionable  long�term  job  prospects,  and  little  or  no  protection  against  the  vagaries  of  ill  health  and  injury.    However  on  the  other  hand,  young  Kenyans  have  more  opportunities to invest in and plan for their futures than perhaps any earlier generation: market  24    liberalization  and  a  stable  macro�economy  have  facilitated  steady  growth  in  recent  years,  educational  and  training  options  abound,  and  access  to  financial  services  has  expanded  considerably.12   It  is  essential  to  give  this  population  the  tools  and  financial  capability  to  grasp  these opportunities.    The  study  evaluates  a  financial  capability  project  that  seeks  not  only  to  inform  young  Kenyans  about  financial  facts  and  options,  but  also  to  induce  them  to  change  the  way  they  think  about  and  make  financial  decisions.   In  a  context  in  which  it  is  often  difficult  to  see  beyond  the  short� term,  the  authors  focus  on  encouraging  long�term  planning  as  it  relates  to  investment  in  education,  training  and  small  business  creation,  and  precautionary  financial  behavior  such  as  saving, asset allocation, and insurance against uncertain events.    The study is implemented by two Kenyan organizations that have sought to help young Kenyans  prepare  for  economic  opportunities  through  innovative  means.  Well  Told  Story  (WTS)  is  a  for� profit  company  that  publishes  a  monthly  comic  book  called  Shujaaz,  read  by  upwards  of  600,000  young  people  across  the  country,  as  well  as  a  radio  program  broadcast  on  30  radio  stations  nationwide  and  featuring  the  lead  character  of  the  comic  book.  Junior  Achievement  Kenya  (JAK)  is  a  local  NGO  engaged  with  more  than  200  high�school  based  youth  clubs  and  associations through which a range of educational and behavioral interventions are conducted.    Through  JAK’s  clubs,  students  receive  financial  literacy  materials  both  through  standard  classroom delivery mechanisms and as part of the Shujaaz storyline. Regular Shujaaz characters  –  both  heroes  and  villains  –  with  whom  readers  are  already  familiar,  serve  as  role  models  or  anti�role  models,  accordingly.    The  objective  is  thus  to  assess  the  extent  to  which  delivering  financial  education  materials  through  popular  media  has  different  effects  –  be  they  different  in  nature  and  scope,  larger  in  size,  or  more  permanent  –  than  more  traditional  methods  of  delivery.  To  augment  this  exercise,  the  authors  investigate  the  role  of  broadcast  media  in  enhancing  the  effects  of  the  interventions,  by  developing  radio  clips  with  financial  education                                                               12  Kenya Financial Sector Deepening (FSD), FinAccess (2010).  25    material  played  on  CD  players  provided  to  schools.  These  supplement  the  radio  shows  that  are  aired in conjunction with the regular Shujaaz comic, featuring the lead characters.    Figure 4: Flowchart for the Kenya Evaluation Setup    Sample of 220 Schools   JAK treatment  Shujaaz treatment   Shujaaz placebo Control    Baseline survey   Prize winners randomly chosen    Endline survey     Prize winners randomly chosen    Final follow�up of winners    Source: Evaluation authors.     The  evaluation  is  carried  out  using  a  sample  of  220  high  schools,  which  are  randomly  assigned  to  two  main  treatment  groups,  a  placebo  group,  and  a  control.    In  one  treatment  group,  student  club  members  receive  weekly  instruction  on  a  series  of  financial  topics  over  a  six  week  period.  In the other treatment group, club members receive weekly installments of the Shujaaz  comic,  including  financial  education  material  that  tracks  that  of  group  1.   To  isolate  the  impact  of the material itself beyond any empowering effect of the comic, a placebo group receives the  regular  Shujaaz  comic  without  financially  relevant  material.  The  control  group  receives  no  financial education material.  Finally, of the two groups that receive Shujaaz treatments, half of  each  is  given  a  CD  player  on  which  students  are  to  listen  to  recordings  of  the  radio  shows  that  track the comics’ content.    One  novelty  of  this  study  is  that  it  employs  an  unusual  strategy  to  measure  the  impact  of  the  interventions.   Not  only  are  participants  asked  to  complete  both  baseline  and  endline  surveys  that  elicit  levels  and  changes  over  time  in  financial  knowledge  and  attitudes,  but  they  are  also  asked  to  make  financial  decisions  using  real  resources.   First,  as  part  of  the  survey,  all  students  are  asked  how  they  would  allocate  1,500  KSh  (about  $US20)  if  they  were  to  earn  it  26    unexpectedly  (say  as  a  result  of  doing  well  at  school).    They  are  asked  to  choose  between  receiving  the  funds  in  cash,  having  them  deposited  in  a  bank  account  with  a  three  month  maturity,  or  having  them  invested  in  a  mutual  fund  on  the  Nairobi  stock  exchange.   They  can  also choose any combination of these alternatives.  Then a sample of students is given this sum  of  money,  with  the  same  options.  The  study  records  how  the  actions  differ  from  stated  intentions, and how both the stated intentions and actions change over time, after the delivery  of  the  intervention.  The  study  is  also  an  example  of  how  placebo  groups  may  be  used  to  address the challenge of attribution to multiple components of an intervention.      VI. LESSONS AND AREAS FOR FURTHER RESEARCH     Appropriate  evaluation  design  depends  on  the  program  structure  and  the  research  goals,  including the hypothesis being tested, the delivery mechanism, the program content, the target  population,  and  the  available  budget.  As  the  case  studies  discussed  above  illustrate,  in  incorporating  more  rigorous  impact  assessment  methods  to  determine  the  causal  impact  of  mass  media  and  social  marketing  interventions,  several  common  challenges  should  be  considered with caution.     First,  to  establish  causality  and  attribution,  it  is  necessary  to have  a  clear  identification  strategy  by  which  to  estimate  the  counterfactual,  that  is,  what  the  outcome  would  have  been  in  the  absence  of  the  intervention.  Conceptually,  this  is  best  achieved  by  random  assignment  of  research  subjects  to  treatment  and  control  groups,  as  in  any  experimental  intervention.    But  the  practical  challenges  of  ensuring  high  rates  of  compliance  of  each  group  with  the  assigned  treatment  status,  and  of  minimizing  spillovers  of  the  effects  of  the  intervention  from  the  treatment  group  to  the  control  group,  are  acute.   In  particular,  the  public  good  nature  of  these  interventions  which  make  them  cheap  and  attractive  to  scale  up  at  the  same  time  impose  constrains  and  costs  at  the  evaluation  stage.    Novel  ways  to  induce  individuals  to  be  treated  (special invitations, marketing promotions, financial and other rewards, etc) are only part of the  solution,  as  control  group  subjects  must  be  induced,  with  perhaps  equal  difficulty,  to  abstain  27    from treatment.  When the two groups cannot be physically separated, giving the control group  tasks  to  perform  during  that  time  that  treatment  is  administered  could  be  a  useful  approach.   Although  for  the  true  effect  of  the  project  to  be  accurately  identified,  the  researcher  must  be  able  to  argue  that  these  alternative  tasks  would  not,  in  themselves,  affect  the  outcomes  of  interest.    The  example  from  South  Africa,  in  which  the  control  group  is  asked  to  watch  and  answer questions related to an alternative TV show, is suggestive of this approach.    Another  related  challenge  of  equal  importance  is  isolating  the  specific  aspect  of  the  program  that  is  responsible  for  change.   As  mentioned  earlier,  many  entertainment  education  programs  are highly multi�dimensional, and there could be many variables that effect change, such as the  extent  to  which  the  program  is  engaging,  the  extent  to  which  the  audience  can  relate  to  the  storyline or favors the actors, the extent to which the story can appeal to emotions, or perhaps  a result of quality of the message delivered, or the way the content was formulated, conveyed,  and even repeated to the audience.  Conceptually, the solution to this attribution problem is to  include a placebo group, which is exposed to material that is equally entertaining and engaging,  with  actors/characters  of  similar  appeal,  but  which  is  devoid  of  financial  education  material.   The evaluation of comics as a delivery mechanism in Kenya employs this approach.    Third,  process  evaluation,  including  qualitative  data,  interviews  and  case  studies,  can  be  useful  in  understanding  how  and  why  an  intervention  was  effective  and  the  context  in  which  any  measured impact arose, or indeed failed to be realized.  While experimental impact evaluations  are  essential  to  help  answer  cause�and�effect  questions,  they  often  fall  short  in  explaining  why  some  programs  are  successfully  implemented  while  others  fail.    One  element  of  success  is  sound  partnerships,  which  characterize  this  field  of  research  more  than  most.    Successful  interventions (even if they fail to show large effects) are characterized, like any fruitful business  collaboration,  by  clear  objectives,  well�defined  partner  responsibilities  and  deliverables,  a  shared  commitment  to  the  program’s  goals,  and  mutual  understanding  of  partners’  constraints  and incentives. Without these, the research can be compromised (e.g., through non�compliance  with  treatment  or  recruitment  protocols),  and  fail  completely.    Case  studies  and  operations  28    research  approaches,  sometimes  brought  under  the  umbrella  of  so�called  “implementation  science,� could be usefully employed to understand these implementation challenges, although  they are not unique to evaluation projects.    Aside  from  the  technical  methods,  there  are  a  number  of  research  questions  unaddressed  and  many  uncovered  by  the  existing  and  ongoing  studies  that  are  crucial  in  informing  policy  in  the  prospect of adopting mass media and marketing tools in changing individual financial behavior.      For  example,  it  would  be  of  interest  to  examine  the  impact  of  the  quality  of  the  financial  education  content  delivered.  The  existing  and  ongoing  studies  that  assess  the  impact  of  different  forms  of  media  and  marketing  programs  (including  the  four  case  studies  discussed  above)  explore  the  impact  of  the  delivery  mechanism,  but  do  not  necessarily  examine  the  actual  quality  of  the  information  delivered.    Related  to  this  is  the  intensity  and  duration  of  exposure to information. It is still unknown how much information, or education, is appropriate  to induce change, and how often it needs to be repeated in order for it to be effective.     The  direct  comparison  of  different  delivery  channels  is  also  of  importance,  as  almost  all,  with  the  exception  of  the  fourth  case  study  discussed  earlier,  focus  on  one  intervention  at  a  time.  For example, in adopting TV channels, it would be interesting to compare the relative impact of  delivering the same content through feature films versus soap operas, or compare TV programs  with theater, computer games, or advocacy.     Evidence  from  behavioral  psychology  and  behavioral  finance  suggests  that  even  when  the  appropriate  information  and  services  are  provided,  people  often  fail  to  exercise  their  knowledge and make choices that do not maximize their expected utility. As such, it is of crucial  importance  to  further  study  this  research  area  and  examine  more  closely  what  type  of  behavioral  biases  impact  decision  making,  in  what  contexts,  and  more  importantly,  how  to  collect  data  around  behavioral  characteristics  and  consequently  how  to  design  programs  that  help overcome such biases.   29      Finally,  cost�effectiveness  and  feasibility  of  scaling�up  is  of  importance  and  has  direct  policy  relevance.  While  particular  programs  that  are  carefully  crafted,  often  purposely  designed  to  test  specific  hypothesis,  might  achieve  desired  outcomes,  it  is  not  always  clear  the  extent  to  which  they  can  be  replicated,  especially  in  low�income  settings  where  resources  are  scarce.  As  such,  all  experimental  studies  should  include  cost�effectiveness  analysis  to  better  inform  policy  makers on the expected return on investment.     VII. CONCLUSION     Observational  and  anecdotal  evidence  suggests  that  mass  media  and  social  marketing  have  proven  successful  in  changing  consumer  behavior  in  a  variety  of  contexts.    However  the  challenge of conducting scientific evaluations of such campaigns means that the foundations of  a rigorous evidence base are only now beginning to emerge.  In the realm of financial education  and  its  role  in  changing  consumer  financial  behavior,  new  and  recent  studies  promise  to  provide  insights  into  the  question  of  what  kinds  of  interventions  are  effective,  and  in  what  circumstances,  although  the  evidence  remains  far  from  definitive  and  remains  limited  in  its  ability to inform broad�based policy trade�offs.    As  the  results  of  these  studies  materialize,  it  will  be  important  to  build  on  them  and  to  explore  their implications fully.  First, where feasible, it will be advisable to follow research subjects into  the  future,  to  understand  the  longer�term  impacts  of  the  interventions,  and  to  establish  whether the behavior of different types of people (young children, teenagers, or adults; girls or  boys;  etc.)  in  different  circumstances  is  permanently  altered.   And  second,  further  evaluations  could  refine  the  design  of  earlier  studies,  allowing  researchers  to  isolate  specific  features  that  are  especially  effective  in  inducing  behavior  and  attitudinal  changes.    Such  a  strategy  will  ensure that the knowledge created by the important work that is currently being undertaken is  maximized, and that it will serve as a reliable and useful input into policymakers’ decisions.        30      References    Anamitra, D. and M. Kubzansky. 2012. Bridging the Gap: The Business Case for Financial  Capability. A report commissioned and funded by the Citi Foundation. Cambridge, Mass:  Monitor, March.    Ananth, Bindu, Dean Karlan, and Sendhil Mullainathan. 2007. “Microentrepreneurs and   Their Money: Three Anomalies.� Draft. http://karlan.yale.edu/p/AnomaliesDraft.v7.pdf     Cole, Shawn, Thomas Sampson and Bilal Zia, 2009. Financial Literacy, Financial  Decisions, and the Demand for Financial Services: Evidence from India and Indonesia. Harvard  Business School Working Paper 09�117.    Cole, Thomas Sampson and Bilal Zia, 2010. Prices or Knowledge? What Drives Demand  for Financial Services in Emerging Markets? Harvard Business School Working Paper 09�117.    Collins, R. L., Elliott, M. N., Berry, S. H., Kanouse, D. E., & Hunter, S. B. 2003.  Entertainment Television as a Healthy Sex Educator: The Impact of Condom�Efficacy  Information in an Episode of Friends. Pediatrics, 112 (5). 1115 �1121.    Duflo E. (2004). Poor but Rational? Eds Banerjee R., Mookherjee D. (Oxford University  Press, Oxford).    Duflo, E., and Ch. Udry. 2004. Intrahousehold Resource Allocation in Cote D'Ivoire: Social  Norms, Separate Accounts and Consumption Choices. Yale School of Management Working  Papers ysm407, Yale School of Management.    Eduardo B. Andrade, Dan Ariely. 2009. The Enduring Impact of Transient Emotions on  Decision Making. Available at: http://duke.edu/~dandan/Papers/transientEmotions.pdf    Gibson, McKenzie, and Zia, 2012. The Impact of Financial Literacy Training for Migrants.  World Bank Development Research Group. Policy Research Working Paper 6073. Impact  Evaluation Series No. 57.     Grifoni, A. and F. Messy. 2012.  “Current Status of National Strategies for Financial  Education:  A Comparative Analysis and Relevant Practices�.  OECD Working Papers on Finance,  Insurance and Private Pensions, No. 16.  Paris: OECD Publishing.    Hilgert, Marianne, Jeanne M.  Hogarth and Sandra Beverly. 2003.  Household Financial   Management: The Connection between Knowledge and Behavior. Federal Reserve Bulletin,  89:309�22.    31    Holzmann, Robert. 2012. Global Pension Systems and Their Reform: Worldwide Drivers,  Trends, and Challenges. Social Protection and Labor Discussion Paper Series. No 1213.     Holzmann, R. 2012. “Participation in Mandated and Voluntary Social Risk Management  Arrangements: The Role and Limits of Financial Education and Other Interventions.� In M.  Froelich, D. Kaplan, C. Pages, J. Rigolini and D. Robalino, eds. Social Insurance and Labor  Markets: How to Protect Workers While Creating Good Jobs. Washington, DC: Inter�American  Development Bank, Institute for the Study of Labor, and World Bank, in print.    Holzmann, Robert. 2010. Bringing Financial Literacy and Education to Low and Middle  Income Countries: The Need to Review, Adjust, and Extend Current Wisdom, IZA Discussion  Paper No. 5114, http://ftp.iza.org/dp5114.pdf. Shortened version published in Mitchell and  Lusardi (2011).    Kahneman D, Tversky A. 1979. Prospect Theory: An Analysis of Decisions Under Risk.  Econometrica, 47(2):263�91.    Karlan, Dean S., and Martin Valdivia. 2006. Teaching Entrepreneurship: Impact of  Business Training on Microfinance Clients and Institutions. Economic Growth Center Working  Paper 941. Yale University.    Kennedy C, O’Reilly K, Medley A, Sweat M. 2007. The impact of HIV treatment on risk  behavior in developing countries: A systematic review. AIDS Care, 19(6): 707�20.    Klapper, Leora, and Georgios A. Panos. 2011. Financial Literacy and Retirement Planning  in View of a Growing Youth Demographic: The Russian Case. CeRP Working Papers. Center for  Research on Pensions and Welfare Policies, Turin (Italy), March.     Knetsch, Jack L. 1992. "Preferences and Nonreversibility of Indifference Curves," Journal  of Economic Behavior & Organization, Elsevier, vol. 17(1), pages 131�139, January.     La Ferrara, E., A. Chong, and S. Duryea. 2008. Soap Operas and Fertility: Evidence from  Brazil. Bureau for Research and Economic Analysis of Development (BREAD) Working Paper No.  172. March 2008.     Lisa Xu and Bilal Zia. 2011. Financial Literacy for Africa: An Overview of the Evidence  with Practical Suggestions for the Way Forward. The World Bank.    Lusardi, A., and O. Mitchell. 2007. Financial Literacy and Retirement Preparedness:  Evidence and Implications for Financial Education. Business Economics: vol. 42(1) pp. 35�44.     McKenzie, David and Michaela Weber. 2009. The Results of a Pilot Financial Litreacy and  Business Planning Training Program for Women in Uganda. Finance and Private Sector  Development (PSD) Impact Note 8, World Bank, Washington, DC.  32      Mullainathan, S., R. Thaler. 2000. Behavioral Economics. National Bureau of Economic  Research Working Paper 7948, October.    Pathak, P., Holmes, J., & Zimmerman, J. 2011. Accelerating financial capability among  youth: Nudging new thinking. New America Foundation.    Samuelson, W., and R. Zeckhauser. 1988. Status Quo Bias in Decision Making. Journal of  Risk and Uncertainty, 1, 7–59.     Schultz, Theodore W. Transforming Traditional Agriculture. New Haven: Yale University  Press, 1964. Reprint, New York: Arno Press, 1976.  Snyder, Leslie B. 2007. "Health Communication Campaigns and Their Impact on  Behavior," Journal of Nutrition Education and Behavior 39: 32�40.    Stango, V. and J. Zinman. 2009. Exponential Growth Bias and Household Finance. The  Journal of Finance, Vol  64 (6), 2807–2849.     Thaler, Richard. 1980. Toward a Positive Theory of Consumer Choice. Journal of  Economic Behavior & Organization, Elsevier, vol. 1(1), pages 39�60, March.    Thaler, Richard and Cass Sunstein, 2008. Nudge: Improving Decisions about Health,  Wealth and Happiness.  New Haven: Yale University Press.    Tversky, A., and D. Kahneman. 1991. Loss Aversion in Riskless Choice: A Reference� Dependent Model. Quarterly Journal of Economics, MIT Press, vol. 106(4), pages 1039�61.      Conference Lectures    Sendhil Mullainathan, “Focusing on Poverty� (presentation, Harvard University UNU� WIDER Conference on Poverty and Behavioural Economics, Helsinki, Finland, 1�2 September  2011).         33    Social Protection & Labor Discussion Paper Series Titles  2011�2012    No.    Title    1220  Evaluating the Efficacy of Mass Media and Social Marketing Campaigns in Changing  Consumer Financial Behavior    by Florentina Mulaj, November 2012    1219  Do Social Benefits Respond to Crises? Evidence from Europe & Central Asia During  the Global Crisis    by Aylin Isik�Dikmelik, November 2012     1218  Building Results Frameworks for Safety Nets Projects    by Gloria M. Rubio, October 2012     1217  Pension Coverage in Latin America: Trends and Determinants    by Rafael Rofman and Maria Laura Oliveri, June 2012    1216  Cash for Work in Sierra Leone: A Case Study on the Design and Implementation of a  Safety Net in Response to a Crisis    by Colin Andrews, Mirey Ovadiya, Christophe Ribes Ros and Quentin Wodon,  November 2012     1215  Public Employment Services, and Activation Policies    by Arvo Kuddo, May 2012    1214  Private Pension Systems: Cross�Country Investment Performance    by Alberto R. Musalem and Ricardo Pasquini, May 2012    1213  Global Pension Systems and Their Reform: Worldwide Drivers, Trends, and  Challenges    by Robert Holzmann, May 2012    1212  Towards Smarter Worker Protection Systems: Improving Labor Regulations and  Social Insurance Systems while Creating (Good) Jobs  by David A. Robalino, Michael Weber, Arvo Kuddo, Friederike Rother, Aleksandra  Posarac and Kwabena Otoo    1211  International Patterns of Pension Provision II: A Worldwide Overview of Facts and  Figures    by Montserrat Pallares�Miralles, Carolina Romero and Edward Whitehouse, June 2012    1210  Climate�Responsive Social Protection    by Anne T. Kuriakose, Rasmus Heltberg, William Wiseman, Cecilia Costella, Rachel  Cipryk and Sabine Cornelius, March 2012     1209  Social Protection in Low Income Countries and Fragile Situations: Challenges and Future  Directions    by Colin Andrews, Maitreyi Das, John Elder, Mirey Ovadiya and Giuseppe Zampaglione,  March 2012    1208  World Bank Support for Pensions and Social Security    by Mark Dorfman and Robert Palacios, March 2012    1207  Labor Markets in Middle and Low Income Countries: Trends and Implications for Social  Protection and Labor Policies    by Yoonyoung Cho, David Margolis, David Newhouse and David Robalino, March 2012     1206  Rules, Roles and Controls: Governance in Social Protection with an Application to Social  Assistance    by Lucy Bassett, Sara Giannozzi, Lucian Pop and Dena Ringold, March 2012    1205  Crisis Response in Social Protection    by Federica Marzo and Hideki Mori, March 2012    1204  Improving Access to Jobs and Earnings Opportunities: The Role of Activation and  Graduation Policies in Developing Countries    by Rita Almeida, Juliana Arbelaez, Maddalena Honorati, Arvo Kuddo, Tanja Lohmann,  Mirey Ovadiya, Lucian Pop, Maria Laura Sanchez Puerta and Michael Weber, March  2012    1203  Productive Role of Safety Nets    by Harold Alderman and Ruslan Yemtsov, March 2012    1202  Building Social Protection and Labor Systems: Concepts and Operational Implications    by David A. Robalino, Laura Rawlings and Ian Walker, March 2012    1201  MicroDeterminants of Informal Employment in the Middle East and North    Africa Region    by Diego F. Angel�Urdinola and Kimie Tanabe, January 2012     1120  Employment Generation in Rural Africa: Mid�term Results from an    Experimental Evaluation of the Youth Opportunities Program in Northern    Uganda    by Christopher Blattman, Nathan Fiala and Sebastian Martinez, December 2011      1119  Measuring Governance and Service Delivery in Safety Net Programs    by Gloria M. Rubio, September 2011     1118  Assessing Safety Net Readiness in Response to Food Price Volatility    by Margaret Grosh, Colin Andrews, Rodrigo Quintana, Claudia Rodriguez�Alas,    September 2011    1117  Social Safety Nets in Fragile States: A Community�Based School Feeding    Program in Togo, August 2011 (also available in French)    by Colin Andrews, Elena Galliano, Carolyn Turk and Giuseppe Zampaglione, August  2011    1116  Strengthening Governance of Social Safety Nets in East Asia    by Sara Giannozzi and Asmeen Khan, August 2011     1115  International Portability of Health�Cost Coverage: Concepts and Experience    by Martin Werding and Stuart McLennan, July 2011     1114  Liberia’s Cash For Work Temporary Employment Project: Responding to Crisis    in Low Income, Fragile Countries  by Colin Andrews, Prospère Backiny�Yetna, Emily Garin, Emily Weedon,    Quentin Wodon and Giuseppe Zampaglione, July 2011    1113  Employability and Productivity among Older Workers: A Policy Framework and    Evidence from Latin America    by Edmundo Murrugarra, July 2011     1112  Cash Transfers, Children and the Crisis: Protecting Current and Future    Investments    by Ariel Fiszbein, Dena Ringold, Santhosh Srinivasan, June 2011     1111  Severance Pay Programs around the World: History, Rationale, Status, and    Reforms    by Robert Holzmann, Yann Pouget, Milan Vodopivec and Michael Weber, May    2011     1110  Portability of Pension, Health, and other Social Benefits: Facts, Concepts, Issues    by Robert Holzmann and Johannes Koettl, May 2011    1109  Disability and Poverty in Developing Countries: A Snapshot from the World    Health Survey    by Sophie Mitra, Aleksandra Posarac and Brandon Vick, April 2011      1108  Advancing Adult Learning in Eastern Europe and Central Asia    by Christian Bodewig and Sarojini Hirshleifer, April 2011     1107  Results Readiness in Social Protection & Labor Operations    by Laura Rawlings, Maddalena Honorati, Gloria Rubio and Julie Van Domelen,    February 2011    1106  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Social Service Delivery Projects    by Julie Van Domelen, February 2011    1105  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Social Safety Nets Task Teams    by Gloria Rubio, February 2011    1104  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Social Funds Task Teams    by Julie Van Domelen, February 2011    1103  Results Readiness in Social Protection & Labor Operations: Technical Guidance    Notes for Labor Markets Task Teams    by Maddalena Honorati, February 2011    1102  Natural Disasters: What is the Role for Social Safety Nets?    by Larissa Pelham, Edward Clay and Tim Braunholz, February 2011    1101  North�South Knowledge Sharing on Incentive�based Conditional Cash Transfer    Programs    by Lawrence Aber and Laura B. Rawlings, January 2011    To view Social Protection Discussion papers published prior to 2011, please visit  www.worldbank.org/sp      Abstract Mass media and social marketing programs are cheap, scalable, and potentially effective means of influencing consumers’ financial behavior and decisions. In light of this potential, and in order to provide clear policy direction, this paper provides an overview of the existing and ongoing research efforts in this domain, and highlights the importance of expanding the evidence base by conducting rigorous impact assessments in this field. Exploring four case studies, it provides lessons in designing effective evaluations specifically targeting mass media and social marketing programs on consumer financial management, highlights the value of incorporating insights from behavioral psychology in program design, and suggests avenues for future research. About this series... Social Protection & Labor Discussion Papers are published to communicate the results of The World Bank’s work to the development community with the least possible delay. The typescript manuscript of this paper therefore has not been prepared in accordance with the procedures appropriate to formally edited texts. The findings, interpretations, and conclusions expressed herein are those of the author(s), and do not necessarily reflect the views of the International Bank for Reconstruction and Development / The World Bank and its affiliated organizations, or those of the Executive Directors of The World Bank or the governments they represent. The World Bank does not guarantee the accuracy of the data included in this work. The author(s) attest(s) that the paper represents original work. It fully references and describes all relevant prior work on the same subject. For more information, please contact the Social Protection Advisory Service, The World Bank, 1818 H Street, N.W., Room G7-803, Washington, DC 20433 USA. Telephone: (202) 458-5267, Fax: (202) 614-0471, E-mail: socialprotection@worldbank.org or visit us on-line at www.worldbank.org/sp. Printed on recycled paper