Policy Research Working Paper 8882 Employment Data in Household Surveys Taking Stock, Looking Ahead Sam Desiere Valentina Costa Development Economics Development Data Group June 2019 Policy Research Working Paper 8882 Abstract Individual-level employment data have a wide range of and briefly discusses the International Labour Organiza- applications. They are used to monitor labor markets and tion’s definitions of key concepts that shape these indicators. the Sustainable Development Goals, contribute to under- Second, it assesses whether the Sustainable Development standing and explaining socioeconomic conditions, and Goals labor market indicators are captured in the reviewed may help to design and inform labor market policies. This surveys. Third, it takes stock of current approaches to col- paper is relevant for academics and policy makers who want lect employment data and discusses critical survey design to understand the main survey design issues behind the features, such as the structure of the labor module and collection of individual-level employment data in nation- the wording of the questions. Fourth, the paper examines ally representative household surveys and the implications whether these survey design features are gender and age for data quality, particularly for women and young people. neutral. Data from the Living Standards Measurement The paper reviews four survey programs (Living Standards Study–Integrated Surveys on Agriculture are used to Measurement Study, Living Standards Measurement Study– illustrate these issues. The paper concludes by proposing Integrated Surveys on Agriculture, Labor Force Surveys, short- and medium-term objectives to improve the data and Demographic and Health Surveys) in 14 developing quality in the Living Standards Measurement Study–Inte- countries. First, the paper reviews the Sustainable Develop- grated Surveys on Agriculture. ment Goals to identify a core set of labor market indicators This paper is a product of the Development Data Group, Development Economics. It is part of a larger effort by the World Bank to provide open access to its research and make a contribution to development policy discussions around the world. Policy Research Working Papers are also posted on the Web at http://www.worldbank.org/prwp. The authors may be contacted at sam.desiere@kuleuven.be and vcosta@worldbank.org. The Policy Research Working Paper Series disseminates the findings of work in progress to encourage the exchange of ideas about development issues. An objective of the series is to get the findings out quickly, even if the presentations are less than fully polished. The papers carry the names of the authors and should be cited accordingly. The findings, interpretations, and conclusions expressed in this paper are entirely those of the authors. They do not necessarily represent the views of the International Bank for Reconstruction and Development/World Bank and its affiliated organizations, or those of the Executive Directors of the World Bank or the governments they represent. Produced by the Research Support Team Employment Data in Household Surveys:   Taking Stock, Looking Ahead   1 Sam Desiere2, Valentina Costa3  JEL Codes: C8,  J13, J18, J21, J22, J24, J43, J46.   Keywords:  Household  surveys,  Employment,  Work,  Questionnaire  Design,  Measurement,  LSMS‐ISA,  Gender, Youth, SDGs.   1 This work was supported by the International Fund for Agricultural Development (IFAD). The authors would like to thank  Gero Carletto, Michael Frosch, Talip Kilic, Gayatri Koolwal, Joann Vanek, Kieran Walsh and Alberto Zezza and the participants  in the Dog & Pony Show held at the World Bank (October 2018), and in the ‘Improving the Availability and Quality of Individual‐ level Data on Women and Youth in Living Standards Measurement Study (LSMS) surveys’ workshop held at IFAD (November  2018) for sharing ideas and comments at different stages of the preparation of this paper. We are also grateful to the reviewers  Markus Goldstein and Amparo Palacios‐Lopez for their valuable comments and suggestions.  2 HIVA, Research Institute for Work and Society, University of Leuven, Belgium. Email: sam.desiere@kuleuven.be  3  Consultant, Living Standards Measurement Study (LSMS), Survey Unit, Development Data Group, The World Bank, Rome.  Email:  vcosta@worldbank.org       1. Introduction  This paper focuses on methodological challenges related to collecting high‐quality individual‐ level employment data through household surveys in rural as well as urban areas of developing  countries,  paying  close  attention  to  issues  that  disproportionally  affect  women  and  young  people. Employment data are key to studying a host of issues (Grosh & Glewwe, 2000; IFAD,  2016;  World  Bank,  2013,  2019).  At  the  macro‐level,  the  structure  of  employment  defines  societies. Relatively slow but far‐reaching evolutions such as the structural transformation, the  youth  bulge,  the  demographic  dividend  and  international  competitiveness  can  only  be  monitored  with  aggregated  labor  market  statistics  that  are  consistent  across  countries  and  over  time  (Bick  et  al.,  2018).  At  the  micro‐level,  employment  determines  one’s  living  conditions, as an extensive literature about livelihoods illustrates (Ellis, 1998; Haggblade et al,  2007).  In developing countries, individual‐level employment data are relatively scarce, especially in  Sub‐Saharan Africa (SSA) (Headey et al., 2010; Szirmai et al., 2013; World Bank, 2013, p. 34).  The  ILO,  for  instance,  reports  that  37%  of  all  year‐country  observations  of  labor  force  participation in the period 1990‐2017 are based on actual data such as Labor Force Surveys  (LFS), censuses or – in some cases – official government estimates (ILO, 2017). In SSA, the share  of real observations to the total number of potential observations drops to 8.4%. Similarly, an  ILO  review  showed  that  160  of  the  236  countries  and  territories  worldwide  (and  36  of  60  African countries) implemented an LFS or a household survey with a labor module from 2000  to 2010 (ILO, 2013b). At the same time, multi‐topic household surveys, such as the LSMS(‐ISA)4  surveys supported by the World Bank, focus primarily on ‘final’ outcomes such as poverty and  food  consumption,  and  focus  less  on  ‘intermediate’  outcomes  such  as  employment  (Oya,  2013).  Even  when  household  or  labor  force  surveys  are  readily  available,  the  quality  of  the  employment  data  remains  a  concern.  Seemingly  minor  differences  in  survey  features  ‐  questionnaire design, the wording of a question, sampling, coverage, the structure and length  of the labor module and its implementation in the field – can have substantial effects on labor  market statistics. Fox and Pimhidzai (2013), for instance, show how the absence of screening  questions  in  the  labor  module  affects  the  employment  rate  in  Uganda.  Our  analyses  for  Ethiopia and Malawi reveal that the employment rate can vary substantially depending on the  survey instruments used to capture this indicator (Figure A in the Appendix).  Academics and statistical agencies alike have expressed concerns that the accuracy of labor  market statistics of women and – although less often emphasized ‐ youth are more sensitive  to  survey  design  than  labor  market  statistics  of  adult  men  (Gaddis  &  Palacios‐Lopez,  2018;  Verick, 2018; Walsh, 2018). Compelling theoretical arguments support these concerns. First,  women and young people engage more frequently in atypical employment (Barrientos et al.,  2004). They are more likely to combine a job with other activities such as domestic work or                                                               4Living Standards Measurement Study‐Integrated Surveys on Agriculture. 2        attending school, to engage in temporary or seasonal work or to engage in informal activities.  Atypical work is likely to be underreported in household surveys. Second, proxy reporting is  common in household surveys and   as the proxy respondent is often the male household head,  data  on  youth  and  women  may  disproportionally  suffer  from  ‘proxy  response’  bias.    The  respondent, in fact, may accurately report his own activities, but under‐ or overreport activities  of  other  household  members,  especially  of  household  members  who  primarily  engage  in  atypical work (Bardasi et al., 2011; Dillon et al, 2012). Third, many household surveys rely on  the notion of the main and second activity and do not use appropriate screening questions to  define  ‘activity’  (Benes  &  Walsh,  2018c;  Fox  &  Pimhidzai,  2013),  which  might  again  be  problematic  for  household  members  engaging  in  atypical  work  such  as  contributing  family  members. Fourth, the sampling framework is more likely to miss individuals who (temporarily)  migrate to other regions to find a job (Mueller & Chan, 2015).   Few empirical studies have examined the sensitivity of women’s employment to survey design  and, as far as we know, not a single study has focused on young people (Koolwal, 2019). One  robust  finding  in  this  literature  is  nevertheless  that  women,  when  responding  to  simple  keyword question such as ‘Did you work in the last seven days?’, tend to report domestic work  as employment, which upwards biases the female employment rate (Bardasi et al., 2011; Benes  & Walsh, 2018d). Studies evaluating the sensitivity of women’s employment to other survey  design  features  provide  mixed  results.  Comparing  self‐reporting  versus  proxy  reporting  in  Tanzania,  Bardasi  et  al.  (2011)  conclude  that  proxy  reporting  has  no  effect  on  the  female  employment  rate,  but  substantially  lowers  the  male  employment  rate.  Exploiting  variation  within  surveys,  Comblon  and  Robilliard  (2015)  compare  the  effect  of  several  survey  design  issues, including the wording of questions, on labor market statistics. Although the effects are  substantial, they do not differ by sex. Interviewing the same population of women in the Arab  Republic  of  Egypt,  Langsten  and  Salen  (2008)  show  that  the  female  employment  rate  is  substantially higher when an activity list is used rather than identifying workers with a single  keyword question about their ‘main’ occupation. Finally, Gaddis et al. (2018) study recall error  in labor input at the plot level in agriculture. Recall error substantially affects measurement of  labor input for both male and female workers, but – contrary to their expectations ‐ the authors  do not find larger recall bias for women.  This  background  paper  aims  to  take  stock  of  current  approaches  used  in  nationally  representative household surveys to collect individual‐level employment data and attempts to  evaluate how survey design features affect women’s and youth labor market statistics. It is  structured along four questions: (1) what should we measure, (2) what do we measure, (3)  how do we measure and, to conclude, (4) how and what will we measure in a changing labor  market?  2. What should we measure?  Before delving into the specifics of household surveys, we need to agree on a common set of  labor market indicators that are indispensable to study labor markets. While there are many  3        relevant labor market indicators5, we decided to focus on the Sustainable Development Goals  (SDGs) labor market indicators. We do so for four reasons: the SDGs emphasize the importance  of productive employment and decent work (e.g. goal 8); monitoring the SDGs is one of the  objectives of some of the survey programs we reviewed; the SDG labor market indicators offer  the potential to study many topics that go beyond the SDGs; and the SDGs emphasize the need  to disaggregate indicators by sex and age.   SDG labor market indicators are composed of a set of concepts that determine the indicators.  Table  A  in  the  Appendix  presents  the  SDG  labor  market  indicators,  while  Table  B  in  the  Appendix identifies and defines the concepts underlying these indicators. An in‐depth review  of the SDG labor market indicators goes beyond the scope of this paper.6 In this section we  only briefly highlight key concepts that have recently been revised.  A major innovation of the 19th International Conference of Labour Statisticians (ICLS) in 2013  was the introduction of a definition of work (Benes & Walsh, 2018b). Work is now defined as  ‘any activity performed by persons of any sex and age to produce goods or to provide services  for use by others or for own use’ (19th ICLS, §6). It consists of five mutually exclusive forms of  work:  (1)  own‐use  production  work,  (2)  employment  work,  (3)  unpaid  trainee  work,  (4)  volunteer work and (5) other unpaid work activities (not defined in the resolution). While these  five forms of work are mutually exclusive, persons can be engaged in several forms of work in  a short reference period. The 20th ICLS in 2018 revised the International Classification of Status  in  Employment  (ICSE‐18)  aligning  this  classification  with  the  narrowed  definition  of  employment. Workers are classified in 10 categories. These 10 categories can be aggregated  according to the authority the worker can exercise (independent workers  vis‐à‐vis dependent  workers) and the type of economic risk the worker is exposed to (workers employed for profit  vis‐à‐vis  workers  employed  for  pay).  The  new  International  Classification  of  Status  at  Work  (ICSaW) extends ICSE‐18 by including all types of work activities such as own‐use production,  volunteer work or unpaid traineeships and, thus, aligns with the new definition of work (ILO,  2018a).  The establishment of a definition of work has implications for the trichotomy of employment,  unemployment and persons out of the labor force (also called inactivity), concepts that were ‐  and still are ‐ at the heart of labor market statistics. While greatly expanding the scope of labor  market statistics by defining work, the 19th ICLS narrowed at the same time the definition of  employment to  work for pay or profit  (19th ICLS, §27). In contrast to the previous definition,  individuals  engaging  exclusively  in  producing  goods  for  own  final  use,  such  as  subsistence  farmers, are no longer classified as ‘employed’. 7                                                               5 ILO’s decent work indicators are another set of relevant labor market indicators (ILO, 2013a). The 71 decent work indicators,  including 21 legal framework indicators, cover the four pillars of decent work (full and productive employment; rights at work;  social protection; promotion of social rights). We do not review these indicators here.  6 See ILO’s recent guidebook for a detailed overview (ILO, 2018c).  7 In practice, the definition of employment used by national statistical offices already varied before the 2013 revision of the  definition of employment. An ILO paper, reviewing all LFS conducted between 2000 and 2010, shows that all countries include  wage employment and self‐employment in market units within the concept of employment. Variation exists, however, with  4        This  change  substantially  alters  key  labor  market  indicators  such  as  the  employment  and  unemployment rates, particularly in countries with high levels of subsistence farming (Global  Strategy, 2018). In Rwanda, for instance, according to the 2018 LFS, the ‘new’ employment  rate  equals  44.8%,  while  the  employment  rate  equals  75.5%  if  the  ‘old’  definition  of  employment is used (NISR, 2018, p. 34). The LSMS‐ISA surveys in Malawi (2016/17) and Nigeria  (2014/15)  ‐  the  only  LSMS‐ISA  surveys  which  allow  distinguishing  own‐use  producers  from  market‐producers ‐ also reveal a large effect of the new definition on the employment rate. In  Nigeria, for instance, the employment rate of the working‐age population (15 to 65 years old)  changes from 65% to 40% if own‐use producers are not classified as employed. Young people  are  even  more  affected  (from  39%  to  18%).  The  overall  effect  is  mainly  driven  by  the  reclassification of subsistence farmers. While 43% of Nigeria’s working‐age population engages  in household farming, only 20% produces primarily for the market (see Figure B in the Appendix  for detailed results, broken down by sex and age). The new definition may disproportionally  affect the female employment rate, as women are more likely to engage in own‐use production  (Gaddis & Palacios‐Lopez, 2018; Walsh, 2018). However, analyses for Malawi (Figure B in the  Appendix) and Nigeria (Koolwal, 2019) do not confirm this hypothesis. In Malawi and Nigeria,  women are only slightly more likely to be own‐use producers than men.  In practice, not all national statistical offices have already implemented the new definition of  employment and continue to classify ‘persons exclusively engaged in own‐use production’ as  employed. One reason is that distinguishing agricultural households that  mainly produce for  own final use from agricultural household that mainly produce for the market is difficult (Global  Strategy, 2018). This requires at least one additional question in household surveys about the  intended destination of the produced goods (Benes & Walsh, 2018d).  The  resolutions  of  the  19th  ICLS  do  not  affect  the  definition  of  unemployment.  Person  are  unemployed if they i) are not currently employed; ii) are seeking employment (desire to work  for pay or profit) or to start a business; and iii) are available to start a new job in a specified  time  period  (19th  ICLS,  §47).  This  requires  at  least  two  additional  questions:  one  evaluating  whether  the  person  was  actively  seeking  a  job  (during  the  last  four  weeks),  often  operationalized  by  asking  about  job  search  strategies,  and  a  second  question  evaluating  whether the person is available to work (in the next two weeks). These questions should also  be asked to subsistence farmers since they are not considered employed but may be looking  for  employment.  While  keeping  the  definition  of  unemployment  unaltered,  the  19th  ICLS  complemented the unemployment rate8, the traditional indicator of labor slack, with the time‐ related  underemployment  indicators  that  measures  the  desire  and  availability  to  work  additional  hours  (19th  ICLS,  §40).  These  new  indicators  address  the  growing  demand  for                                                               regard to own‐use producers. 40% of the national statistical offices include at least some own‐use producers in the definition  of employment. This approach is particularly prevalent for persons producing agricultural products for own use, whereas only  a few statistical offices include persons constructing their own dwelling or fetching water in their definition of employment  (ILO, 2013b). A recent update of this study shows that  35 out of 119 countries currently include all own‐use producers of  foodstuff in employment (ILO, 2018d).   8  The  unemployment  rate  was  indirectly  affected  by  the  ICLS  resolutions  as  the  definition  of  the  labor  force  (i.e.  the  denominator of the unemployment rate) was revised.  5        measures of labor underutilization, especially for women and youth who are more likely to  work part‐time or engage in temporal and seasonal jobs (Baah‐Boateng, 2015).   The  employed,  unemployed  and  persons  out  of  the  labor  force  can  also  engage  in  unpaid  domestic and care work, which is defined as work since the 19th ICLS but is not included in the  concept  of  employment.  Domestic  and  care  work  can  be  a  time‐consuming  daily  activity,  particularly for women (Budlender, 2008). To account for these activities and promote gender  equality, SDG indicator 5.1 measures the proportion of time spent on unpaid domestic and  care activities. This can be operationalized in several ways such as asking respondents to report  the number of hours spent in specific activities such as preparing meals, childcare and cleaning,  including time diaries in household surveys or conducting specialized time‐use surveys (ILO,  2018e).  Finally, capturing informal employment in developing‐country contexts, such as street vendors  and waste pickers, is essential because it constitutes 87% of the labor force in emerging and  developing  countries  (ILO,  2018f).  Measuring  informal  employment  requires  a  definition  of  informal enterprises and informal jobs (ILO, 2018f, p. 7, Box 2). While operational definitions  differ to some extent across countries, the definition of an informal enterprise is often based  on its size (number of employees), legal status (whether or not the enterprise is registered) ,  operations  (whether  or  not  the  enterprise  keeps  a  complete  balance  sheet  of  assets,  expenditures, and income), incorporations (whether or not the enterprise is owned by multiple  people  inside  and  outside  the  household)  and  product  destination  (whether  or  not  the  products are for market and/or own consumption).9 Informal jobs are often defined as jobs for  which the employer does not pay social security contributions, jobs without benefits such as  paid or sick leave or jobs without a written contract (Ruppert Bulmer, 2018). These definitions  are  currently  being  revised  by  the  ILO  to  align  them  with  the  narrowed  definition  of  employment  and  the  revised  classification  of  status  in  employment  (ICSE‐18)  and  the  new  classification of status at work (ICSaW‐18).10  3. What do we measure?  While the previous section highlights  what should be measured,  this section evaluates  what  current survey programs do measure, allowing us to compare how current survey programs  collect data on women and youth employment and related SDGs.  To do so, we reviewed the questionnaires of four nationally representative household survey  programs: LSMS‐ISA surveys, LSMS‐type surveys, Labor Force Surveys (LFS) and Demographic  and Health Surveys (DHS). More specifically, we reviewed the questionnaires of the latest wave  of all eight LSMS‐ISA surveys (Burkina Faso, Ethiopia, Malawi, Mali, Niger, Nigeria, Tanzania and  Uganda) and complemented this set with four LSMS surveys conducted in Guatemala, Nepal,                                                               9 ILO, Measuring informality: A statistical manual,  http://mospi.nic.in/sites/default/files/publication_reports/wcms_182300.pdf  10 One key question is how own‐use producers should be classified within the framework of informal employment. The current  definition classifies own‐use producers in ‘informal employment’. But, given the narrowed definition of employment, own‐use  producers are currently not classified as employed.  6        Nicaragua, and Tajikistan, and two LSMS‐type surveys from Indonesia and South Africa (Table  C in the Appendix). For those 14 countries, we also reviewed the DHS questionnaire as well as  the LFS questionnaires. The LFS questionnaire was, however, not publicly available for 3 of the  14  countries.  Although  these  four  types  of  surveys  have  common  elements,  they  differ  considerably with regard to their objectives, structure, sample size, data collection method and  data management plan. Table 1 highlights key differences.  Table 1: Main characteristics of LSMS‐type surveys, LSMS‐ISA surveys, LFS and DHS  Survey  Objectives  Multi‐topic  Population  Type of data  Cross‐country  Data  comparability  availability  LSMS‐type1  (a) Fostering evidence‐based policy formulation on agriculture, yes  5 years old and  cross‐sectional  ±  public  assets ownership, health, education, income and employment; above  (b)  Monitoring  the  SDGs  and  the  living  condition  dynamics  of rural and urban households; (c) Facilitating randomized impact evaluations;  and  (d)  Assessing  women  and  youth  employment and child activities  LSMS‐ISA  (a)  Improving  the  availability  and  the  quality  of  smallholder yes  5 years old and  panel  ±  public  agriculture  data  within  a  multi‐topic  framework;  (b)  Fostering above  innovation  and  efficiency  in  empirical  research  on  the  links between agriculture and welfare outcomes in the region  LFS  (a) Implementing policies for decent work, employment creation no  10/15 years old and  cross‐sectional  yes  on country  and  poverty  reduction,  income  support  as  well  as  other  social above  base  programs,  (b)  Monitoring  the  SDGs  and  the  living  condition dynamics of rural and urban households  DHS  (a) Monitoring changes in population, health, and nutrition, (b) yes  15‐49 years old  cross‐sectional  yes  public  Providing  an  international  database  that  can  be  used  by researchers  investigating  topics  related  to  population,  health, nutrition  Source: Based on LSMS‐ISA, LFS and DHS surveys. Table C in Appendix gives an overview of the reviewed surveys.  Note:  1  The  2016  South  Africa  General  Household  Survey  (GHS)  and  the  2010  Indonesia  National  Social  Economic  Survey  (Susenas) are LSMS‐type surveys: they have similar objectives, cover similar topics and follow a similar approach as LSMS  surveys.    LSMS‐ISA and LSMS surveys monitor most SDG labor market indicators, with time spent on  unpaid domestic and care work being a notable exception (see Table 2 below and Table D in  the Appendix). LFS also capture most of the SDGs but they cannot be used to monitor indicators  that link employment to (household) income or poverty such as monitoring the working poor  (SDG  indicator  1.1.1.)  or  income  of  small‐scale  food  producers  (SDG  indicator  2.3.2).  DHS,  instead, only collect data on employment and occupation and can be used to monitor a few  SDG indicators. All surveys allow disaggregation by age and sex.  A  starting  point  of  monitoring  the  SDGs  and,  more  generally,  studying  labor  markets  is  the  classification of persons as either employed or unemployment/out of the labor force. Most of  the  reviewed  surveys  allow  such  a  classification.  There  are  a  few  exceptions  such  as  the  2015/16 Ethiopia LSMS‐ISA survey that lacks a question on formal attachment to a job, which  is required to correctly classify persons temporarily absent from their job. By contrast, fewer  surveys allow distinguishing the unemployed from persons out of the labor force. This requires  questions  on  job  search  and  the  availability  to  start  working  within  the  next  (two)  weeks.  Whereas all 11 LFS include all required questions, 2 of the 8 LSMS‐ISA surveys and 3 of 6 LSMS‐ type surveys lack at least one of these two questions.  7        Table 2: Which surveys can be used to monitor the SDG labor market indicators?     LSMS‐ISA  LSMS‐type surveys  LFS  DHS  Number of surveys reviewed  8  6  11  1 (harmonized across countries)  Disaggregation by:          Age  100%  100%  100%  100% (population aged 15 to 49)  Sex  100%  100%  100%  100% (questions differ by sex)            Employment (previous definition)1  88%  100%  100%  100%  Unemployment  75%  50%  100%  0%  Inactivity  75%  50%  100%  0%            Domestic and care work (hours)  13%  50%  36%  0%            Sector  100%  83%  100%  0%  Occupation  100%  67%  100%  100%            Formal/Informal employment  75%  67%  82%  0%            Hours worked by occupation  100%  67%  100%  0%  Hourly earnings of employees  88%  100%  82%  0%  Income by occupation2  ±  ±  0%  0%            NEET3  75%  57%  92%  0%  Source: Based on LSMS‐ISA, LFS and DHS data. Table B in Appendix links each indicator to the SDG labor market indicators;  Table D in Appendix shows the coverage of the SDG labor market indicators by type of survey.  Note: 1 The 19th ICLS narrowed the definition of employment to work for pay or profit, thereby no longer classifying subsistence  farmers as employed. This new definition requires an additional question about the intended destination of the produced  goods. Since most of the surveys reviewed were designed and/or conducted before the 2013 revision of this definition, they  did not yet include these questions. We therefore verified whether the surveys enabled classifying the population according  to the previous definition of employment.  2 Most LSMS‐ISA and LSMS‐type surveys measure (household) income. Accurately measuring income is, however, notoriously  difficult. It is even more complicated to estimate income by occupation.  3 NEET: Not in Education, Employment or Training.    Goal  1  and  Goal  2  of  the  SDGs  contain  respectively  one  and  two  indicators  related  to  employment that refer to poverty, labor productivity and income of small‐scale farmers, which  are topics that are covered by LSMS and LSMS‐ISA surveys but not by LFS and DHS.  Goal 5 contains two indicators related to employment. The first indicator is the proportion of  time  spent  on  unpaid  domestic  and  care  work  which  is,  remarkably,  only  collected  in  four  LSMS(‐ISA)  surveys.  While  most  LSMS(‐ISA)  surveys  include  questions  on  time  spent  on  collecting water and wood, very few surveys include questions on (child and elderly) care or  domestic work such as preparing meals. LFS do not do better: 4 of the 11 LFS include questions  on  domestic  and  care  work.  The  second  indicator  related  to  employment  in  goal  5  is  the  proportion of women in managerial positions. One way to define a ‘managerial position’ is the  female share of employment in senior and middle management as defined by ISCO‐0811 (ILO,  2018c). This indicator can be monitored by most surveys. The DHS as well as most LSMS(‐ISA)  and LFS record the occupation of employees using the ISCO‐classification.  Goal 8 contains four labor market indicators that can in principle be measured with LFS and  LSMS‐ISA surveys, but not with DHS. In practice, some surveys do not include all the questions  required  to  calculate  specific  indicators.  Indicator  8.3.1,  for  instance,  tracks  informal  employment, but two LSMS‐ISA surveys (Burkina Faso and Ethiopia) and three LFS (Ethiopia,  Indonesia and Nicaragua) do not include a sufficient number of questions to distinguish formal  from  informal  employment.  The  2015/16  Ethiopia  LSMS‐ISA  survey  lacks  questions  such  as                                                               11 International Standard Classification of Occupations.  8        ‘Does your employer pay contributions to a pension fund/health/unemployment insurance?’,  ‘Do you get paid annual leave’, ‘Would you get paid sick leave in case of illness?’, whereas the  survey in Burkina Faso only records whether the employee has a regular contract. Similarly,  most surveys can be used to measure the unemployment rate (indicator 8.5.2) or NEET‐rate  (indicator 8.5.2), but a few surveys lack the relevant questions to do so.   Goal 9 includes the indicator manufacturing employment as a proportion of total employment,  which requires information on the sector of employees. Three LSMS surveys and a single LFS  do not collect this information.  4. How do we measure?  This section focuses on the labor module in household surveys. While some surveys also collect  employment  data  in  other  modules,  the  labor  module  is  critical  to  compile  accurate  labor  market statistics. Thus, a first critical survey design feature is the structure of the labor module.  This  will  be  discussed  next.  We  then  focus  on  more  specific  survey  design  issues,  namely  identifying  paid  and  unpaid  activities,  dealing  with  seasonality,  self‐reports  vis‐à‐vis  proxy  reporting,  new  questions  to  measure  time‐related  underemployment,  identifying  informal  wage jobs and the role of retrospective questions.  4.1. The labor module across LSMS(‐ISA) surveys and LFS  With the exception of DHS that contains only a few employment questions, all the reviewed  surveys include a complete labor module. While these modules measure the same concepts  and  tend  to  follow  ILO‐conventions  and  definitions,  they  are  structured  differently.  We  identified three approaches (Figure 1).  Figure 1: The different structures of the labor module                    Source: An elaboration of LFS and LSMS(‐ISA) Labor Module   Note: Farming activities include livestock and fishery activities.    The first approach – typically followed by LSMS(‐ISA) surveys and the 2016 GHS South Africa –  starts with general stylized questions to identify whether the household member engaged in  wage employment, worked on the family farm or is self‐employed in a (non‐farm) household  enterprise.  If  the  household  member  engaged  in  wage  employment,  a  battery  of  follow‐up  questions is asked about the employer and the working conditions. Household members who  did not engage in economic activities during a reference period are asked to report on their  9        job search strategies and work availability. Some LSMS(‐ISA) surveys contain a few additional  questions on underemployment (i.e. desire and/or availability to work additional hours).  The  second  approach,  followed  by  most  LFS,  starts  with  a  general  screening  question  to  determine  whether  an  individual  engages  in  wage  employment,  followed  by  more  detailed  questions  about  the  number  of  hours  worked  in  the  main  and  second  wage  job  (Benes  &  Walsh, 2018b). Follow‐up questions are asked to the employed and unemployed/inactive. In  addition, information on underemployment is collected.  The third approach, followed by for instance the 2010 Nepal LSMS survey, asks respondents to  list  all  productive  activities  in  which  they  engaged  in  the  last  12  months  and  to  report  the  number of months/weeks/hours worked by activity in the last 12 months and in the last 7 days.  These questions are followed by questions on underemployment for those employed fewer  than  40  hours  a  week,  while  the  unemployed/inactive  are  asked  to  report  on  job  search  strategies and work availability. Finally, some additional questions are asked to employees.  A common feature of the three approaches is the focus on wage employment. For instance,  the labor module of the  2015/16  Nigeria LSMS‐ISA survey counts 53 questions  of which 32  concern wage employment. Of the 44 questions about employment in the 2013 Ethiopia LFS,  14 questions focus exclusively on wage employment. This observation holds more generally.  Three elements explain this observation. First, surveys aim to distinguish formal from informal  wage  employment  and  this  distinction  requires  several  questions  about  the  contractual  arrangement and the employer. Second, LSMS(‐ISA) surveys include questions on the first as  well  as  the  second  wage  job  in  order  to  capture  multiple  job  holdings.  Third,  multi‐topic  household  surveys,  such  as  LSMS‐ISA  surveys,  often  include  other  modules  such  as  the  agricultural module (AG) and the non‐farm household enterprise (NFE) module which capture  specific activities of the self‐employed (Box 1). This implies that collecting detailed information  on  self‐employment  in  agriculture  and  non‐farm  household  enterprises  is  not  the  main  objective  of  the  LSMS‐ISA  labor  module,  as  this  information  is  already  collected  in  other,  dedicated modules.  10        Box 1: How consistent are the labor module, the AG module and the household enterprise  module in LSMS‐ISA surveys?  This paper focuses on the labor module. But LSMS‐ISA surveys also collect employment data in the agricultural  (AG) and household enterprise module.   Relying on end‐of‐season recall, the AG module captures labor input per person and plot and, in  some cases, by activity (land preparation, planting, harvesting) (see Gaddis and Palacios‐Lopez  (2018) and Arthi et al. (2016) for a discussion of this approach and an assessment of recall error);   The household enterprise module lists all household enterprises and records all household  members involved as manager, owner or worker in the enterprise during the last month of  operation in the past 12 months.  Using  this  information,  we  can  verify  the  internal  consistency  of  the  labor,  AG  and  household  enterprise  modules.  Household  members  who worked on  a  plot – as captured in  the AG module –  should  also have  reported working in ‘HH farming in the last 12 months’ in the labor module. Similarly, household members  listed in the enterprise module should also have reported being engaged in ‘running or helping in a non‐farm  household  enterprise’  in  the  labor  module.  We  illustrate  this  approach  for  the  2016/17  Malawi  LSMS‐ISA  survey.  Table E in the Appendix compares responses in the labor and AG modules. Of 25,919 household members  who worked on a plot in the rainy season, 2,034 (7.85%) were missing in the labor module. To explain this  finding, we examined whether the share of ‘missing individuals’ differs by (1) the number of plots cultivated,  (2)  the  type  of  activities  carried  out,  (3)  number  of  hours  worked  on  all  plots,  (4)  sex  and  (5)  age  of  the  individual. A clear pattern emerges. The share of individuals ‘missing’ in the labor module clearly decreases  with  increasing  work  intensity.  It  decreases  with  the  number  of  plots  cultivated,  the  number  of  different  activities and the number of hours worked. We do not observe differences between men and women. There  are, however, some differences by age group. One out of five children (5‐14 years old) who worked on a plot  is not identified as such in the labor module, compared to 6.92% of the young people (15‐24 years old) and  3.62% of the workers aged 25 to 65.  Table F in the Appendix compares the responses in the labor and household enterprise modules. Of the 5,010  household  members  listed  as  owner,  manager  or  worker  in  the  enterprise  module,  1,219  (24.3%)  do  not  appear in the labor module. The share of ‘missing’ household members in the labor module is again correlated  with work intensity. Household members who are the owner and manager as well as a worker in the enterprise  are less likely to be missed in the labor module (17.3%) than household members who do not combine these  three different roles. The share of missing observations also decreases with the number of hours worked in  the  enterprise  (from  34%  missing  observations  if  less  than  200  hours  worked  per  year  to  11%  missing  observations  if  more  than  1,584  hours  worked).  Again,  we  do  not  observe  differences  between  men  and  women. Young people reporting to be involved in the household enterprise are more often missing in the  labor module than household members aged 25 to 65.      4.2. Paid and unpaid economic activities  A key difference between labor modules is related to the approach used to measure unpaid  and  paid  work.  We  have  identified  four  approaches.  Two  approaches,  the  single  keyword  question and the activity list, identify whether the person is employed in general or in specific  activities. The two other approaches, the stylized questions followed by questions about the  main  and  second  wage  job  and  time  diaries,  measure  hours  worked  in  the  last  7‐days/12‐ months  or  at  specific  moments  during  the  day.  Recently,  some  surveys,  like  the  survey  11        developed within the framework of the Women’s Empowerment in Agriculture Index (WEAI),  have explored combinations of these approaches. They argue that stylized questions are more  suited  for  activities  that  tend  to  follow  a  fixed  schedule,  whereas  time  diaries  are  more  appropriate for  activities  that are  not  exceptionally salient  nor  follow  a  fixed  schedule  (e.g.  agricultural labor) (Seymour et al., 2017).  4.2.1. Keyword questions  The first approach to determine whether a person is employed is a (single) keyword question.  This approach is often used in short surveys such as population and housing censuses12 and in  surveys that do not aim to collect detailed labor market data such as the DHS (Fox & Pimhidzai,  2013). The defining characteristic of keyword questions is that they include a single keyword  such  as  activity,  work  or  occupation,  and  are  not  preceded  or  followed  by  probing  and/or  screening questions that define the keyword. The risk is that the keyword is not interpreted  consistently  by  respondents,  enumerators  and  data  users.  The  best‐known  example  of  this  approach  is the  DHS  questionnaire that includes  a  different  keyword  question  for men and  women. Since 2013 the question for men reads as  ‘Have you done any work in the last seven  days?’ The women’s questionnaire includes the questions  ‘Aside from your own housework,  have you done any work in the last seven days?’ as well as ‘As you know, some women take up  jobs for which they are paid in cash or kind. Others sell things, have a small business or work on  the family farm or in the family business. In the last seven days, have you done any of these  things or any other work?’.  4.2.2. An activity list  The second approach uses an activity list, which consists of a complete list of jobs/activities  that are common in the region. Some surveys, such as the Nepal LSMS survey, ask respondents  to list all productive activities of the last 12 months. Other LSMS(‐ISA) surveys include a pre‐ specified list of activities. Such a list is not necessarily limited to strictly defined ‘productive’  activities but can also include activities such as domestic and care work or collecting water and  firewood. Given the pre‐specified activity list, respondents report whether they engaged in any  of these activities and, in some surveys, the time dedicated to these activities in a reference  period (ILO, 2018e). Several authors have argued that a carefully prepared activity list is easily  understood  and  allows  capturing  multiple  job  holdings  as  well  as  atypical  employment  (Langsten & Salen, 2008; Oya, 2013).  In practice, the use of a detailed activity list in the labor module is exceptional. Of all surveys  reviewed, only a few (i.e. the 2014 Guatemala LSMS, the 2010 Nepal LSMS, the 2007 Nepal LFS  and the 2013 Mali LFS) include a pre‐specified activity list. Moreover, this list is typically limited  to  unpaid  domestic and  care  work, while  work  for  pay and profit is  measured  with  stylized  questions.  For  instance,  the  2014  Guatemala  LSMS  includes  a  list  of  questions  such  as  ‘Yesterday, did you take care of animals?; Yesterday, did you make repairs to your dwelling of  any  type:  electrical,  plumbing,  bricklaying,  etc.?;  Yesterday,  did  you  clean  the  house?;                                                               12  For  instance,  the  2008  Malawi  population  and  housing  census  included  7  questions  about  employment.  The  keyword  question reads as ‘Aside from his/her own housework, did [name] work during the last 7 days?’.  12        Yesterday,  did  you  cook  or  prepare breakfast, lunch,  or  dinner?’  The  2010  Nepal  LSMS  uses  questions  such  as  ‘How  many  hours  has  [name]  spent  doing  the  following  activities:  C.  Processing  preserved  food  (pickle,  jam,  wine,  etc.)  and  milling?;  I.  Cooking/  serving  food  for  household?; J. Cleaning house, laundry, dishes?; K. Shopping for household?’.  4.2.3. Stylized questions  Most LFS as well as LSMS(‐ISA) surveys rely on stylized questions. LSMS‐ISA surveys typically  include (a variant of13) the following five stylized questions:  ‘In the last [reference period] did  you (1) work on household farming activities, (2) run a non‐farm business, (3) help in any kind  of non‐farm business, (4) work as an employee for a wage, salary, commission or any payment  in  kind,  (5)  engage  in  an  unpaid  apprenticeship’.  Nearly  all  LSMS‐ISA  surveys  use  a  7‐day  reference period14, sometimes complemented by a 12‐month reference period, such as in the  2016/17 Malawi, the 2014/15 Tanzania and the 2013/14 Uganda LSMS‐ISA survey. The LSMS  reference book – a book edited by Grosh and Glewwe and published in 2000 which discusses  all LSMS modules ‐ emphasizes that questions 2 and 3 should include examples to ‘cover the  wide  range  of  potential  self‐employment  activities’  and  stresses  that  ‘careful  preliminary  research should be carried out to determine which phrases best capture all self‐employment  activities’  (Grosh  &  Glewwe,  2000,  chapter  9).  In  practice,  most  LSMS‐ISA  surveys  do  not  systematically  clarify  the  concept  non‐farm  business,  although  the  question  sometimes  includes  examples  of  non‐farm  businesses.  The  question  in  the  2015/16  Nigeria  LSMS‐ISA  survey,  for  instance,  reads  as  ‘During  the  past  7  days,  has  [name]  worked  on  his/her  own  account  or  in  a  business  enterprise  belonging  to  [name]  or  someone  in  this  household,  for  example, as a trader, shop‐keeper, barber, dressmaker, carpenter or taxi driver?’.  Stylized questions are also used in LSMS‐ISA surveys to measure unpaid work and collect time  use data on domestic activities, such as collecting water and firewood. For instance, the LSMS‐ ISA surveys in Malawi, Tanzania and Uganda include the questions ‘How many hours did you  spend collecting water? (hours)’ and ‘How many hours did you spend collecting firewood (or  other  fuel  materials)?  (hours)’.  The  2015/16  Ethiopia  LSMS‐ISA  survey  starts  with  a  yes‐no  question to screen whether the respondent participated in the activity and then records time  spent  by  activity  in  hours  and  minutes,  whereas  the  2015/16  Nigeria  LSMS‐ISA  survey  only  records  minutes.  LSMS‐ISA  surveys  do  not  collect  data  on  domestic  activities  (or  service  provision),  such  as  preparing  meals or  taking  care  of  children/elderly. The  2013/14  Uganda  LSMS‐ISA  survey  is  the only  exception  and  includes  a  single  question  on  domestic  activities  (‘How many hours did [name] spend on domestic activities? (hours)’).  Stylized  questions  may  contain  keywords  that  are  not  always  clearly  defined.  The  measurement of ‘casual labor’ in LSMS‐ISA surveys is, for instance, problematic. Most labor                                                               13 One variant, common in LSMS‐ISA surveys, is open questions (‘How many hours in the [reference period] did you spend on  [activity]?’) rather than closed, binary questions (‘Did you work on [activity] in [reference period]?’). Open questions aim to  capture the employment status and time use in a single question.  14 Questions related to the reference period are worded slightly differently across surveys. Surveys either refer to the  ‘last 7  days’ or ‘the last week’. Whether respondents wrongly interpret  ‘last week’ as the last full week ranging from Monday to  Sunday and whether this affects the employment data is unclear.  13        modules in LSMS‐ISA surveys include a variant of the question  ‘In the last [reference period],  did you work as an employee for a wage, salary, commission, or any payment in kind, including  doing paid apprenticeship, domestic work or paid farm work, even if only for one hour?’  This  question  is  a  critical  first  step  to  capture  wage  employment,  including  casual  labor.  The  complexity becomes, however, evident in those surveys that aim to distinguish casual labor  from other types of wage employment. The 2015/16 Ethiopia LSMS‐ISA survey, for instance,  includes the questions  ‘How many hours in the last seven days did [name] do any work for a  wage, salary, commission, or any payment in kind, excluding temporary?’ and ‘How many hours  in  the  last  seven  days  did  [name]  engage  in  casual,  part‐time,  or  temporary  labor?’  The  difference between both questions is unclear and is not further clarified in the enumerator  manual. A similar approach is used in Malawi, where the first question is the same as in Ethiopia  but  excludes  ‘ganyu’  labor15,  while  the  second  question  asks  the  respondents  to  report  on  casual, part‐time or  ganyu  labor.  In Tanzania, a different approach is  followed. Rather than  distinguishing  casual  labor  from  other  types  of  wage  employment  using  stylized  questions,  persons engaged in wage employment are asked whether they have a ‘permanent’, a ‘specific  task’, a ‘fixed time’ or a ‘casual contract’. In the Swahili questionnaire, the term casual contract  is translated as ‘kibarua’. According to Oya (2013) and Mueller (2015), kibarua is used for most  forms of manual casual labor, and often has a negative connotation in Tanzania.  4.2.4. Time diaries  The fourth approach to measure hours worked in paid and unpaid economic activities is a time  diary, an approach that was initially developed to measure time use within a reference period  (typically the last 24 hours) but can also be used to identify productive activities. Time diaries  have several advantages. First, time diaries are more accurate and suffer less from recall bias  than stylized questions (Bonke, 2005; Kan & Pudney, 2008). Second, they provide an exhaustive  list  of  all  activities  undertaken  in  the  last  24  hours  (Seymour  et  al.,  2017).  Third,  given  the  format of a time diary, enumerators can easily verify that the sum of all activities equals 24  hours,  which  may  reduce  measurement  error.  Fourth,  they  offer  the  potential  to  capture  simultaneous activities (for example, women caring for children and working on an agricultural  plot at the same time) (Grosh & Glewwe, 2000; ILO, 2018e).   Time  diaries  increase,  however,  the  complexity  and  duration  on  the  interview,  have  high  operational costs, and might yield inaccurate response due to respondents’ memory loss and  illiteracy.  The  United  Nations  Statistics  Division  (UNSD)  Time  Use  Data  Portal16  identified  several  methodological  issues  regarding  collecting  accurate  time  use  data  that  are  not  yet  settled such as (1) whether a time diary should be administered to all household member or  only to (randomly) selected household members; (2) whether proxy‐reporting of time use is  acceptable;  (3)  how  to  deal  with  variation  in  time  use  across  the  week  (e.g.  interviews  on  Tuesdays  versus  on  Sundays)  and  (4)  whether  the  definition  of  time  is  context  and  cultural                                                               15  The  enumerator  manual  defines  ganyu  labor  as  “short  term  labour  hired  on  a  daily  or  other  short‐term  basis.  Most  commonly, piecework weeding or ridging on the fields of other smallholders or on agricultural estates. However, ganyu labour  can also be used for non‐agricultural tasks, such as construction and gardening.”  16 https://unstats.un.org/unsd/gender/timeuse/ (last updated in May 2016)  14        specific. When time diaries are used, one can choose between the leave‐behind/self‐reporting  method,  that  is  a  paper‐based  diary  filled  by  the  respondent,  or  recall,  that  is  a  time  diary  where the enumerators record the time spent in each activity (especially used in contexts when  illiteracy is a concern).  4.3. Seasonality  Economic activities are subject to seasonal fluctuations related to climate, institutional aspects  (e.g.  holiday  periods),  religious  and  cultural  events  and  the  nature  of  jobs  performed  (e.g.  casual, temporary, seasonal, full‐time or part‐time) (Comblon & Robilliard, 2015). Labor market  participation is therefore volatile and will depend on the timing of the interview. This is even  more the case for vulnerable groups, such as women, youth and rural households, that are  more likely to engage in seasonal, temporary and part‐time employment.   There  are  basically  three  approaches  to  capture  seasonality:  (1)  continuous  surveys,  which  interview different households in different weeks over a 12‐month period; (2) surveys that visit  the  same  households  multiple  times  within  the  same  (agricultural)  year;  and  (3)  complementing the standard 7‐day reference period with a 12‐month reference period. These  approaches allow, to a varying extent, to estimate the average annual employment rate and  may help to study seasonality and its impact on socioeconomic and labor market outcomes.  4.3.1. Continuous surveys  The LSMS reference work recommends continuous surveys and states that ‘the costs of using  a 7‐day reference period can be minimized if random samples of households are interviewed in  each  month  or  season  of  the  year,  as  has  been  done  in  many  past  LSMS‐type  surveys.  It  is  recommended that survey organizers maintain this feature’  (Grosh & Glewwe, 2000, chapter  9).  Continuous  surveys  can  be  used  to  estimate  the  average,  annual  employment  rate,  as  seasonal variations are averaged out. They do not capture (the effects of) seasonality at the  individual‐level.  Contrary to this recommendation, of the 8 LSMS‐ISA surveys, only the 2013/14 Uganda LSMS‐ ISA survey is designed as a continuous survey. Other LSMS‐ISA surveys are often implemented  over a relatively long period due to logistical constraints but are not designed as continuous  surveys. In Malawi, for instance, the fieldwork lasted from April 2016 to April 2017. As a result,  respondents  are  interviewed  in  different  months.  Some  LSMS‐type  surveys  (e.g.  Nepal)  are  continuous surveys. DHS are generally not designed as continuous surveys and recommend  completing  the  fieldwork  within  3  to  5  months  (ICF  International,  2012).  LFS  are  often  continuous  surveys  in  developed  countries,  but  continuous  LFS  remain  exceptional  in  developing countries. For instance, according to the ILO review of national plans to implement  the 19th ICLS standards (August 2018), out of 119 countries 57 implemented a continuous LFS.  However, while all 30 European countries report implementing continuous LFS, only 1 of 27  African countries and 5 of 19 Asian and Pacific countries conduct continuous LFS. 17                                                               17  ILO Presentation available on www.ilo.org/wcmsp5/groups/public/‐‐‐dgreports/‐‐‐ stat/documents/meetingdocument/wcms_646789.pdf   15        The 2013/14 Uganda LSMS‐ISA survey is a continuous survey and this feature can be exploited  to  illustrate  the  effect  of  seasonality  on  the  employment  rate.  Using  logistic  regression  to  control for the composition of the interviewed population (region, urban/rural, sex), Figure 2  shows the predicted share of the population that engaged in wage employment, household  farming, self‐employment in a non‐farm household business or was temporarily absent from  their job in the last 7 days, in function of the month of the interview. 18 Seasonality affects the  employment rate of persons aged 15 to 25, but not of persons aged 25 to 65. While the average  annual employment rate of the respondents aged 25 to 65 is 88% and does not fluctuate much  with the timing of the interview, the average employment rate of young people is 57%, but  increases  to  69%  in  August.  A  more  in‐depth  analysis,  not  reported  here,  reveals  that  the  results are driven by volatility in employment in agriculture, which peaks in August/September.  Similar analyses do not reveal a different impact of seasonality on women compared to men.  Figure 2: The effect of seasonality on the employment rate in Uganda (2013) by age group    Source: Based on 2013/14 Uganda LSMS‐ISA data, predicted share from a logistic regression controlling for region, urban/rural  household and sex. Shaded area indicates the 95% confidence interval.  Note: Fieldwork lasted from September 2013 to October 2014. We discarded households interviewed in September 2013 and  September  and  October  2014,  because  few  households  were  interviewed  in  these  months.  The  number  of  individuals  interviewed each month varies. In the age group 15 to 25 years, the minimum and maximum number of observations was  respectively 219 (December 2013) and 391 (October 2013); in the age group 25 to 65 years, the minimum and maximum  number of observations was respectively 327 (May 2014) and 550 (August 2014).     4.3.2. Multiple visits  The second approach to capture seasonality is visiting the same household multiple times in  the same year. Like continuous surveys, multiple visits allow to estimate an average annual  employment rate as seasonal fluctuations wash out when calculating the average employment  rate  over  the  visits  and,  subsequently,  over  households.  In  addition  ‐  and  in  contrast  to  continuous surveys‐  multiple  visits  also  capture seasonality at  the individual and  household  level.                                                               18 Another interesting finding, not reported here, is that the effect of seasonality does not disappear when using a 12‐month  rather than a 7‐day reference period. This suggests that a 12‐month reference period does not help to capture seasonality.  This issue deserves more research. 16        While  LFS,  DHS  and  LSMS  surveys  typically  visit  each  household  only  once,  some  LSMS‐ISA  surveys visit each household twice administering the post‐planting questionnaire during the  first and the post‐harvest questionnaire during the second visit. However, the labor module is  generally only administered once. The exception is the 2015/16 Nigeria LSMS‐ISA survey that  administers the labor module during both visits and, thus, allows to estimate the employment  rate at two moments in the agricultural year.  The Malawi General Household Panel survey adopted a variant of this approach. Like other  LSMS‐ISA surveys, each household is visited twice, and the labor module is only administered  once. In contrast to other LSMS‐ISA surveys, the sample is randomly divided in two groups. The  labor module is administered to the first group during the first visit and to the second group  during the second visit. Hence, the employment rate can be estimated at two moments in time,  while the labor module has only been administered once to each household. In this sense, this  approach  resembles  a  continuous  survey.  Results,  not  reported  here,  but  available  upon  request,  show  that  the  employment  rate  is  nearly  the  same  in  the  post‐planting  and  post‐ harvest period, suggesting that seasonality is either not a major issue in Malawi or plays only a  role in‐between the planting and harvesting period.  4.3.3. The reference period  The  drawback  of  continuous  surveys  or  surveys  with  multiple  visits  are  the  costs  and  the  logistics  required to implement them.  For  this reason,  these types  of surveys are  often  not  feasible. An alternative approach is complementing the standard 7‐day reference period with  a 12‐month reference period. While this strategy does not allow estimating the annual average  employment rate – which relies on a 7‐day reference period ‐, it does provide some insights in  the seasonality of labor demand and the occurrence of engaging in multiple economic activities  throughout the year.  Since the 1980s and 1990s, several authors have supported the use of a 12‐month reference  period (Freedman et al., 1977). Thus, the LSMS reference work suggested complementing the  7‐day reference period with a 12‐month reference period in order to capture seasonality and  multiple jobs (Grosh & Glewwe, 2000, chapter 9). Follow‐up questions are then included for  activities carried out in the last 7 days, but not for those carried out during the last 12 months.  The idea is that respondents can accurately recall details about the activities of the last 7 days,  but not of the last 12 months. Using two reference periods is now a standard practice, that has  been adopted by DHS and by most LSMS(‐ISA) surveys. ILO, for instance, defines the currently  active population, which is measured over a day or a week, and the usually active population,  which is measured over a long reference period, such as one year (ILO, 2013c).  The main concern of the 12‐month reference period is recall error (Kalton & Schuman, 1982).  Beegle et al. (2012) show that recall errors did not lead to an underestimation of hired farm  labor in Kenya, Malawi, and Rwanda. Arthi et al. (2016) find, however, strong evidence of recall  bias  in  agricultural  labor  input  per  person‐plot  in  Tanzania,  but  also  show  that  labor  input  aggregated  at  household level  yields  correct  results  because  respondents  overreport labor‐ 17        input at plot level but underreport the number of plots and people working on each plot. A  similar study in Ghana confirms these findings (Gaddis et al., 2019).  As already discussed, one of the reasons to use a 7‐day as well as a 12‐month reference period,  is  capturing  seasonality  and  multiple  economic  activities  throughout  the  year.  Women  and  youth  are  believed  to  engage  more  frequently  in  seasonal  and  temporary  work.  A  long  reference period is thus expected to have a more pronounced effect on women’s and youth  employment.  As  far  as  we  know,  only  Fox  and  Pimhidzai  (2013)  have  examined  how  the  reference  period  affects  the  classification  of  individuals  by  activity,  but  they  did  not  disaggregate their results by sex or age. In order to illustrate this issue, we examine the share  of the working‐age population engaged in a specific activity by reference period, sex (Figure 3)  and age (Figure 4) in Malawi.  Figure 3: The share of Malawi’s working‐age population (15‐64 years old) engaging in a specific  activity by reference period and sex in 2016                  Source: Based on 2016/17 Malawi LSMS‐ISA data.    Figure 4: The share of Malawi’s population engaging in a specific activity by reference period  and age in 2016                  Source: Based on 2016/17 Malawi LSMS‐ISA data.  The results show that a long reference period substantially increases the number of people  reporting having carried out a specific activity compared to the short reference period. The  18        effect is especially pronounced for agricultural activities and, to a lesser extent, for casual labor.  More than 75% of the population worked in agriculture in the past 12 months, but less than  40% did so in the last seven days. These results are similar for women and men. However, labor  market statistics of young  people are more sensitive to the choice of the reference period.  Considering someone employed if he engaged in at least one activity, the employment rate of  the population aged 15 to 24 increases from 50% to 82% if a long rather than a short reference  period is used, compared to an increase from 74% to 95% for the population aged 25 to 64.  The share of young people in agriculture is particularly sensitive to the reference period. Like  in Uganda, this finding suggests that seasonality affects young people more than the rest of  the population.  4.4. Self‐reports or response by proxy  Questions about employment can be asked directly to each household member or to a single  informed  household  member,  often  the  household  head,  who  reports  for  all  household  members. Both approaches are common. The literature often recommends self‐reporting as  best practice (Benes & Walsh, 2018a), mainly because self‐reports are believed to be more  accurate. Indeed, proxy respondents may not be aware of all activities carried out by all family  members, particularly in extended families, or may have an incentive to under‐ or overreport  specific  activities  of  certain  household  members  (Blair  et  al.,  2004).  At  the  same  time,  interviewing each household member rather than a single respondent is burdensome for the  enumerators and respondents, and may increase non‐response (Thomsen & Villund, 2011). In  order  to  facilitate  fieldwork,  many  surveys  therefore  aim  to  minimize  the  level  of  proxy  reporting, but do not prohibit it. A comprehensive ILO review of LFS shows that in half of the  LFS 30% to 50% of the responses are provided by proxy informants (ILO, 2018d). The DHS is in  that sense an exception because it administers a separate men’s and women’s questionnaire  and interviews each household member aged 15 to 49. Interestingly, men’s employment status  and main occupation is self‐reported (in the men’s questionnaire), but also reported by their  wife in the women’s questionnaires.   The  LSMS  reference  work  and  enumerator  manuals  recommend  self‐reporting,  but  do  not  require it (Grosh & Glewwe, 2000, chapter 9). The enumerator records by whom the questions  are  answered.  Although  self‐reporting  is  preferred,  proxy  reporting  is  common  in  practice  (Table 3). The rate of proxy respondents for the age group 15 to 64 ranges from 24% in Nigeria  and Tanzania to 85% in Mali. Although there are some exceptions (such as Mali and Niger), the  results indicate that the proxy respondent is usually a male household member, especially for  youth.  The findings raise the question whether and how proxy reporting affects labor market statistics  and  whether  the  effect  of  proxy  reporting  differs  by  age  and  sex  of  the  subject  and  respondent.19 Using a survey experiment in Tanzania, Bardasi et al. (2011) show that proxy                                                               19 A  distinct  question  is  whether  household  members  who  self‐report  their  employment  status  differ  systematically  from  household  members  whose  status  is  reported  by  proxy  respondents.  In  Malawi,  for  instance,  the  self‐reported  (fe)male  employment rate was 79% (65%), whereas the (fe)male employment of individuals who did not self‐report was 63% (50%)  19        reporting has no effect on the female employment rate, but decreases the male employment  rate compared to self‐reporting, mainly because agricultural activities are underreported by  proxy  respondents.  They  do  not  find  evidence  that  the  proxy  respondent’s  sex  affects  measurement error. In other words, men or women do not systematically under‐ or overreport  the  employment  status  of  household  members  of  the  opposite  sex.  Although  the  data  are  available,  it  was  not  reported  whether  the  youth  employment  rate  is  sensitive  to  proxy  reporting. 20  Table 3: Rate of proxy respondent use by LSMS‐ISA survey    Country  Age Group: 15‐24  Age Group: 15‐64     Overall  Male  Female  Overall  Male  Female  Malawi (2017)  64.1  72.2  56.7  45.0  55.1  36.1  Niger (2014)  44.8  43.1  46.5  42.0  37.8  45.6  Nigeria (2016)  34.1  35.3  32.7  24.2  27.9  20.9  Tanzania (2013)  35.3  42.9  28.1  24.1  30.3  18.3  Mali (2014)  99.0  98.2  99.8  84.9  70.5  98.1  Uganda (2014)  76.8  83.6  70.0  55.8  65.6  46.6  Source:  Based  on  the  latest  LSMS‐ISA  round  in  each  country.  The  only  exception  is  Tanzania  where  the  authors  used  the  previous wave (2013) because the last wave (2015) did not include the proxy respondent question.  Note: The gender difference in the rate of proxy respondent use in each country and age group is statistically significant at  1%, with the exception of Nigeria Age Group 15‐24 (5% significance), Mali Age Group 15‐24 (5% significance), Niger Age Group  15‐24 (10% significance).    Expanding Bardasi’s work to Nigeria, we explored the potential effects of proxy reporting on  employment rate by sex and age. Using the previous and new definitions of employment, we  observe striking differences between the self‐reported employment rate and the employment  rate based on proxy reporting. Table 4 suggests that proxy respondents may underestimate  the male and female employment rates in both age groups. Results are consistent regardless  the definition of employment.  Table 4: The employment rate in Nigeria (2014) by sex and age, self‐reporting vis‐à‐vis proxy  reporting    Youth Employment Rate (%)  Adult Employment Rate (%)  Self‐ Proxy‐ Number of  Self‐ Proxy‐ Number of  Diff  Diff  respondent  respondent  observations  respondent  respondent  observations  Old definition    Women  43.96  26.21  17.75***  2,532  68  42.26  25.74***  7,703  Men  57.79  29.58  28.21***  2,919  74.6  50.8  23.8***  6,915  Previous definition    Women  20.36  12.68  7.68***  2,532  41.78  27.28  14.5***  7,703  Men  22.67  14.26  8.41***  2,919  45.55  33.94  11.61***  6,915  Source: Based on 2013/14 Nigeria LSMS‐ISA data.  Note: ***, ***,* indicate statistical significance at the 1%, 5% and 10% level.                                                                 (own calculations). Hence, individuals who did not self‐report are less likely to be employed than individuals who self‐reported  their activities. This is counterintuitive. One candidate explanation is underreporting by proxy respondents, as observed by  Bardasi et al. (2011). An alternative explanation is that socioeconomic characteristics differ between the two groups. 20 The authors did test the sensitivity of child labor statistics to proxy reporting relative to self‐reports (Dillon et al., 2012).  They did not observe significant differences.  20        4.5. Desire, availability and constraints to work additional hours  Hours  worked  in  paid  and  unpaid  activities  support  the  measurement  of  time‐related  underemployment defined by the 19th ICLS as a situation “when the working time of persons in  employment is insufficient in relation to alternative employment situations in which they are  willing and available to engage” (ILO, 2013, §40a). In addition to hours worked, time‐related  underemployment requires questions on both desire and availability to work more (Benes and  Walsh, 2018b). The Guatemala and South Africa LFS are the only reviewed LFS that include  questions  on  both  desire  and  availability  to  work.21  The  majority  of  LFS  either  focus  on  availability or desire to work. For instance, the 2014 Nicaragua and 2014 Tanzania LFS only  include  questions  on  availability,22  while  the  2013  Malawi  and  2009  Uganda  LFS  only  ask  questions related to the desire to work additional hours.23   Like  LFS,  LSMS‐ISA  surveys  do  not  include  questions  on  both  desire  and  availability.  The  2016/17 Malawi and 2013/14 Uganda LSMS‐ISA survey exclusively collect data on the desire  to work more. The Malawi LSMS‐ISA survey asks ‘If you were offered a wage job, would you be  willing to accept it?’, while the Uganda LSMS‐ISA survey asks ‘Would [name] have liked to work  more hours than [name] actually worked, provided the extra hours had been paid’.24 Figure 5  shows that in both countries almost 50% of the employed population aged 15 to 65 would be  willing to work more, especially men in Uganda (51% versus 47%) and women in Malawi (49%  versus 44%). Because questions on ‘availability to work more hours’ are missing, we do not  know whether the respondents could indeed work more when offered the opportunity.  The  LSMS‐ISA  surveys  in  Burkina  Faso,  Nigeria,  Niger  and  Mali,  instead,  only  capture  the  availability to work more hours, but use different reference periods or response options (next  month, immediately, yes/no). Figure 5 shows that few respondents in Burkina Faso, Nigeria,  Niger  and Mali are available  to start  a new  job. Thus,  just including questions  on ‘desire to  work’ without considering who is actually available to work more is not informative. For this  reason, Benes and Walsh (2018b) recommend asking a question about availability only if the  respondent  wants  to  work  more  hours.  This  would  facilitate  measuring  time‐related  underemployment.                                                               21 The Guatemala LFS starts with the question ‘In addition to the number of hours that you actually work in all your activities,  would you like to work more hours per week?’ , followed by ‘If you were offered an additional job or to work additional hours  in your actual employment: 1.Would you be available immediately?; 2.Would you prefer starting in a month?’ (original version  in Spanish). Similarly, the South Africa LFS first asks ‘Do you want to work more hours at your current rate of pay?’ and then ‘If  extra work became available, would you be able to start such work in the next four weeks?’.  22 The Guatemala and South Africa LFS include the question  ‘Are you usually available to work more hours?’.  In addition,  the  Nicaragua LFS includes the question ‘If extra work became available, would you be able to start such work in the next 15 days?’  The  Ethiopia  LFS  only  asks  ‘If  opportunities  to  work  exist  in  the  coming  one  month,  are  you  willing  and  ready  to  work  for  income/earning?’.  23 The Malawi LFS includes the questions ‘In the last week, would you have liked to work more hours than you actually worked  provided the extra hours had been paid?’, while the Uganda LFS asks ‘Do you want to work 20 hours or more per week at this  job?’.  24 Response options: Yes, in the current job; Yes, in taking an additional job; Yes, in a different job with more hours; No; Don’t  know.  21        Figure 5: Time‐related underemployment: ‘desire to work more’ versus the ‘availability to work more  hours’ in LSMS‐ISA surveys, by age group and sex  Source: Based on LSMS‐ISA data.  Note: The surveys in Burkina Faso, Nigeria, Niger and Mali only include questions on ‘availability to work more’; the surveys  in Malawi and Uganda only include questions on ‘desire to work more’.  Constraints to work additional hours should also be captured to inform the implementation of  targeted  policies  on  underemployment.25    Most  LFS  and  LSMS(‐ISA)  surveys  do  not  include  questions  on  the  reason  for  not  being  available  or  not  seeking  additional  work.  The  only  exceptions are the 2010 Nepal LSMS‐ISA survey which includes the question ‘Why was [name]  not available/ did [name] not look for more work?’ and the 2007 Nepal LFS which includes a  similar question.  Other LFS do not generically refer to ‘more hours’ but use the expression ‘more than 40 or 20  hours’ as reference period. For instance, the 2014 Tanzania LFS includes the question ‘What  was the main reason you worked less than 40 hours during the last week?’. The 2009 Uganda  LFS uses two separate questions, first asking the main reason for working less than 20 hours a  week and then the main reason for not willing to work 20 hours or more at the current job.  Both questions have the same response options, such as business conditions, seasonal work,  childcare  problems,  family/personal  obligations,  health/medical  limitations,  school/training,  nature of the job, and preferring spending time at another job. Finally, the 2005 Nicaragua LFS  asks the main reason for working part‐time, giving two categorical options, ‘inadequate or too  expensive  childcare  services’  and  ‘inadequate  or  too  expensive  services  for  elderly  and/or  disabled care’.   4.6. Informal jobs  Informality is a multi‐dimensional concept, which is hard to capture. With the exception of the  LSMS(‐ISA) surveys in Indonesia, Ethiopia and Burkina Faso, the LSMS‐ISA labor module collects  data on informal wage jobs. Questions on contracts, social security contributions, paid annual  leave,  paid  sick  leave,  and  pension  contributions  are  generally  included  (Ruppert  Bulmer,  2018). Questions on informal jobs in LSMS‐ISA surveys are, however, not standardized across                                                               25  Questions on constraints to start a business are often included in the LSMS‐ISA non‐farm enterprise module. They are not  reviewed here.  22        surveys.  For  instance,  the  Niger,  Tanzania  and  Uganda  LSMS‐ISA  surveys  include  questions  about  paid  annual  leave,  paid  sick  leave  and  pensions,  but  use  different  wording.26  Other  LSMS(‐ISA) surveys, instead, have just one question either for capturing pension contributions  (i.e. Malawi) or for recording social security insurance (i.e. Mali and Guatemala). Furthermore,  the question on the type of contract is always included but worded differently across surveys.  For instance, the 2015/16 Nigeria LSMS‐ISA asks ‘Do you have a written contract, agreement  or letter of appointment for this job?’, while the 2014/15 Tanzania LSMS‐ISA survey includes  the question ‘Have you a contract?’.  In contrast to LSMS‐ISA surveys, questions on informal jobs in LFS vary less across countries.  The majority uses the following three questions: ‘Are you employed on the basis of: 1. A written  contract?; 2. A verbal agreement?’27, ‘Are you entitled to any paid leave?’, and ‘Are you entitled  to medical aid benefits from your employer?’. However, there are some exceptions. Nepal and  Nicaragua  include  a  single  question  (‘Is  [name]  receiving  any  pay  (in  cash  or  kind)  or  other  returns from a job or business while not at work?’), while Guatemala includes several questions  on the type of contract (‘Do you have a contract? Is this contract for temporary employment or  permanent?’) and the insurance scheme (‘Do you have a medical insurance? If yes, who pays  for  it?’).  Finally,  the  2013  Malawi  LFS  includes  a  detailed  list  of  more  than  10  questions  to  capture informal jobs.  4.7. Retrospective questions  Labor market dynamics are a central topic in labor economics and of interest to policy makers.  Labor market phenomena such as school to work transitions, transitions from unemployment  or inactivity to employment, the impact of policy changes on the distribution of workers across  sectors  or  rapid  transformation  in  labor  markets  are  dynamic  in  nature.  Analyzing  these  dynamic processes requires repeated cross‐sectional data or panel data. DHS and most LSMS  surveys do not include a panel component and are implemented every three to ten years or  on  an  ad‐hoc  basis,  whereas  most  LSMS‐ISA  surveys  include  a  (rotating)  panel  and  are  implemented  every two  to  three  years.  The frequency  of  LFS  is  country  specific.  A  growing  number of countries are introducing sample rotation in LFS (ILO, 2013b).   An  alternative  to  repeated  cross‐sectional  or  panel  data  are  retrospective  questions.  Respondents are asked to report their previous employment status by, for instance, listing all  their  jobs  in  the  last  five  to  ten  years.  Retrospective  questions  have  two  advantages.  First,  information  can  be  collected  from  periods  during  which  no  surveys  were  implemented.  Studying  certain  changes  in  the  labor  market  (i.e.  the  impact  of  international  trade,  job  polarization,  …)  requires longer  time  horizons  which  even  repeated  cross‐sectional  surveys,  like LSMS,  do  not  offer. Second, retrospective data tend  to contain fewer spurious changes  over time than panel data. Measurement error frequently induces spurious changes in panel                                                               26   For instance, the Tanzania LSMS‐ISA includes  ‘Does  this job  offer paternity/maternity  leave?’,  ‘Does  this job  offer  health  insurance?’, and  ‘Does this job withhold taxes from your wages?’. Uganda’s LSMS‐ISA survey uses ‘Is [name] entitled to any  paid leave from this employer?’, ‘Is [name] entitled to medical benefits from this employer?’, and ‘Does this employer contribute  to any pension/ retirement fund (e.g. NSSF) for [name]?’   27 Niger and Mali disentangle the first response option into ‘written temporal contract’ and ‘written permanent contract’.  23        data,  implying  that  the  labor  market  looks  more  dynamic  than  it  really  is.  Even  a  simple  classification of workers by industry suffers from non‐random measurement error (Bassi et al.,  2008). Retrospective data suffer, on the other hand, from recall error as respondents may not  accurately remember the details of previous employment spells. For this reason, scholars have  argued that retrospective questions can be used to gather qualitative data on labor market  outcomes in previous periods, such as the occupation and the sector, but not for quantitative  data such as earnings or hours worked (Grosh & Glewwe, 2000, chapter 9).  Although the LSMS reference work retrospective questions, they seem to have fallen out of  favor. DHS, LSMS‐ISA surveys and most LSMS surveys do not include retrospective questions,  while LFS cover them. For instance, the 2014 Guatemala LFS includes the question ‘What was  your  last  employment?’.  The  2012  Indonesia  LFS,  instead,  includes  several  retrospective  questions, such as  ‘Did (name) ever have a job/business before?’, ‘Did (name) quit or moved  out into another job during the last one year?’, ‘What was  (name’s) previous job main industry  before  quit  or  moved  into  the  last  job?’,  ‘What  is  employment  status  of  the  previous  job  of  (name) before quit or moved into the last job?’. The 2007 Nepal and 2013 Malawi LFS include  the same questions for the previous job as for the current job. Finally, the 2014 Tanzania LFS  includes the following questions: ‘In which year did you start working in economic activities for  wage job or self‐employment to support your life for the first time?’, ‘What type of work/activity  were  you  doing  at  your  first  employment?’,  ‘Have  you  ever worked  or  having  any  economic  activity?’, ‘What type of work did you do in your last job?’.  5. How  and  what  will  we  measure  in  a  changing  labor  market?  Recommendations  and  concluding remarks  Demand for employment data as well as the type of data required to monitor and explain labor  markets is changing. One reason is the SDGs, which put more emphasis on labor markets than  its  predecessor,  the  Millennium  Development  Goals  (MDGs),  and  the  new  ILO‐resolutions  concerning (unpaid) work and employment.  In this final section, we attempt to set an agenda to improve the collection of individual‐level  employment data in LSMS‐ISA surveys in the short and medium term. The first part deals with  short‐term  objectives,  i.e.  actions  that  can  be  implemented  in  the  near  future  and  do  not  require (much) additional research. The second part, medium‐term objectives, discusses how  to measure unpaid domestic and care work, and informality. These issues are part of the SDGs  and methodological work is currently ongoing to develop (standardized) tools to capture those  concepts.  We  refrain  from  discussing  long‐term  objectives,  such  as  the  skills  agenda,  the  issue  of  capturing  (international)  migration  and  its  implications  for  local  labor  markets,  the  use  of  technology to collect individual‐level employment data or the integration of survey data with  administrative  data  sets.  These  discussions  are  of  foremost  importance  but  go  beyond  the  scope of this paper.  24        5.1. Short‐term objectives  The review of LSMS‐ISA surveys has demonstrated variation across LSMS‐ISA surveys and has  revealed  areas  where  new  questions  are  needed  to  explain  and  monitor  labor  market  outcomes and the SDGs, to adhere to ILO‐resolutions and to ensure gender and age neutral  surveys.  This  section  highlights  suggestions  that  could  be  considered  and  implemented  in  upcoming  LSMS‐ISA  surveys  in  order  to  harmonize  the  country  surveys  and  for  scaling  up  individual‐level data collection.  Use  existing  (LSMS‐ISA) data sets to  learn  about  critical  survey  design issues.  While  previous  LSMS‐ISA surveys have not been set up to experiment with and learn about survey design, the  existing data sets can nevertheless be leveraged to identify critical survey design issues (Fox &  Pimhidzai, 2013) and to identify areas where ‘real’ experiments would pay off most. This would  contribute to filling a  gap in the literature about the sensitivity  of labor market statistics to  survey  design  features,  particularly  for  women  and  youth.  Throughout  the  paper,  we  have  illustrated how current data sets can be exploited to examine, for instance, the effect on labor  market  statistics  of  a  7‐day  or  12‐month  reference  period,  to  detect  patterns  in  the  use  of  proxy  respondent,  or  to  verify the  consistency  between  the labor  data  collected in the  AG,  labor and household enterprise module. A more systematic and careful analyses exploiting the  currently  available  data  sets  is  feasible,  relatively  cheap  and  would  help  to  pinpoint  which  survey design choices really matter and which do not.    Revise the labor module in LSMS‐ISA surveys using Table B in the Appendix as a checklist. Table  A  and  Table  B  in  the  Appendix  list  respectively  the  SDG  labor  market  indicators  and  the  questions required to monitor these indicators. By carefully revising the questionnaires, we  can ensure that each LSMS‐ISA survey can serve as an instrument to monitor the SDGs. This  requires, for instance, that a question is added to the 2015/16 Ethiopia LSMS‐ISA survey on  ‘job attachment for those that are temporarily absent from work’ in order to correctly identify  the employed population; that a question is added to the 2014 Mali LSMS‐ISA survey to capture  the  NEET‐rate;  and  that  questions  are  added  to  the  LSMS‐ISA  surveys  in  Burkina  Faso  and  Ethiopia to distinguish formal from informal employment. Aligning the surveys with the SDG  indicators  not  only  increases  the  value  of  the  surveys  for  data  users  and  policy  makers  interested in monitoring SDGs, but also for users that leverage the multi‐topic nature of LSMS‐ ISA surveys to explain labor markets. It will, for instance, facilitate cross‐country comparisons.  Adapt the questionnaires to the new ILO standards and definition of work and employment using  the new module tested by the ILO. The 19th ICLS defined worked and narrowed the definition  of employment to work for pay or profit. This requires distinguishing own‐use producers from  market producers. In practice, this distinction is hard to make in most developing countries as  the boundary between production mainly intended for own‐use or mainly intended for the  market  is  blurred.  This  definition  is  therefore  likely  to  remain  subject  to  debate.  LSMS‐ISA  surveys collect detailed data on crops sold on the market and consumed by the household,  which  could  be  used  to  determine  whether  the  household  mainly  produces  for  own  consumption or for the market. Such a calculation is, however, cumbersome, requires multiple  25        assumptions and is prone to errors. In addition, only LSMS‐ISA surveys collect this type of data,  so that a different approach is needed for most LSMS and LFS. For these reasons, we propose  adding a ‘market block’ – recently proposed and tested by the ILO (Benes & Walsh, 2018d)–  that  allows  distinguishing  own‐use  production  from  production  for  the  market  and  can  be  included in all types of surveys. Figure 6 is one example of a market block. Similar questions  have  already  been  introduced  in  the  LSMS‐ISA  survey  of  Nigeria  and  Malawi  and  in  the  upcoming surveys in Tanzania and Ethiopia.                              Figure 6: ILO's market block                                                                       Source: Benes and Walsh (2018d).    Consider  aligning  the  questions  on  (wage)  employment  with  the  resolution  of  the  revised  International  Classification  of  Status  in  Employment  (ICSE‐18)  and  with  the  International  Classification  of  the  Status  at  Work  (ICSaW)  as  set  by  the  20th  ICLS  in  October  2018.  The  ‘conceptual framework for statistics on work relationships’ and the ‘data collection guidelines  for ICSE‐18’, prepared by ILO’s Department of Statistics for the 20th ICLS, define four cross‐ cutting  variables  (duration  of  work  agreement,  type  of  employment  contract,  contractual  hours of work, forms of remuneration) that are required to compile statistics on the detailed  ICSE‐18 categories (ILO, 2018a, §172; 2018b). In addition, it defines 13 essential cross‐cutting  variables,  which  are  not  strictly  required  to  compile  the  statistics  but  contribute  to  understanding  work  relationships,  and  three  recommended  cross‐cutting  variables.  When  revising  and/or  simplifying  the  labor  module,  particularly  the  questions  related  to  wage  employment, the list of cross‐cutting variables could be used to decide which questions to keep  and remove from the questionnaire.  Consider  adding  retrospective  questions  about  the  labor  market  history.  Retrospective  questions might be helpful for recalling salient events like school to work transition, migration  and  unemployment  spells.  However,  in  order  to  understand  the  pathways  leading  to  these  salient events, we might also need to reconstruct the history of other life‐changing events. This  requires, for instance, collecting data on the age of marriage, the school‐leaving age, periods  of training, employment, unemployment and (temporary) migration. The LSMS reference work  proposed an additional module with retrospective questions about the labor market history. It  26        appears that this module was never implemented in LSMS surveys. Yet labor market dynamics  are central to labor economics. Depending on the need of data users, one could reconsider to  experiment with retrospective questions.  5.2. Medium‐term objectives  Develop and refine methods to capture time use in unpaid domestic and care work and time‐ related  underemployment.  Improving  time  use  data  collection  is  of  paramount  importance.  First,  collecting  time  use  data  are  needed  in  order  to  refine  measurement  of  work  and  employment. For instance, looking at time use helps to capture atypical employment, such as  casual  employment,  that  are  likely  to  be  underreported  (Mueller  &  Chan,  2015).  Second,  studying how time is allocated to unpaid work is important for understanding whether unpaid  work prevents women in moving into paid work. Third, studying women’s agency over their  time use requires time use data.  However, of the 8 LSMS‐ISA surveys, only the survey in Uganda includes a question on time  spent on domestic work. Even in this survey, unpaid domestic and care work is arguably poorly  measured. The other LSMS‐ISA surveys only include questions on time spent fetching water  and collecting wood. To capture domestic and care work, LSMS‐ISA surveys may benefit from  introducing  a  time  diary.  One  example,  that  could  be  adapted  and  integrated  in  LSMS‐ISA  surveys, is the module developed for the Women’s Empowerment in Agriculture Index (WEAI)  (Figure 7). Women are asked to report all activities undertaken in the last 24 hours in time  intervals of 15 minutes. The activities include farming and wage employment, but also sleeping,  domestic work and cooking. By including a time diary, LSMS‐ISA surveys would also contribute  to  filling  data  gaps  on  time  use,  particularly  in  SSA  (ILO,  2018e).  If  including  a  time  diary  is  considered too onerous a new stylized question (e.g.  In the last 7 days, how many hours did  you spend on unpaid domestic and care work such as cooking, cleaning, preparing meals, caring  for children or the elderly, …?) could be added to the labor module of all LSMS(‐ISA) surveys.   In  accordance  with  the  19th  ICLS  Resolution,  we  highlight  the  need  for  testing  time  diary  modular approaches that are suitable for LSMS‐ISA surveys, are cost‐effective and minimize  potential sources of measurement error.  Another  approach  that  might  be  considered  is  smartphone‐augmented  Time  Use  Surveys  (TUS).  The  use  of  photos  can  help  in  capturing  time  use,  but  does  not  necessarily  help  to  capture simultaneous activities, especially with respect to secondary care activities (Lentz et  al., 2018).  27        Figure 7: Example of a time diary (only showing first 11 activities, from 4am to 3pm)  Source: Women’s Empowerment in Agriculture Index (WEAI) Pilot individual questionnaire.    Reflect upon (the measurement of) informal jobs in LSMS‐ISA surveys. Stakeholders agree that  the distinction between ‘formal’ and ‘informal’ employment is a crucial one (Ruppert Bulmer,  2018). Yet, although clear definitions and measurement instruments do exist, some issues –  such as how to classify subsistence farmers given the narrowed definition of employment ‐ are  not yet settled and continue to be debated. Based on our review of survey questionnaires, we  can  add  some  (new)  elements  to  the  debate  on  measuring  informal  wage  jobs.  First,  the  majority  of  LSMS(‐ISA)  surveys  and  LFS  already  include  questions  on  informal  wage  employment such as whether or not social security contributions are being paid. However, in  most countries a minority of the respondents engage in wage employment (Van den Broeck &  Kilic, 2018) and even fewer are formally employed. As a result, questions on informal wage  employment  are  skipped  by  most  respondents  in  LSMS‐ISA  surveys,  leading  to  too  few  observations  to  compile  accurate  statistics  on  informal  wage  employment,  by  sector,  occupation,  age  and  sex.  This  begs  the  questions  whether  the  questions  on  informal  employment  in  the  labor  module  add  much  value  to  LSMS‐ISA  surveys.  Second,  LSMS‐ISA  surveys do not include questions that help to understand and explain (in)formal employment  (e.g.  is  it  by  choice,  necessity,  social  conditioning  or  tradition)  (ILO  2013).  Perhaps  more  important  than  distinguishing  ‘formal’  from  ‘informal’  jobs  is  understanding  whether  employees enjoy job security, workers’ rights and job satisfaction, among other things. This  information is critical to develop context‐specific policies. Finally, questions on informal jobs  are not (yet) standardized across countries, which hinders cross‐country comparability. In this  regard, further methodological work (i.e. field experiments, cognitive testing, etc.) is needed  to identify the ‘best’ questions for capturing informal jobs.   .    28        6.  References  Arthi,  V.,  Beegle,  K.,  De  Weerdt,  J.,  &  Palacios‐López,  A.  (2016).  Not  your  average  job:  measuring farm labor in Tanzania. Working Paper, World Bank.  Baah‐Boateng, W. (2015). Unemployment in Africa: how appropriate is the global definition  and measurement for policy purpose. International Journal of Manpower, 36(5), 650‐667.   Bardasi, E., Beegle, K., Dillon, A., & Serneels, P. (2011). Do labor statistics depend on how and  to whom the questions are asked? Results from a survey experiment in Tanzania.  The World  Bank Economic Review, 25(3), 418‐447.   Barrientos,  S.,  Kabeer,  N.,  &  Hossain,  N.  (2004).  The  gender  dimensions  of  globalization  of  production. ILO Working Paper.  Bassi,  F.,  Padoan,  A.,  &  Trivellato,  U.  (2008).  Inconsistencies  in  reported  employment  characteristics among employed stayers. IZA Discussion Paper.  Beegle, K., Carletto, C., & Himelein, K. (2012). Reliability of recall in agricultural data. Journal of  Development Economics, 98(1), 34‐41.  Benes,  E.,  &  Walsh,  K. (2018a).  ILO  LFS  Pilot  Studies experimental  field  tests:  methodology,  process and outcomes. ILO.   Benes, E., & Walsh, K. (2018b). ILO LFS Pilot studies in follow up to the 19th ICLS: background,  objectives and methodology. ILO.   Benes, E., & Walsh, K. (2018c). Measuring main activity in labour force surveys. Main findings  from the ILO LFS pilot studies. ILO.   Benes, E., & Walsh, K. (2018d). Measuring employment in Labour Force Surveys: main findings  from the ILO LFS pilot studies. ILO.   Bick, A., Fuchs‐Schündeln, N., & Lagakos, D. (2018). How do hours worked vary with income?  Cross‐country evidence and implications. American Economic Review, 108(1), 170‐199.   Blair, J., Menon, G., & Bickart, B. (2004). Measurement effects in self vs.  proxy response to  survey questions: an information‐processing perspective. Measurement errors in surveys, 145‐ 166.   Bonke,  J.  (2005).  Paid  work  and  unpaid  work:  diary  information  versus  questionnaire  information. Social Indicators Research, 70(3), 349‐368.   Budlender, D. (2008). The statistical evidence on care and non‐care work across six countries.  United Nations Research Institute for Social Development Geneva.  Comblon, V., & Robilliard, A.‐S. (2015). Are female employment statistics more sensitive than  male ones to questionnaire design? Evidence from Cameroon, Mali and Senegal.   Dillon,  A.,  Bardasi,  E.,  Beegle,  K.,  &  Serneels,  P.  (2012).  Explaining  variation  in  child  labor  statistics. Journal of Development Economics, 98(1), 136‐147.   Ellis,  F.  (1998).  Household  strategies  and  rural  livelihood  diversification.  The  Journal  of  Development Studies, 35(1), 1‐38.   Fox, L., & Pimhidzai, O. (2013). Different Dreams, Same Bed: Collecting, Using, and Interpreting  Employment Statistics in Sub‐Saharan Africa‐The Case of Uganda. Working Paper, World Bank.  Freedman,  D.,  Mueller,  E.,  Barnes,  R.,  &  Clark,  C.  (1977).  A  multi‐purpose  household  questionnaire: basic economic and demographic modules.   29        Gaddis,  I.,  Oseni,  G.,  Palacios‐Lopez,  A.,  &  Pieters,  J.  (2019).  Measuring  farm  labor:  survey  experimental evidence from Ghana. Working Paper, World Bank.  Gaddis, I., & Palacios‐Lopez, A. (2018). Counting women's work and employment. Presentation  prepared for the 20th ICLS.   Global  Strategy.  (2018).  Measuring  decent  work  and  youth  employment  in  agriculture:  methodological issues and gaps.   Grosh,  M., &  Glewwe,  P.  (2000).  Designing  household  survey  questionnaires  for developing  countries. World Bank Publications.   Guarcello, L., Kovrova, I., Lyon, S., Manacorda, M., & Rosati, F. (2010). Towards consistency in  child labour measurement: Assessing the comparability of estimates generated by  different  survey instruments.   Haggblade, S., Hazell, P. B., & Reardon, T. (2007). Transforming the rural nonfarm economy:  opportunities and threats in the developing world. IFPRI.  Headey, D., Bezemer, D., & Hazell, P. B. (2010). Agricultural employment trends in Asia and  Africa: too fast or too slow? The World Bank Research Observer, 25(1), 57‐89.   IFAD. (2016). Rural Development Report.   ILO. (2013a). Decent work indicators: Guidelines for producers and users of statistical and legal  framework indicators.   ILO. (2013b). National practices in the measurement  of the  economically active population,  employment, unemployment and time‐related underemployment.   ILO. (2013c). Statistics of work and of the labour force.   ILO.  (2017).  ILO  Labour  force  estimates  and  projections:  1990‐2030  (methodological  description).  ILO. (2018a). Conceptual framework for statistics on work relationships.  ILO. (2018b). Data collection guidelines for ICSE‐18.  ILO. (2018c). Decent work and the Sustainable Development Goals: a guidebook on SDG Labour  Market Indicators. ILO.   ILO.  (2018d).  19th  ICLS  implementation:  National  LFS  practices  and  implementation  plans.  Presentation prepared for the 20th ICLS.   ILO.  (2018e).  Survey  methods  to  improve  measurement  of  paid  and  unpaid  work:  Country  practices in time‐use measurement.  ILO. (2018f). Women and men in the informal economy: A statistical picture.  Kalton, G., & Schuman, H. (1982). The effect of the question on survey responses: A review.  Journal of the Royal Statistical Society. Series A (General), 42‐73.  Kan, M. Y., & Pudney, S. (2008). Measurement error in stylized and diary data on time use.  Sociological Methodology, 38(1), 101‐132.   Koolwal,  G.  (2019).  Improving  the  measurement  of  rural  women’s  employment:  global  momentum and survey research priorities. Working paper, World Bank.   Langsten, R., & Salen, R. (2008). Two approaches to measuring women's work in developing  countries: A comparison of survey data from Egypt. Population and Development Review, 34(2),  283‐305.   Lentz, E., Bezner Kerr, R., Patel, R., Dakishoni, L., & Lupafya, E. (2018). The invisible hand that  rocks the cradle: On the limits of time use surveys. Development and Change.   30        Mueller, B. (2015). Tanzania’s rural labour markets: the missing link between development and  poverty  reduction.  In  Rural  Wage  Employment  in  Developing  Countries  (pp.  166‐192).  Routledge.  Mueller, B., & Chan, M.‐K. (2015). Wage labor, agriculture‐based economies, and pathways out  of poverty: taking stock of the evidence. Leveraging Economic Opportunities (LEO) Report, 15.   NISR. (2018). Labour Force Survey Trends February 2018 report, June 2018. National Institute  of Statistics of Rwanda.   Oya,  C.  (2013).  Rural  wage  employment  in  Africa:  methodological  issues  and  emerging  evidence. Review of African Political Economy, 40(136), 251‐273.   Ruppert Bulmer, E. (2018). Defining informality vs mitigating its negative effects. IZA World of  Labor.   Seymour,  G.,  Malapit,  H.,  &  Quisumbing,  A.  (2017).  Measuring  time  use  in  development  settings. Working Paper, World Bank.  Szirmai,  A.,  Gebreeyesus,  M.,  Guadagno,  F.,  &  Verspagen,  B.  (2013).  Promoting  productive  employment in Sub‐Saharan Africa: a review of the literature.   Thomsen, I., & Villund, O. (2011). Using register data to evaluate the effects of proxy interviews  in the Norwegian Labour Force Survey.   Van den Broeck, G., & Kilic, T. (2018). Dynamics of off‐farm employment in Sub‐Saharan Africa:  a gender perspective. Working Paper, World Bank.  Verick, S. (2018). Female labor force participation and development. IZA World of Labor.   Walsh, K. (2018). Measuring women’s and men’s work: The 19th ICLS, purpose and progress.  Presentation prepared for the 20th ICLS.   World Bank. (2013). World Development Report 2013: jobs.       31        7. Appendix  Figure  A  shows  the  (rural)  employment  rate,  disaggregated  by  sex,  in  Ethiopia  and  Malawi  according to three types of household surveys reviewed in this paper (DHS, LSMS‐ISA, LFS) as  well as the most recent census. It illustrates that survey design matters. The rural employment  rate in Ethiopia (panel 1) differs considerably depending on the type of survey used to estimate  it, whereas the employment rate in Malawi is relatively similar across surveys (panel 2). Besides  differences  in  levels,  trends  also  diverge  across  surveys.  The Ethiopia  LSMS‐ISA  surveys,  for  instance,  suggest  a  decreasing  rural  employment  rate,  whereas  DHS  points  to  the  other  direction.  What  explains  the  differences  across  surveys  is  hard  to  tell,  but  candidate  explanations include differences in (1) the definition of employment, (2) questionnaire design  including  the  structure  of  the  questionnaire  and  the  phrasing  of  questions,  and  (3)  implementation  in  the  field  such  as  the  number  and  timing  of  visits  and  the  training  of  enumerators.   Figure A: Different surveys, different results?  1. Ethiopia’s rural employment rate    2. Malawi’s employment rate  (population aged 15 to 49)           (population aged 15 to 49)    Source: Based on 2015/16 Ethiopia and  2016/17 Malawi LSMS‐ISA surveys complemented with aggregated statistics from  DHS, LFS and census data. More detailed results are available upon request.  Note: We attempted to make the population as comparable as possible across surveys. We calculated the ‘rural’ employment  rate in Ethiopia (rather than the ‘total’ employment rate as in Malawi) because the first wave of the Ethiopia LSMS‐ISA survey  did not cover large towns. For both Ethiopia and Malawi, the employment rate was estimated for the population aged 15 to  49 because the DHS do not interview household members over 50 years of age.      32        Figure B: The employment rate in Nigeria (2015) by age and sex according to the 'old' and 'new'  definition of employment  Source: Based on 2015/14 Nigeria LSMS‐ISA data.  Note: Combination of post‐harvesting and post‐planting questionnaires. Survey weights were not used. The gender difference  in the employment rate (old and new definition) in each age group is statistically significant at the 1 percent level, employment  (new) at Age Group 15‐24 and 15‐65 (10 percent significance). Work (old definition) includes all types of employment (whether  it is for pay/profit or not), while Employment (new definition) only considers employment for pay and profit (excluding own‐ use producers).      33        Table A: SDG labor market Indicators  Target  Indicator  Goal 1. End poverty in all its forms everywhere  1.1 By 2030, eradicate extreme poverty for all people everywhere, currently measured as  1.1.1  Proportion  of  population  below  the  international  poverty  people living on less than $1.25 a day  line,  by  sex,  age,  employment  status  and  geographical  location    (urban/rural)    Goal 2. End hunger, achieve food security and improved nutrition and promote sustainable agriculture  2.3  By  2030,  double  the  agricultural  productivity  and  incomes  of  small‐scale  food  2.3.1  Volume  of  production  per  labour  unit  by  classes  of  producers,  in  particular  women,  indigenous  peoples,  family  farmers,  pastoralists  and  farming/pastoral/forestry enterprise size  fishers, including through secure and equal access to land, other productive resources  and inputs, knowledge, financial services, markets and opportunities for value addition  and non‐farm employment    2.3.2  Average  income of small‐scale  food  producers, by sex  and    indigenous status    Goal 5. Achieve gender equality and empower all women and girls  5.4 Recognize and value unpaid care and domestic work through the provision of public  5.4.1 Proportion of time spent on unpaid domestic and care work,  services,  infrastructure  and  social  protection  policies  and  the  promotion  of  shared  by sex, age and location  responsibility within the household and the family as nationally appropriate  5.5 Ensure women’s full and effective participation and equal opportunities for leadership  5.5.2 Proportion of women in managerial positions  at all levels of decision‐making in political, economic and public life  Goal 8. Promote sustained, inclusive and sustainable economic growth, full and productive employment  and decent work for all  8.3 Promote development‐oriented policies that support productive activities, decent job  8.3.1  Proportion  of  informal  employment  in  non‐agriculture  creation, entrepreneurship, creativity and innovation, and encourage the formalization  employment, by sex  and growth of micro‐, small‐ and medium‐sized enterprises, including through access to  financial services  8.5 By 2030, achieve full and productive employment and decent work for all women and  8.5.1 Average hourly earnings of female and male employees, by  men, including for young people and persons with disabilities, and equal pay for work of  occupation, age and persons with disabilities  equal value    8.5.2 Unemployment rate, by sex, age and persons with disabilities  8.6 By 2020, substantially reduce the proportion of youth not in employment, education  8.6.1  Proportion  of  youth  (aged  15‐24  years)  not  in  education,  or training  employment or training  8.7  Take  immediate  and  effective  measures  to  eradicate  forced  labour,  end  modern  8.7.1 Proportion and number of children aged 5‐17 years engaged  slavery  and human  trafficking  and secure the  prohibition  and elimination  of  the worst  in child labour1 by sex and age  forms of child labour, including recruitment and use of child soldiers, and by 2025 end  child labour in all its forms      Goal 9. Build resilient infrastructure, promote inclusive and sustainable industrialization and  foster innovation  9.2 Promote inclusive and sustainable industrialization and, by 2030, significantly raise  9.2.2  Manufacturing  employment  as  a  proportion  of  total  industry’s  share  of  employment  and  gross  domestic  product,  in  line  with  national  employment  circumstances,  and  double  its  share  in  least  developed countries  Source: Report of the Inter‐Agency and Expert Group on Sustainable Development Goal Indicators (E/CN.3/2016/2/Rev.1),  Annex IV, Final list of proposed Sustainable Development Goal indicators.  Note: The ‘building blocks’ are underlined for each SDG indicator.  1Measurement  of  child  labor  goes  beyond  the  scope  of  this  paper.  An  extensive  literature  discusses  the  definition  and  measurement of child labor (Guarcello et al., 2010).      34        Table B: Defining the building blocks of the SDGs  Building blocks  SDG  Definition  Source  Minimum  number  of  indicator  questions  Employment  1.1.1  Persons in employment are defined as all those of working age who, during  19th ICLS, §27  (1)  Employed  in  the  last  8.3.1  a short reference period, were engaged in any activity to produce goods or  seven days  8.6.1  provide services for pay or profit. They comprise:  (2)  Intended  destination  of  8.7.1  (a) employed persons ‘at work’, i.e. who worked in a job for at least one  production  (mainly  own‐use  hour;  production or for the market)   (b) employed persons ‘not at work’ due to temporary absence from a job,  (2)  Temporary  absent,  but  or  to  working‐time  arrangements  (such  as  shift  work,  flexitime  and  still formally attached to the  compensatory leave for overtime).  job  Unemployment  8.5.2  Persons in unemployment are defined as all those of working age who were  19th ICLS, §47  (1) Not in employment  not in  employment, carried  out activities to seek  employment in  the last  (2) Seeking employment  four weeks and were currently available to take up employment given a job  (3) Currently available    opportunity.      Inactivity  Not employed nor unemployed            Domestic  and  care  5.4.1  Provision  of  ‘services’  (beyond  the  2008  SNA  production  boundary  but  19th ICLS, §47(c)  (1) Questions about time use,  work (hours)  inside the General production boundary) covers:  including  on  domestic  and  (i) household accounting and management, purchasing and/or transporting  care work  goods;  (ii) preparing and/or serving meals, household waste disposal and recycling;  (iii) cleaning, decorating and maintaining one’s own dwelling or premises,  durables and other goods, and gardening;  (iv)  childcare  and  instruction,  transporting  and  caring  for  elderly,  dependent  or  other  household  members  and  domestic  animals  or  pets,      etc.;        Sector   2.3.2  ISIC (International Standard Industrial Classification)  https://unstats.un.org/ Classification based on ISIC  8.3.1  unsd/classifications/Fa 9.2.2  mily/Detail/27   Occupation  5.5.2  ISCO‐08 (International Standard Classification of Occupations)  http://www.ilo.org/pub Classification based on ISCO  8.5.1  lic/english/bureau/stat/ isco/isco08/index.htm    Formal/informal  8.3.1  Informal employment compromises:  Defining and measuring  (1)  Questions  employment  in  non‐ (1) Own‐account workers and employers employed in their own informal  informal  about   enterprises  agricultural sector  sector enterprises  employment, endorsed  (enterprise's  (2) Contributing family workers  by the 17th ICLS  size, registered/unregistered  (3) Employees holding informal jobs, whether employed by formal sector  firm, type of employer)  enterprises,  informal  sector  enterprises,  or  as  paid  domestic  workers  by  households  (2) Questions about informal  (4) Members of informal producers’ cooperatives  employment  (contract,  paid  (5) Own‐account workers engaged in the production of goods exclusively  leave,  sick  leave,  social  for own final use by their household  security contributions)            Hours worked  2.3.1  Hours  actually  worked  is  the  time  spent  in  a  job  for  the  performance  of  18th ICLS, §11 & $15  (1)  Questions  about  hours  (indirectly)  activities that contribute to the production of goods and/or services during  worked  (last  seven  days  or  a specified short or long reference period. Hours actually worked applies to  usual) by occupation  all types of jobs (within and beyond the SNA production boundary) and is  not linked to administrative or legal concepts.  Hourly  earnings  of  8.5.1  The  concept  of  earnings,  as  applied  in  wages  statistics,  relates  to  12th ICLS, §8  Remuneration: (1) In cash(2)  employees  remuneration  in  cash  and in kind  paid  to employees,  as  a rule  at regular  In kind  intervals,  for  time  worked  or  work  done  together  with  remuneration  for  time not worked, such as for annual vacation, other paid leave or holidays.  Average  income  of  2.3.1  Income  related  to  self‐employment  is  defined  as  the  income  which  is  16th ICLS, §16  Requires question on (1) crop  small‐scale  food  (indirectly)  received, over a given reference period, by individuals, for themselves or in  production  ,  (2)  the  costs  of  producers  2.3.2  respect  of  their  family  members,  as  a  result  of  their  current  or  former  intermediate  inputs  and  (3)      involvement in self‐employment jobs.      investment    NEET  (not  in  8.6.1  The percentage of the population of a given age group and sex who is not  ILO & Eurostat  (1)  Questions  to  define  the  employment,  employed and not involved in further education or training.  employment  status  education or training)  (employed,  unemployed,  inactive)  (2)  Follow‐up  question  for  the unemployed and inactive  about  education/training  in  the last 4 weeks  Source: Based on relevant ICLS resolutions.      35        Table C: Reviewed surveys  Country  LSMS‐ISA  LSMS  LFS  DHS  LSMS‐type  survey  Burkina Faso  2014    n.a.  2014    Ethiopia  2015/16    2013  2016    Malawi  2016/17    2013  2015/16    Mali  2014    2013  2015    Niger  2014    2014  2012    Nigeria  2015/16    n.a.  2013    Tanzania  2014/15    2014  2009/10    Uganda  2013/14    2009  2016    Guatemala    2000  2014  2014/15    Nepal    2010/11  2007/08  2016    Nicaragua    2014  2005  2001    Tajikistan    2009  n.a.  2012    Indonesia      2012  2012  2010  South Africa      2017  1998  2016  Source: Based on LSMS(‐ISA), LFS and DHS surveys.  Note: n.a.: questionnaire is not publicly available.        36        Table D: The coverage of the SDG labor market indicators by type of survey  Target  Indicator  LSMS‐ISA  LSMS  LFS  DHS  Goal 1. End poverty in all its forms everywhere              1.1    By 2030, eradicate extreme poverty for all people everywhere,  1.1.1    Proportion of population below the international  currently measured as people living on less than $1.25 a day  poverty line, by sex, age, employment status and  88%  100%  0%  0%  geographical location (urban/rural)    Goal 2. End hunger, achieve food security and improved nutrition and promote sustainable agriculture    2.3 By 2030, double the agricultural productivity and incomes of  2.3.1 Volume of production per labour unit by classes of  small‐scale food producers, in particular women, indigenous peoples,  farming/pastoral/forestry enterprise size  family farmers, pastoralists and fishers, including through secure and  100%  100%  0%  0%  equal access to land, other productive resources and inputs,  knowledge, financial services, markets and opportunities for value  addition and non‐farm employment    2.3.2 Average income of small‐scale food producers, by  sex and indigenous status  100%  100%  0%  0%    Goal 5. Achieve gender equality and empower all women and girls    5.4 Recognize and value unpaid care and domestic work through the  5.4.1 Proportion of time spent on unpaid domestic and  provision of public services, infrastructure and social protection  care work, by sex, age and location  policies and the promotion of shared responsibility within the  13%  50%  36%  0%  household and the family as nationally appropriate  5.5 Ensure women’s full and effective participation and equal  5.5.2 Proportion of women in managerial positions  opportunities for leadership at all levels of decision‐making in  100%  67%  100%  100%  political, economic and public life    Goal 8. Promote sustained, inclusive and sustainable economic growth, full and productive employment and decent work for all    8.3 Promote development‐oriented policies that support productive  8.3.1 Proportion of informal employment in non‐ activities, decent job creation, entrepreneurship, creativity and  agriculture employment, by sex  innovation, and encourage the formalization and growth of micro‐,  75%  67%  82%  0%  small‐ and medium‐sized enterprises, including through access to  financial services  8.5 By 2030, achieve full and productive employment and decent  8.5.1 Average hourly earnings of female and male  work for all women and men, including for young people and persons  employees, by occupation, age and persons with  88%  67%  82%  0%  with disabilities, and equal pay for work of equal value  disabilities    8.5.2 Unemployment rate, by sex, age and persons with  disabilities  75%  50%  100%  0%  8.6 By 2020, substantially reduce the proportion of youth not in  8.6.1 Proportion of youth (aged 15‐24 years) not in  employment, education or training  education, employment or training  75%  67%  100%  0%  8.7 Take immediate and effective measures to eradicate forced  8.7.1 Proportion and number of children aged 5‐17 years  labour, end modern slavery and human trafficking and secure the  engaged in child labour, by sex and age  prohibition and elimination of the worst forms of child labour,    including recruitment and use of child soldiers, and by 2025 end child  labour in all its forms  Goal 9. Build resilient infrastructure, promote inclusive and sustainable industrialization and foster innovation  9.2 Promote inclusive and sustainable industrialization and, by 2030,  9.2.2 Manufacturing employment as a proportion of total  significantly raise industry’s share of employment and gross domestic  employment  100%  83%  100%  0%  product, in line with national circumstances, and double its share in  least developed countries  Source: Report of the Inter‐Agency and Expert Group on Sustainable Development Goal Indicators (E/CN.3/2016/2/Rev.1),  Annex IV, Final list of proposed Sustainable Development Goal indicators.      37        Table E: The consistency between the AG and the labor module in Malawi     Inconsistent responses  Observations   (Share of household members that  worked on a plot, but did not report in the  labor module having engaged in HH  farming in the last 12 months)  Average  7,85%  25,919  Number of plots      1  9,71%  14,670  2  5,93%  8,317  3  4,13%  2,155  4  3,30%  575  5  5,59%  143  6  0,00%  36  7  0,00%  19  8  0,00%  4  Activities      Land preparation and planting (1)  25,77%  617  Weeding/fertilizing (2)  30,24%  377  Harvesting (3)  36,70%  1,395  (1) and (2)  8,00%  1,925  (1) and (3)  12,79%  876  (2) and (3)  13,63%  851  (1), (2) and (3)  4,36%  19,878  Total hours worked on all plots1      <50  18,37%  6,365  50 ‐ 119  6,02%  6,557  119 ‐ 226  4,37%  6,482  >226  2,87%  6,514  Sex      Men  7,89%  12,045  Women  7,81%  13,872  Age      5‐14  20,74%  4,892  15‐25  6,92%  7,104  25‐65  3,62%  12,248  >65  4,96%  1,671  Source: Based on 2016/17 Malawi LSMS‐ISA data.  Note: 1Thresholds are set so that the four groups have a similar number of workers.      38        Table F: The consistency between the household enterprise and the labor module in Malawi     Inconsistent responses  Observations   (Share of household members that  worked on a plot, but did not report having  engaged in HH farming in the last 12  months)  Average  24.3%  5,010  Average (excluding owners and managers)  21.3%  4,497        Responsibility within the enterprise      Manager  84.7%  59  Owner  82.5%  120  Worker  33.5%  334  Manager & owner  37.0%  871  Manager & worker  19.8%  116  Owner & worker  21.4%  112  Manager, owner & worker  17.3%  3,398  Hours worked (hours/year)1      0‐200  34.0%  1,108  200‐630  22.7%  1,139  630‐1584  17.7%  1,123  >1584  10.9%  1,126  Gender      Men  23.9%  2,367  Women  24.7%  2,643  Age      5‐14  47.1%  280  15‐25  28.5%  942  25‐65  21.4%  3,580  >65  26.0%  208  Source: Based on 2016/17 Malawi LSMS‐ISA data.  Note: 1Calculated as the product of the number of hours/day, number of days in the last month, and number of months in the  last year. Thresholds are set so that the four groups have a similar number of workers.  39