Page 1 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) R e p o r t n o . 4 6 4 8 0 I N V E S T M E N T L E N D I N G Q U E S T I O N N A I R E C O U N T R Y : R o m a n i a P R O J E C T T I T L E : E l e c M a r k e t R E G I O N : E C A T A S K T E A M L E A D E R : K . N y m a n S E C T O R M A N A G E R : H . R a z a v i C O U N T R Y D I R E C T O R : A . V o r k i n k S E C T O R : E n e r g y a n d M i n i n g P R O J E C T I D : P 0 8 1 4 0 6 D A T E A P P R O V E D : 0 6 / 1 2 / 2 0 0 3 P R O D U C T L I N E : I B R D L N / C R / G R A N T A M T ( $ M I L ) : 8 2 L O A N / C R . N O : 7 1 8 1 I N S T R U M E N T : S I L E N V . C A T E G O R Y : B T T L H Q B A S E D : Y e s S I N G L E S E C T O R P E R S O N ( s ) I N T E R V I E W E D : K a r i N y m a n , A m a r q u a y e A r m a r , L e o n i d V a n i a n , R e n e M e n d o n c a F I R S T S T A G E R E V I E W F I R S T S T A G E R E V I E W : P A N E L L E A D E R A n t h o n y C h u r c h i l l Q A G M O D E R A T O R S a e e d A h m e d R a n a P A N E L M E M B E R ( S ) L a s z l o L o v e i , A s i f F a i z . . . O B S E R V E R B a r b a r a V e r a r d o S P E C I A L I Z E D R E V I E W E R S : 1 . E n v i r o n m e n t C o l i n R e e s 2 . S o c i a l A s s e s s m e n t B r u c e H a r r i s 3 . F i n a n c i a l M a n a g e m e n t D o u g l a s I . G r a h a m 4 . P r o c u r e m e n t N . V i s w a n a t h a n S T A G E 1 R A T I N G : 1 A S S E S S M E N T D A T E 0 7 / 1 4 / 2 0 0 3 Page 2 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) P A N E L R E P O R T C O U N T R Y R o m a n i a P R O J E C T T I T L E E l e c M a r k e t A . O v e r a l l J u d g e m e n t T h e p a n e l r a t e d t h i s p r o j e c t a s h i g h l y s a t i s f a c t o r y . T h i s p r o j e c t i s a n e x c e l l e n t e x a m p l e o f a q u i c k r e s p o n s e t o a n i m m e d i a t e r e q u e s t b y t h e c l i e n t f o r a s s i s t a n c e i n m e e t i n g t h e u r g e n t n e e d f o r t r a n s m i s s i o n i n v e s t m e n t s a n d s u p p o r t f o r d e v e l o p m e n t o f i t s p o w e r m a r k e t . S t r o n g g o v e r n m e n t s u p p o r t a t t h e h i g h e s t l e v e l s i n s u r e d b o t h r a p i d p r o c e s s i n g a n d a h i g h q u a l i t y p r o d u c t . T h e B a n k , o n i t s p a r t , w a s a b l e t o f i e l d a n e x p e r i e n c e d t e a m a b l e t o d r a w o n t h e B a n k ’ s g l o b a l e x p e r i e n c e , p a r t i c u l a r l y i n t h e d e v e l o p m e n t o f c o m p e t i t i v e p o w e r m a r k e t s . T h i s i s a n a r e a i n w h i c h t h e B a n k h a s a s t r o n g c o m p e t i t i v e a d v a n t a g e a n d c o n s e q u e n t l y , h i g h v a l u e a d d e d . T h e p r o j e c t w a s a p p r a i s e d i n a h i g h l y p r o f e s s i o n a l m a n n e r w i t h a l l a s p e c t s r e c e i v i n g c a r e f u l a t t e n t i o n . B . S t r o n g A s p e c t s A l t h o u g h t h e p r o j e c t a d d r e s s e s s o m e c o m p l e x i s s u e s , i t s d e s i g n i s s i m p l e a n d f i t s w e l l w i t h i n t h e c a p a b i l i t i e s o f t h e c o u n t r y a n d i t s i n s t i t u t i o n s . T h e m a j o r i n v e s t m e n t s - - t h e r e c o n s t r u c t i o n o f t w o v i t a l s u b s t a t i o n s - - a r e t o b e d o n e t h r o u g h t h e c o m p e t i t i v e p r o c u r e m e n t o f t u r n k e y c o n t r a c t s t h a t w i l l c o v e r d e s i g n , c o n s t r u c t i o n , a n d s u p e r v i s i o n . T h i s s h o u l d a d d r e s s t h e i n s t i t u t i o n a l w e a k n e s s w i t h i n t h e c o u n t r y a n d r e s u l t i n a r a p i d i m p l e m e n t a t i o n . T h e t e c h n i c a l a s s i s t a n c e c o m p o n e n t s o f t h e p r o j e c t d e s i g n e d t o s u p p o r t t h e t r a n s i t i o n t o a c o m p e t i t i v e p o w e r m a r k e t a n d t h e d e v e l o p m e n t o f p r i v a t e g e n e r a t i o n a n d d i s t r i b u t i o n , d r a w s o n g l o b a l e x p e r i e n c e . T h i s i s t h e r i s k i e s t p a r t o f t h e p r o j e c t b u t t h e c o u n t r y ’ s c o m m i t m e n t t o j o i n t h e E U w i l l p r o v i d e t h e i n c e n t i v e s n e c e s s a r y t o o v e r c o m e t h e d i f f i c u l t i e s l i k e l y t o b e e n c o u n t e r e d . T h e p r o j e c t i s a l s o n o t a b l e f o r i t s c l o s e c o o r d i n a t i o n w i t h o t h e r d o n o r s . T h e E u r o p e a n i n s t i t u t i o n s a r e a c t i v e i n t h i s c o u n t r y a n d r e s p o n s i b l e f o r m o s t o f t h e i n v e s t m e n t s m a d e . T h e y h a v e a c c e p t e d t h e B a n k ’ s p r e e m i n e n t r o l e i n m a r k e t d e v e l o p m e n t a n d h a v e c l o s e l y c o o r d i n a t e d t h e i r i n v e s t m e n t s w i t h t h e B a n k . M o r e i m p o r t a n t l y , t h e c o u n t r y i t s e l f h a s t a k e n o n t h e m a j o r r o l e i n c o o r d i n a t i n g t h e v a r i o u s d o n o r s a n d h a s p r o d u c e d a r o a d m a p o u t l i n i n g s e c t o r p o l i c y a s a p a r t o f t h e p r e p a r a t i o n f o r t h i s p r o j e c t . C . A r e a s N e e d i n g I m p r o v e m e n t s I t w o u l d b e u s e f u l t o h a v e s o m e f u r t h e r e l a b o r a t i o n o f s o m e o f t h e m o n i t o r i n g i n d i c a t o r s . T h e i n v e s t m e n t s m a d e w i l l u n d o u b t e d l y i m p r o v e t h e e f f i c i e n c y o f t h e s y s t e m b u t h o w m u c h r e l a t i v e t o t h e p r e s e n t b a s e l i n e n e e d s t o b e f u r t h e r e l a b o r a t e d . D . A n y S y s t e m i c L e s s o n s Page 3 1 . T h i s p r o j e c t w a s n o t o r i g i n a l l y i n t h e p r o g r a m . T h e C A S a s s u m e d t h i s w a s a s e c t o r i n w h i c h t h e B a n k c o u l d w i t h d r a w b e c a u s e t h e i n t e r n a t i o n a l p r i v a t e s e c t o r w o u l d b e f o r t h c o m i n g w i t h t h e n e c e s s a r y r e s o u r c e s . T h i s a s s u m p t i o n p r o v e d t o b e i n c o r r e c t a n d i t t o o k b o t h t i m e a n d p r e s s u r e f r o m t h e c o u n t r y t o a l t e r t h e B a n k ’ s p e r s p e c t i v e . T h e B a n k p r o b a b l y n e e d s t o b e m o r e f l e x i b l e i n i t s p r o g r a m m i n g , p a r t i c u l a r l y i n m i d d l e i n c o m e c o u n t r i e s t h a t a r e c a p a b l e o f i d e n t i f y i n g t h e i r n e e d t o c h a n g e p r i o r i t i e s i n r e s p o n s e t o c h a n g i n g c i r c u m s t a n c e s . 2 . T h e p a n e l n o t e d t h a t t h e P A D t e m p l a t e n o l o n g e r h a s p r o v i s i o n f o r p r e s e n t a t i o n o f a n i m p l e m e n t a t i o n s c h e d u l e . S u b s e q u e n t l y p r e p a r e d s c h e d u l e s j u s t b e c o m e a f o r m a l i t y a n d e s c a p e i n - d e p t h r e v i e w b y t h e B a n k . O P C S s h o u l d c o n s i d e r r e i n s t a t i n g i m p l e m e n t a t i o n s c h e d u l e a l o n g w i t h t h e P I P i n t h e a p p r a i s a l d o c u m e n t s . E . S u g g e s t i o n s t o t h e T a s k T e a m I n l i g h t o f t h i s a s s e s s m e n t , l i s t t w o o r t h r e e f a c t o r s t h a t w i l l r e q u i r e p a r t i c u l a r a t t e n t i o n d u r i n g t h e s h o r t - m e d i u m t e r m t o i m p r o v e t h e p r o s p e c t s f o r a c h i e v i n g t h e p r o j e c t ’ s d e v e l o p m e n t o b j e c t i v e s a n d l o n g - t e r m s u s t a i n a b i l i t y . T h e p a n e l f e e l s t h a t t h i s w e l l - d e s i g n e d p r o j e c t h a s a c a r e f u l l y c h a l k e d o u t c o u r s e o f i m p l e m e n t a t i o n . T h e r e f o r e , t h e p a n e l d o e s n o t h a v e a n y s i g n i f i c a n t s u g g e s t i o n f o r i m p r o v i n g t h e p r o j e c t f o r a c h i e v i n g i t s d e v e l o p m e n t o b j e c t i v e s a n d l o n g - t e r m s u s t a i n a b i l i t y . H o w e v e r , a t t e n t i o n t o t h e i s s u e r a i s e d i n C a b o v e i s e m p h a s i z e d . R e j o i n d e r f r o m t h e R e g i o n Page 4 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N N A I R E S U M M A R Y A S S E S S M E N T S H E E T C O U N T R Y : R o m a n i a P R O J E C T T I T L E E l e c M a r k e t M a j o r I s s u e s I d e n t i f i e d : R e c o m m e n d a t i o n s f o r P a n e l S k i l l s : Page 5 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N N A I R E S U M M A R Y A S S E S S M E N T S H E E T A s s e s s m e n t R a t i n g 1 = H i g h l y S a t i s f a c t o r y 2 = S a t i s f a c t o r y 3 = M a r g i n a l l y S a t i s f a c t o r y 4 = U n s a t i s f a c t o r y N A = N o t A p p l i c a b l e 1 . S t r a t e g i c R e l e v a n c e a n d A p p r o a c h 1 2 . T e c h n i c a l , F i n a n c i a l a n d E c o n o m i c A s p e c t s 1 3 . P o v e r t y a n d S o c i a l A s p e c t s 2 4 . E n v i r o n m e n t a l A s p e c t s 2 5 . F i d u c i a r y A s p e c t s 1 6 . P o l i c y a n d I n s t i t u t i o n a l A s p e c t s 1 7 . I m p l e m e n t a t i o n A r r a n g e m e n t s 1 8 . R i s k A s s e s s m e n t 1 O V E R A L L A S S E S S M E N T 1 9 . B a n k I n p u t s a n d P r o c e s s e s 1 T h e r e l a t i v e i m p o r t a n c e o f t h e e i g h t q u a l i t y d i m e n s i o n s a r e n o t o f e q u a l w e i g h t a n d t h u s t h e o v e r a l l r a t i n g i s n o t a s i m p l e a v e r a g e o f t h e i n d i v i d u a l r a t i n g s . T h e p r o j e c t , s e c t o Page 6 t h e r e l a t i v e i m p o r t a n c e o f t h e s e d i m e n s i o n s . H e n c e , t h e p a n e l s h o u l d u s e i t s k n o w l e d g e , j u d g m e n t a n d p r o f e s s i o n a l s k i l l s i n a r r i v i n g a t w e i g h t s t o d e t e r m i n e t h e o v e r a l l r a t i n g . Page 7 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) D e v e l o p m e n t O b j e c t i v e s A . D e v e l o p m e n t o b j e c t i v e s o u t l i n e d i n t h e p r o j e c t s d o c u m e n t s ( I m p o r t a n c e o f d e v e l o p m e n t o b j e c t i v e s a d d r e s s e d b y t h e p r o j e c t : H = H i g h , M = M o d e r a t e , L = L o w , ( 1 ) D e v e l o p m e n t O b j e c t i v e s i . P o v e r t y R e d u c t i o n M i i . S t r u c t u r a l a n d S e c t o r P o l i c y R e f o r m H i i i . P r i v a t e S e c t o r D e v e l o p m e n t M i v . I n s t i t u t i o n a l D e v e l o p m e n t / C a p a c i t y B u i l d i n g H v . H u m a n D e v e l o p m e n t 1 C o m m e n t s : N A v i . E n v i r o n m e n t a l S u s t a i n a b i l i t y M v i i . I n f r a s t r u c t u r e D e v e l o p m e n t H v i i i . O t h e r ( s p e c i f y ) 2 N A i x . M a c r o e c o n o m i c M a n a g e m e n t N A C o m m e n t s : N o c h a n g e . 1 S p e c i f y w h i c h o n e o f t h e f o l l o w i n g f o u r M D G s : i ) A c h i e v e U n i v e r s a l P r i m a r y E d u c a t i o n ; i i ) R e d u c e C h i l d M o r t a l i t y ; i i i ) I m p r o v e M a t e r n a l H e a l t h ; i v ) C o m b a t H I V D i s e a s e s . 2 E . g . , G e n d e r E q u a l i t y a n d E m p o w e r W o m e n . Page 8 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) ( 2 ) O u t c o m e s F o r e a c h D e v e l o p m e n t O b j e c t i v e i d e n t i f i e d a b o v e a s H i g h , d e s c r i b e t h e c o r r e s p o n d i n g o u t c o m e t h a t w i l l s e r v e a s t h e p r i m a r y i n d i c a t o r t h a t i t h a s b e e n a t t a i n e d , a n d a n i n t e r i m b e n c h m a r k t o e v a l u a t e p r o g r e s s d u r i n g i m p l e m e n t a t i o n D e v e l o p m e n t O b j e c t i v e s i . P o v e r t y R e d u c t i o n O u t c o m e : I n t e r i m B e n c h m a r k : i i . S t r u c t u r a l a n d S e c t o r P o l i c y R e f o r m O u t c o m e : ( 1 ) f u n c t i o n i n g w h o l e s a l e e l e c t r i c i t y m a r k e t ( 2 ) i m p l e m e n t a t i o n o f e l e c t r i c i t y r e f o r m s i n l i n e w i t h t h e r o a d m a p . I n t e r i m B e n c h m a r k : ( 1 ) a n i n i t i a l s e t o f l o n g - t e r m c o n t r a c t s ( v e s t i n g c o n t r a c t s w i t h d e c l i n i n g v o l u m e s ) a r e i n p l a c e a n d r e g i s t e r e d w i t h O P C O M b y E x c h a n g e ( a w e l l - f u n c t i o n i n g s p o t m a r k e t ) i s e s t a b l i s h e d b y e n d - 2 0 0 4 , a c c o u n t i n g f o r a t l e a s t 5 % o f t o t a l s u p p l y b y e n d - 2 0 0 5 , 1 0 % b y e n d - 2 0 0 6 , a n d s e r v i c e s a r e s e t t l e d t h r o u g h T r a n s e l e c t r i c a ' s b a l a n c i n g m e c h a n i s m . ( 4 ) r o a d m a p r e v i e w s a n n u a l l y w i t h t h e B a n k . i i i . P r i v a t e S e c t o r D e v e l o p m e n t O u t c o m e : I n t e r i m B e n c h m a r k : i v . I n s t i t u t i o n a l D e v e l o p m e n t / C a p a c i t y B u i l d i n g O u t c o m e : O P C O M p o w e r e x c h a n g e I n t e r i m B e n c h m a r k : O P C O M P o w e r E x c h a n g e ( a w e l l - f u n c t i o n i n g s p o t m a r k e t ) i s e s t a b l i s h e d b y e n d - 2 0 0 4 , a c c o u n t i n g f o r a t l e a s t 5 % o f t o t a l s u p p 2 0 0 6 , a n d 1 5 % b y e n d - 2 0 0 7 v . H u m a n D e v e l o p m e n t O u t c o m e : I n t e r i m B e n c h m a r k : v i . E n v i r o n m e n t a l S u s t a i n a b i l i t y O u t c o m e : I n t e r i m B e n c h m a r k : v i i . I n f r a s t r u c t u r e D e v e l o p m e n t O u t c o m e : S u b s t a t i o n s r e h a b i l i t a t e d u n d e r t h e p r o j e c t a r e o p e r a t i o n a l a n d t h e i r p e r f o r m a n c e m e e t s d e s i g n p a r a m e t e r s , s o t h a t p o w e r t r a n s m i s s i o n i n Page 9 c u r t a i l m e n t s i n t h e B u c h a r e s t a n d T r a n s y l v a n i a r e g i o n s o f t h e c o u n t r y a r e a v o i d e d . I n t e r i m B e n c h m a r k : ( 1 ) t u r n k e y c o n t r a c t s a w a r d e d b y e a r l y 2 0 0 4 , ( 2 ) T r a n s e l e c t r i c a h a s c o m m i s s i o n e d t h e t w o s u b s t a t i o n s r e h a b i l i t a t e d u n d e r t h e p r o j e v i i i . O t h e r ( s p e c i f y ) O u t c o m e : I n t e r i m B e n c h m a r k : i x . M a c r o e c o n o m i c M a n a g e m e n t O u t c o m e : I n t e r i m B e n c h m a r k : Page 10 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) B . L i k e l i h o o d o f a c h i e v i n g t h e s t a t e d d e v e l o p m e n t o b j e c t i v e s / o u t c o m e s ( P a n e l i s t s t o a s s e s s u s i n g a s c a l e o f : L = L i k e l y ; N L = N o t l i k e l y ; U N = U n c e r t a i n ; o r N / A = N o t A p p l i c a b l e ) i . P o v e r t y R e d u c t i o n L i i . S t r u c t u r a l a n d S e c t o r P o l i c y R e f o r m L i i i . P r i v a t e S e c t o r D e v e l o p m e n t L i v . I n s t i t u t i o n a l D e v e l o p m e n t / C a p a c i t y B u i l d i n g L v . H u m a n D e v e l o p m e n t N A v i . E n v i r o n m e n t a l S u s t a i n a b i l i t y L v i i . I n f r a s t r u c t u r e D e v e l o p m e n t L v i i i . O t h e r ( s p e c i f y ) N A i x . M a c r o e c o n o m i c M a n a g e m e n t N A C o m m e n t s : C . S u s t a i n a b i l i t y : L i k e l y ( P a n e l ’ s j u d g m e n t o f t h e l i k e l i h o o d t h a t p r o j e c t ’ s r e s u l t s w i l l b e s u s t a i n a b l e o v e r i t s i n t e n d e d u s e f u l l i f e ) C o m m e n t s : T h e p a n e l j u d g e d t h e s u s t a i n a b i l i t y o f t h i s p r o j e c t a s h i g h l y l i k e l y . T h e c o m b i n a t i o n o f s t r o n g b o r r o w e r o w n e r s h i p , s i m p l i c i t y o f d e s i g n ( t u r n k e y c o n t r a c t s ) a n d t h e p o l i t i c a l c o m m i t m e n t t o m e e t i n g t h e E U ' s r e q u i r e m e n t s s h o u l d i n s u r e t h a t t h e d e v e l o p m e n t o b j e c t i v e s w i l l b e m e t . Page 11 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 1 . S T R A T E G I C R E L E V A N C E A N D A P P R O A C H 1 . 1 C o h e r e n c e a n d c o n s i s t e n c y o f d e v e l o p m e n t r a t i o n a l e u n d e r p i n n i n g t h e p r o j e c t ? ( a ) R e s u l t s f o c u s o f t h e p r o j e c t d e s i g n c o n s i s t e n t w i t h t h e o u t c o m e s l i s t e d i n s e c t i o n A ( 2 ) a b o v e ? ( b ) C o n s i s t e n c y o f t h e p r o j e c t ' s o b j e c t i v e s w i t h C A S a n d t h e c o u n t r y ' s k e y d e v e l o p m e n t p r i o r i t i e s ? ( c ) C o n s i s t e n c y o f t h e p r o j e c t ' s o b j e c t i v e s w i t h t h e B a n k ' s s e c t o r s t r a t e g y ? C o m m e n t s : I n o r d e r t o m e e t E U d i r e c t i v e s , R o m a n i a w i l l h a v e t o i n t r o d u c e a c o m p e t i t i v e p o w e r m a r k e t a s p a r t o f i t s m e m b e r s h i p r e q u i r e m e n t s . T h p r o j e c t p r o v i d e s t h e p a t h t o m e e t t h e s e r e q u i r e m e n t s . I t i s d o n e i n a w a y t h a t t a k e s i n t o a c c o u n t b o t h t h e p r i o r i t i e s a n d l i m i t a t i o n s o f t h e R o m a n i a n p o w e r s e c t o r . 1 . 2 C l a r i t y a n d r e a l i s m o f t h e p r o j e c t ’ s d e v e l o p m e n t o b j e c t i v e s ? ( a ) A r e t h e D O s a d e q u a t e l y f o c u s s e d o n o u t c o m e s ? ( b ) A r e t h e D O s s u f f i c i e n t l y b u t n o t o v e r l y a m b i t i o u s ? C o m m e n t s : D O s a r e s i m p l e a n d w e l l - f o c u s e d . M e e t i n g t h e m w i l l b e a c h a l l e n g e b u t w i t h i n t h e c a p a c i t y o f t h e c o u n t r y , p a r t i c u l a r l y g i v e n t h e s t r o p o l i t i c a l c o m m i t m e n t t o E U m e m b e r s h i p . 1 . 3 A p p r o p r i a t e n e s s o f p r o j e c t a p p r o a c h ? ( P i l o t / e x p e r i m e n t a l v s l a r g e r i n v e s t m e n t ? S e c t o r w i d e c o v e r a g e V s . a r e a s p e c i f i c i n v e s t m e n t ? C h o i c e o f l e n d i n g i n s t r u m e n t ? ) C o m m e n t s : W e l l - d e f i n e d , s p e c i f i c , a n d f o c u s e d p r o j e c t f u r t h e r i n g a s e c t o r - w i d e o b j e c t i v e . T h e c o m b i n a t i o n o f a s p e c i f i c i n v e s t m e n t w i t h a n a g r e p o l i c y f r a m e w o r k i s a c l a s s i c B a n k l e n d i n g t e c h n i q u e . 1 . 4 E x t e n t t o w h i c h l e s s o n s o f e x p e r i e n c e a r e a d e q u a t e l y r e f l e c t e d i n p r o j e c t a p p r o a c h ? ( C o u n t r y ' s t r a c k r e c o r d i n i m p l e m e n t i n g p r o j e c t s ? S i m i l a r o p e r a t i o n s i n t h e c o u n t r y o r r e g i o n ? O E D f i n d i n g s ? ) C o m m e n t s : T h e c h a l l e n g i n g p o l i c y f r a m e w o r k t h a t i s p a r t o f t h i s p r o j e c t r e f l e c t s r e c e n t e x p e r i e n c e w h e r e t h e G O R h a s d e m o n s t r a t e d i t s w i l l i n g n t o t a c k l e d i f f i c u l t i s s u e s . T h e u s e o f t u r n k e y c o n t r a c t s i s a s u i t a b l e s o l u t i o n g i v e n p a s t p r o b l e m s w i t h p r o c u r e m e n t . 1 . 5 A d e q u a c y o f c o u n t r y a n d s e c t o r k n o w l e d g e u n d e r p i n n i n g t h e p r o j e c t ? ( S e c t o r - s p e c i f i c a n a l y s i s ? G e n e r a l p u b l i c e x p e n d i t u r e r e v i e w s ? E t c . ) C o m m e n t s : E x t e n s i v e a n a l y t i c w o r k a t t h e c o u n t r y a n d s e c t o r l e v e l , i n c l u d i n g t h e " r o a d m a p " h a s b e e n d o n e t o c h a r t t h e p a t h t o w a r d s E U m e m b e r s h i p . T h e s t r u c t u r a l l e n d i n g o p e r a t i n s i n R o m a n i a h a v e r e s u l t e d i n a w e a l t h o f k n o w l e d g e a v a i l a b l e o n t h e e c o n o m y a n d g o v e r n m e n t e x p e n d i t u r e s . 1 . 6 L e v e l o f b o r r o w e r o w n e r s h i p : Page 12 ( a ) D e g r e e o f b o r r o w e r p a r t i c i p a t i o n i n p r o j e c t d e s i g n a n d i m p l e m e n t a t i o n ? ( I n c l u d i n g m e c h a n i s m f o r p r o v i d i n g k e y i n p u t s t o p r o j e c t s u p e r v i s i o n ) ( b ) C r e d i b l e e v i d e n c e o f b o r r o w e r o w n e r s h i p a n d c o m m i t m e n t b a s e d o n t r a c k r e c o r d a n d p r e - B o a r d a c t i o n s ? ( c ) P r e s e n c e o f s t r o n g c h a m p i o n s ? C o m m e n t s : E x t r a o r d i n a r y s h o r t p r o c e s s i n g t i m e i n R o m a n i a p r o v e s s t r o n g s u p p o r t a t a l l l e v e l s o f g o v e r n m e n t . T h i s p r o j e c t r e p r e s e n t s a n e c e s s a r y s t e p t o w a r d s m e e t i n g t h e s t r o n g p o l i t i c a l o b j e c t i v e f o r E U m e m b e r s h i p r e q u i r e m e n t s . 1 . 7 A p p r o p r i a t e p a r t n e r s h i p a r r a n g e m e n t s w i t h o t h e r d o n o r s ? ( A r e t h e r e s p e c t i v e k e y p o l i c i e s , p r o c e d u r e s a n d d e v e l o p m e n t o b j e c t i v e s c o n s i s t e n t ? A r a r r a n g e m e n t s f o r j o i n t s u p e r v i s i o n c l e a r l y d e f i n e d ? ) C o m m e n t s : E C d e f i n e d l o n g t e r m g o a l a n d e n t e r e d i n t o p a r t n e r s h i p w i t h t h e B a n k , e n t r u s t i n g t h e B a n k t o h e l p G O R t o i m p l e m e n t t h e " r o a d m a p " g e t t h e r e . T h e E U f i n a n c i a l a n d o t h e r i n s t i t u t i o n s a r e h e a v i l y i n v o l v e d i n p r o v i d i n g s u p p o r t t o R o m a n i a a n d t h e p r o j e c t h a s b e e n p u t t o g e t h e r w i t h t h e f r a m e w o r k p r o v i d e d b y t h e s e i n s t i t u t i o n s . B a n k s t a f f c o n s u l t e d w i t h t h e s e d o n o r s a t e v e r y s t e p i n p r o j e c t d e s i g n . Page 13 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 2 . T E C H N I C A L , F I N A N C I A L A N D E C O N O M I C A S P E C T S 1 2 . 1 T e c h n i c a l s o u n d n e s s o f t h e p r o j e c t ? ( B a s e d o n w e l l - t e s t e d t e c h n o l o g i e s ? A p p r o p r i a t e f o r c u r r e n t c o u n t r y c o n d i t i o n s ? ) 2 C o m m e n t s : 2 . 2 A p p r o p r i a t e n e s s o f a l t e r n a t i v e d e s i g n s c o n s i d e r e d ? 2 ( a ) E v i d e n c e o f r i s k a v e r s i o n r e s u l t i n g i n s u b - o p t i m a l p r o j e c t d e s i g n a s a r e s u l t o f B a n k p o l i c i e s ( i n c l u d i n g e n v i r o n m e n t a l a n d s o c i a l s a f e g u a r d p o l i c i e s ) : N o C o m m e n t s : 2 . 3 Q u a l i t y a n d c o h e r e n c e o f e c o n o m i c r a t i o n a l e a n d a n a l y s i s u n d e r p i n n i n g t h e p r o j e c t ? 1 C o m m e n t s : T h e e c o n o m i c r a t i o n a l e f o r t h e p r o j e c t w a s e x c e p t i o n a l l y w e l l d o n e a n d r e f l e c t s b e s t p r a c t i c e . T h e s e n s i t i v i t y a n a l y s i s w a s u n u s u a l l y t h o r o u g h . 2 . 4 A p p r o p r i a t e n e s s a n d r e a l i s m o f p r o j e c t c o n d i t i o n a l i t y ? ( I n c l u d i n g b a l a n c e b e t w e e n u p - f r o n t a n d s u b s e q u e n t a c t i o n s ? ) 1 C o m m e n t s : P r o j e c t c o n d i t i o n a l i t y w a s a g r e e d u p o n a h e a d o f l o a n p r e s e n t a t i o n a n d r e f l e c t s t h e s t r o n g g o v e r n m e n t c o m m i t m e n t t o t h i s p r o j e c t . S o f a r o n l y r e l a t i v e l y m i n o r d e l a y s h a v e b e e n e n c o u n t e r e d a n d a l l m a j o r c o m m i t m e n t s h a v e b e e n m e t . 2 . 5 F o r r e v e n u e - e a r n i n g p r o j e c t s : 1 ( a ) Q u a l i t y o f f i n a n c i a l a n a l y s i s o v e r t h e u s e f u l l i f e o f t h e i n v e s t m e n t ? 1 ( b ) A p p r o p r i a t e n e s s o f f i n a n c i a l c o v e n a n t s a n d p e r f o r m a n c e i n d i c a t o r s ? 1 C o m m e n t s : T h e P A D t e x t ( w i t h d e t a i l s i n a n n e x 5 ) p r e s e n t s a c l e a r a n d e a s i l y u n d e r s t a n d a b l e c o r p o r a t e f i n a n c i a l a n a l y s i s f o r t h e 2 0 0 3 - 2 0 0 7 i n v e s t m e n t p r o g r a m ( w h i c h i n c l u d e s p r o p o s e d p r o j e c t i n v e s t m e n t s ) o f t h e B o r r o w e r . T h e a s s u m p t i o n s u s e d i n t h e a n a l y s i s a r e c l e a r l y s t a t e d a n d t h e s e n s i t i v i t y a n a l y s i s a s s e s s e s t h e p r o j e c t ' s f i n a n c i a l r i s k s . T h e f i n a n c i a l c o v e n a n t s a n d f i n a n c i a l r a t i o s ( p e r f o r m a n c e i n d i c a t o r s ) f o c u s o n c r i t i c a l a s p e c t s o f t h e p r o j e c t ' s f i n a n c i a l p e r f o r m a n c e . I n t e r m s o f t h e q u a l i t y o f a n a l y s i s a n d p r e s e n t a t i o n o f r e s u l t s , t h i s p r o j e c t r e p r e s e n t s b e s t p r a c t i c e . 2 . 6 R e a l i s m o f t h e p r o j e c t ' s f i n a n c i n g p l a n ? ( I n c l u d i n g p r o v i s i o n s f o r c o u n t e r p a r t f u n d i n g , c o s t r e c o v e r y a n d r e c u r r e n t c o s t f u n d i n g ? ) 1 C o m m e n t s : T h e p r o j e c t ' s f i n a n c i n g p l a n i s r e a l i s t i c a n d t h e p r o j e c t e d i n t e r n a l c a s h f l o w i s s u f f i c i e n t t o m e e t t h e B o r r o w e r ' s d e b t s e r v i c e o b l i g a t i o n s , c o u n t e r p a r t f u n d i n g r e q u i r e m e n t s , a n d r e c u r r e n t c o s t r e q u i r e m e n t s . T h e p r o j e c t a i m s t o t i g h t e n b i l l c o l l e c t i o n w h i c h s h o u l d f u r t h e r i m p r o v e t h e B o r r o w e r ' s c a p a c i t y t o s e l f f i n a n c e i t s i n v e s t m e n t s a n d / o r c o m f o r t a b l y a d d d e b t f o r s e v e r a l m o r e Page 14 y e a r s . C o m p l i a n c e W i t h B a n k ' s S a f e g u a r d P o l i c i e s 2 . 7 P r o j e c t s i n D i s p u t e d A r e a s ( O P 7 . 6 0 ) N A C o m m e n t s : 2 . 8 P r o j e c t s o n I n t e r n a t i o n a l W a t e r w a y s ( O P 7 . 5 0 ) N A C o m m e n t s : Page 15 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 3 . P O V E R T Y A N D S O C I A L A S P E C T S 2 3 . 1 P r o j e c t ' s f o c u s o n p o v e r t y i s s u e s : 2 ( a ) Q u a l i t y a n d d e p t h o f p o v e r t y d i a g n o s i s ? 2 ( b ) A p p r o p r i a t e n e s s a n d c o m p r e h e n s i v e n e s s o f p r o j e c t d e s i g n w i t h r e s p e c t t o p o v e r t y i s s u e s ? 2 C o m m e n t s : 3 . 1 ( a ) - T h i s p r o j e c t i s n o t d e s i g n e d t o d i r e c t l y a d d r e s s t h e i s s u e o f p o v e r t y r e d u c t i o n . H o w e v e r , a s a p a r t o f t h e p r e p a r a t i o n o f t h e s t r a t e g y f o r W o r l d B a n k s u p p o r t t o R o m a n i a n i n f r a s t r u c t u r e a n d e n e r g y s e c t o r s , a n a s s e s s m e n t w a s m a d e o f t h e l i f e - l i n e t a r i f f s y s t e m a n d i t w a s j u d g e d t o w o r k w e l l . T h i s p r o j e c t w i l l s e r v e t o e n s u r e m o r e r e l i a b l e m a i n t e n a n c e o f t h a t s y s t e m , a n d s o w i l l h a v e a p o s i t i v e i m p a c t o n p o v e r t y r e d u c t i o n . A t t h e s a m e t i m e , i t w o u l d h a v e b e n e f i t e d f r o m a n a n a l y s i s o f a f f o r d a b i l i t y a n d c o v e r a g e e s p e c i a l l y w i t h i n t h e r e m o t e a n d p o o r e r a r e a s w h o h a v e n o a c c e s s t o e l e c t r i c i t y . 3 . 1 ( b ) - A g a i n , t h i s p r o j e c t i s n o t d i r e c t e d s p e c i f i c a l l y a t p o v e r t y r e d u c t i o n , b u t i t w i l l s e r v e t o s t r e n g t h e n c a p a c i t y a n d i n t e g r i t y o f t h e e l e c t r i c a l p r o d u c t i o n a n d d i s t r i b u t i o n s y s t e m , w h i c h w i l l w o r k t o t h e b e n e f i t o f t h e p o o r w h o a r e o n l i f e - l i n e t a r i f f s 3 . 2 E x t e n t t o w h i c h g e n d e r i s s u e s w e r e c o n s i d e r e d d u r i n g p r o j e c t d e s i g n ? N A C o m m e n t s : G i v e n t h e t e c h n i c a l n a t u r e o f t h e p r o j e c t , c o n s i d e r a t i o n s o f g e n d e r i s s u e s a r e n o t a p p l i c a b l e . 3 . 3 E x t e n t t o w h i c h r e l e v a n t s o c i a l d e v e l o p m e n t i s s u e s w e r e c o n s i d e r e d i n p r o j e c t d e s i g n a n d i n s t i t u t i o n a l a r r a n g e m e n t s ? 2 C o m m e n t s : T h e p r o j e c t d e s i g n t o o k i n t o c o n s i d e r a t i o n t h e e f f e c t i v e n e s s o f c u r r e n t m e c h a n i s m s t o d e l i v e r s e r v i c e s t o t h e p o o r . 3 . 4 Q u a l i t y o f s t a k e h o l d e r a n a l y s i s a n d c o n s u l t a t i o n : 2 ( a ) A d e q u a c y o f s t a k e h o l d e r a n a l y s i s ? ( I n c l u d i n g i d e n t i f i c a t i o n a n d a s s e s s m e n t o f d i v e r s e s o c i a l a n d o r g a n i z a t i o n a l g r o u p s , s t a k e h o l d e r s ’ i n t e r e s t s a f f e c t e d b y t h e p r o g r a m , a n d / o r s t a k e h o l d e r s ’ i n t e r e s t s t h a t w i l l a f f e c t t h e p r o j e c t ? ) 2 ( b ) D e g r e e o f b e n e f i c i a r i e s a n d o t h e r k e y s t a k e h o l d e r s ’ p a r t i c i p a t i o n ? ( I n c l u d i n g a n a s s e s s m e n t o f t h e i r a t t i t u d e s t o w a r d t h e p r o j e c t , a t t e n t i o n t o i s s u e s a r i s i n g f r o m t h e c o n s u l t a t i o n / a s s e s s m e n t p r o c e s s , a n d m e c h a n i s m s f o r o n g o i n g p a r t i c i p a t i o n d u r i n g i m p l e m e n t a t i o n b y k e y s t a k e h o l d e r s w h o s e i n v o l v e m e n t i s c r i t i c a l t o t h e p r o j e c t ' s s u c c e s s ) 2 C o m m e n t s : W h i l e t h e p r o j e c t i d e n t i f i e d r e l e v a n t s t a k e h o l d e r s , a s e x p e c t e d f r o m t h e s c o p e o f t h e p r o j e c t , i t w a s n o t c l e a r w h e t h e r t h e s t a k e h o l d e r a n a l y s i s c o n s c i o u s l y i n c l u d e d t h e p o o r w h o h a d n o o r l i t t l e a c c e s s t o e n e r g y s o u r c e s . 3 . 5 A p p r o p r i a t e n e s s a n d r e a l i s m o f a r r a n g e m e n t s t o m a n a g e a n d m i t i g a t e a n y a d v e r s e s o c i a l i m p a c t s a r i s i n g o u t o f t h e p r o j e c t ? 2 C o m m e n t s : C o m p l i a n c e W i t h B a n k ' s S a f e g u a r d P o l i c i e s 3 . 6 I n d i g e n o u s P e o p l e s ( O D 4 . 2 0 ) N A C o m m e n t s : Page 16 3 . 7 I n v o l u n t a r y R e s e t t l e m e n t ( O D 4 . 3 0 ) N A C o m m e n t s : 3 . 8 C u l t u r a l P r o p e r t y ( O P N 1 1 . 0 3 ) N A C o m m e n t s : Page 17 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 4 . E N V I R O N M E N T A L A S P E C T S 2 4 . 1 A s s e s s m e n t o f e n v i r o n m e n t a l i m p a c t s a n d r i s k s : 2 ( a ) E x t e n t t o w h i c h s i g n i f i c a n t e n v i r o n m e n t a l i m p a c t s ( p o s i t i v e a n d n e g a t i v e ) a n d r i s k s w e r e i d e n t i f i e d a n d a s s e s s e d ? 2 ( b ) W e r e a l t e r n a t i v e s e x a m i n e d a n d c o m p a r e d ? N A ( c ) E x t e n t t o w h i c h c o n s u l t a t i o n w i t h a f f e c t e d g r o u p s c o n d u c t e d i n a s a t i s f a c t o r y m a n n e r ? 2 C o m m e n t s : P r o j e c t i n v o l v e s r e h a b i l i t a t i o n o f s u b - s t a t i o n s f o r w h i c h d e t a i l e d E M P s h a v e b e e n p r e p a r e d ; n o P C B s a r e i n v o l v e d . C o n s u l t a t i o n s w e r e h e l d a c c o r d i n g t o B a n k / R o m a n i a n r e q u i r e m e n t s . P r o v i s i o n s f o r E M P s i n c l u d e d i n t h e P I P . 4 . 2 A d e q u a c y o f a r r a n g e m e n t s f o r m i t i g a t i n g a n d m a n a g i n g a n y a d v e r s e e n v i r o n m e n t a l i m p a c t s d u r i n g ( a n d f o l l o w i n g ) p r o j e c t i m p l e m e n t a t i o n ? ( I f m i t i g a t i o n m e a s u r e s a r e o u t s i d e t h e p r o j e c t , a s s e s s t h e l i k e l i h o o d o f t h e i r s u c c e s s f u l i m p l e m e n t a t i o n ) 1 C o m m e n t s : M i t i g a t i o n m e a s u r e s d e t a i l e d a l o n g w i t h m o n i t o r i n g / r e p o r t i n g / s c h e d u l i n g / c o s t i n g r e q u i r e m e n t s . 4 . 3 A d e q u a c y o f a s s e s s m e n t o f i n - c o u n t r y e n v i r o n m e n t a l p o l i c i e s a n d i n s t i t u t i o n a l c a p a c i t y f o r c a r r y i n g o u t t h e E A a n d e n s u r i n g s u b s e q u e n t c o m p l i a n c e ? 2 C o m m e n t s : R o m a n i a n e n v i r o n m e n t a l p o l i c i e s a n d p r o c e d u r e s h a v e b e e n a p p l i e d a n d w i l l c o n t i n u e u n d e r i m p l e m e n t a t i o n . T r a i n i n g t o b e c o n d u c t e d f o r s p e c i f i c a l l y a s s i g n e d p e r s o n n e l . 4 . 4 A p p r o p r i a t e n e s s a n d q u a l i t y o f t h e E n v i r o n m e n t a l A s s e s s m e n t : 2 ( a ) A p p r o p r i a t e n e s s o f t h e s e l e c t e d e n v i r o n m e n t c a t e g o r y ? 2 ( b ) C h o i c e o f t h e E A i n s t r u m e n t ( S E A / R E A / E I A / E M P / A u d i t ) ? 2 ( c ) A d e q u a c y o f p u b l i c d i s c l o s u r e p r o c e d u r e s ( B P 1 7 . 5 0 ) ? 2 ( d ) Q u a l i t y o f E A r e p o r t ? 2 ( e ) Q u a l i t y o f t h e E M P ? 1 ( f ) E A r e s u l t s p r o p e r l y r e f l e c t e d i n p r o j e c t d o c u m e n t a t i o n ( e . g . , L o g F r a m e ) ? 2 ( g ) E A r e s u l t s p r o p e r l y r e f l e c t e d i n p r o j e c t ’ s l e g a l d o c u m e n t s ? 1 C o m m e n t s : E A / E M P f o l l o w e d B a n k / R o m a n i a n p o l i c i e s a n d p r o c e d u r e s . C o m p l i a n c e W i t h B a n k s S a f e g u a r d P o l i c i e s 4 . 5 E n v i r o n m e n t a l A s s e s s m e n t ( O P 4 . 0 1 ) 2 C o m m e n t s : E A / E M P f o l l o w e d B a n k / R o m a n i a n p o l i c i e s a n d p r o c e d u r e s . Page 18 4 . 6 N a t u r a l H a b i t a t s ( O P 4 . 0 4 ) N A C o m m e n t s : 4 . 7 F o r e s t r y ( O P 4 . 3 6 ) N A C o m m e n t s : 4 . 8 P e s t M a n a g e m e n t ( O P 4 . 0 9 ) N A C o m m e n t s : 4 . 9 S a f e t y o f D a m s ( O P 4 . 3 7 ) N A C o m m e n t s : Page 19 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 5 . F I D U C I A R Y A S P E C T S 1 5 . 1 F i n a n c i a l M a n a g e m e n t 1 ( a ) A d e q u a c y o f f i n a n c i a l m a n a g e m e n t s y s t e m s a n d p e r s o n n e l f o r p r o j e c t a c c o u n t i n g , i n t e r n a l c o n t r o l s , a u d i t i n g a n d r e p o r t i n g a s d e s c r i b e d i n t h e P r o j e c t I m p l e m e n t a t i o n P l a n ? 1 ( b ) A d e q u a c y o f f i n a n c i a l m a n a g e m e n t a s s e s s m e n t a s r e c o r d e d i n t h e P r o j e c t A p p r a i s a l D o c u m e n t ? W e r e a p p r o p r i a t e a n d t i m e b o u n d m e a s u r e s i n t r o d u c e d t o c o r r e c t a n y s h o r t c o m i n g s ? 1 C o m m e n t s : A P M U h a s b e e n s e t u p i n R o m a n i a ' s g r i d c o m p a n y a n d p o w e r s y s t e m o p e r a t o r , T r a n s e l e c t r i c a , w h i c h w a s e s t a b l i s h e d i n A u g u s t 2 0 0 0 , f o l l o w i n g t h e r e s t r u c t u r i n g o f t h e N a t i o n a l E l e c t r i c i t y C o m p a n y . T h e c e n t r a l i z a t i o n o f a l l f i d u c i a r y a s p e c t s o f t h e p r o j e c t i n t h e P M U r i n g - f e n c e s t h e f i n a n c i a l m a n a g e m e n t o f t h e p r o j e c t , e f f e c t i v e l y i s o l a t i n g i t f r o m c o u n t r y l e v e l F M i s s u e s , i n c l u d i n g c o n c e r n s e x p r e s s e d i n t h e i n i t i a l f i n d i n g s o f t h e o n g o i n g C F A A r e g a r d i n g p u b l i c s e c t o r f i n a n c i a l m a n a g e m e n t . T h e P A D c o n t a i n s a g o o d f i n a n c i a l m a n a g e m e n t a s s e s s m e n t . T i m e - b o u n d a c t i o n s w e r e a g r e e d u p o n t o e n s u r e s a t i s f a c t o r y F M a r r a n g e m e n t s p r i o r t o L o a n n e g o t i a t i o n s . 5 . 2 P r o c u r e m e n t 2 ( a ) Q u a l i t y a n d a d e q u a c y o f c a p a c i t y a s s e s s m e n t o f t h e i m p l e m e n t i n g a g e n y ( i e s ) ? 2 ( b ) Q u a l i t y a n d a d e q u a c y o f a r r a n g e m e n t s f o r m a n a g i n g p r o c u r e m e n t ? 2 C o m m e n t s : T h e a r r a n g e m e n t s f o r m a n a g i n g p r o c u r e m e n t a r e a p p r o p r i a t e t a k i n g i n t o c o n s i d e r a t i o n t h e c a p a c i t y o f t h e i m p l e m e n t i n g a g e n c i e s a n d t h e f a c t t h a t a l l t h e c o n t r a c t s p r e s e n t l y e n v i s a g e d a r e s u b j e c t t o p r i o r r e v i e w . Page 20 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 6 . P O L I C Y A N D I N S T I T U T I O N A L A S P E C T S 1 6 . 1 E x t e n t t o w h i c h t h e p r e v a i l i n g e c o n o m i c p o l i c y e n v i r o n m e n t w a s c o n s i d e r e d i n p r o j e c t d e s i g n ? 1 C o m m e n t s : T h e p r o j e c t d e s i g n i s b a s e d o n t h e e x i s t i n g p o l i c y e n v i r o n m e n t a n d t h e s t r o n g p o l i t i c a l s u p p o r t f o r t h e r e f o r m a g e n d a . I t i s e x c e p t i o n a l l y s e n s i t i v e t o e x i s t i n g c o u n t r y c o n d i t i o n s . 6 . 2 A p p r o p r i a t e i d e n t i f i c a t i o n o f a g e n c i e s a n d i n s t i t u t i o n s ( e . g . g o v e r n m e n t , r e g u l a t o r y , j u d i c i a l , p r i v a t e s e c t o r , N G O s ) r e s p o n s i b l e f o r p r o j e c t e x e c u t i o n a n d c l a r i t y o f t h e i r r e s p e c t i v e r o l e s ? 2 C o m m e n t s : T h e r e a r e n u m e r o u s a g e n c i e s i n v o l v e d i n t h i s p r o j e c t a n d t h e i r r e s p e c t i v e r o l e s h a v e b e e n a p p r o p r i a t e l y d e f i n e d . 6 . 3 E x t e n t t o w h i c h t h e i m p l e m e n t i n g a g e n c i e s h a v e : 1 ( a ) C a p a c i t y t o i m p l e m e n t t h e p r o j e c t ( i . e . d o t h e y h a v e t h e r e q u i r e d i n s t i t u t i o n a l c u l t u r e , l e a d e r s h i p , v i s i o n , s t r a t e g y , s y s t e m s , a n d f u n d i n g ? ) 1 ( b ) C o m m i t m e n t t o v i g o r o u s l y i m p l e m e n t t h e p r o j e c t a n d p r o m o t e t h e s t a t e d o b j e c t i v e s ? 1 ( c ) P o l i t i c a l c a p a c i t y t o c a r r y o u t r e f o r m s a n d i n s t i t u t i o n a l c h a n g e s i n c l u d e d i n t h e p r o j e c t ? 1 C o m m e n t s : S t r o n g i n c e n t i v e s e x i s t t o p e r f o r m a t a l l l e v e l . S h o r t p r e p a r a t i o n t i m e c o u p l e d w i t h h i g h q u a l i t y d e m o n s t r a t e s c a p a c i t y t o i m p l e m e n t o p e r a t i o n . T h e t r a n s m i s s i o n a g e n c y , i n p a r t i c u l a r , h a s d e m o n s t r a t e d i t s e n t h u s i a s m f o r i t s n e w l y a s s i g n e d r o l e . 6 . 4 W h e r e t h e i n s t i t u t i o n a l c a p a c i t y i s d e f i c i e n t , a p p r o p r i a t e n e s s a n d r e a l i s m o f t h e c a p a c i t y b u i l d i n g m e a s u r e s : 1 ( a ) I n s t i t u t i o n a l c a p a c i t y a s s e s s m e n t ? 1 ( b ) T e c h n i c a l a s s i s t a n c e a r r a n g e m e n t s ? 1 ( c ) S t a f f a n d m a n a g e m e n t t r a i n i n g ? 1 C o m m e n t s : A c a r e f u l l y t h o u g h t o u t a n d a g r e e d u p o n T A p r o g r a m i s d e s i g n e d t o a d d r e s s s p e c i f i c i n s t i t u t i o n a l w e a k n e s s e s . T h e y a r e b a s e d o n b e s t p r a c t i c e s a r i s i n g f r o m t h e B a n k ’ s g l o b a l e x p e r i e n c e i n t h e d e v e l o p m e n t o f p o w e r m a r k e t s . A w e l l e d u c a t e d a n d p r e p a r e d s t a f f s h o u l d b e a b l e t o a b s o r b t h e T A w i t h r e l a t i v e e a s e . Page 21 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 7 . I M P L E M E N T A T I O N A R R A N G E M E N T S 1 7 . 1 P r o s p e c t s f o r c o m p l e t i n g t h e p r o j e c t w i t h i n t h e p r e s c r i b e d t i m e - f r a m e ? ( t a k i n g i n t o a c c o u n t t h e r e a l i s m o f t h e p r o j e c t i m p l e m e n t a t i o n s c h e d u l e , a n d t h e e x t e n t t o w h i c h e x p e r i e n c e f r o m s i m i l a r p r o j e c t s i n t h e c o u n t r y / r e g i o n w e r e c o n s i d e r e d ) ? 1 C o m m e n t s : T h e p r o j e c t i m p l e m e n t a t i o n s c h e d u l e w a s n o t p r e s e n t e d i n t h e P A D t o p e r m i t a n a s s e s s m e n t o f t h e r e a l i s m o f t h e d i s b u r s e m e n t s c h e d u l e o r t h e t i m e f r a m e f o r p r o j e c t i m p l e m e n t a t i o n . H o w e v e r , t h e p a n e l d o e s n o t s e e a n y m a j o r i m p e d i m e n t t o t i m e l y c o m p l e t i o n o f t h e p r o j e c t . T h e p r o j e c t t e a m n o t e d t h a t t h e P A D t e m p l a t e n o l o n g e r h a s p r o v i s i o n f o r t h e p r e s e n t a t i o n o f a n i m p l e m e n t a t i o n s c h e d u l e . T h e B a n k / O P C S s h o u l d c o n s i d e r r e s t o r i n g a n a p p r a i s e d p r o j e c t i m p l e m e n t a t i o n s c h e d u l e i n t h e d o c u m e n t a t i o n f o r B o a r d a p p r o v a l . ( S e c t i o n D S u m m a r y A s s e s s m e n t ) . 7 . 2 R e a d i n e s s o f t h e f i r s t y e a r ’ s p r o g r a m f o r i m p l e m e n t a t i o n ? 1 ( a ) A d e q u a c y a n d t i m e l i n e s s o f c o u n t e r p a r t f u n d i n g ? 1 ( b ) Q u a l i t y a n d s t a t u s o f t h e p r o c u r e m e n t p l a n f o r t h e f i r s t y e a r ? 2 ( c ) A r r a n g e m e n t s f o r d i s b u r s e m e n t s i n p l a c e ? 2 ( d ) O n - l e n d i n g a r r a n g e m e n t s i n p l a c e ? N A ( e ) P r o j e c t m a n a g e r a p p o i n t e d p r i o r t o B o a r d a p p r o v a l ? 1 ( f ) T A , s t a f f i n g a n d m a n a g e m e n t a r r a n g e m e n t s a g r e e d a n d i n p l a c e ? 1 C o m m e n t s : V e r y w e l l p r e p a r e d d e s p i t e t h e s h o r t t i m e a v a i l a b l e . 7 . 3 Q u a l i t y o f P r o j e c t I m p l e m e n t a t i o n P l a n ? 2 C o m m e n t s : T h e P I P i s s a t i s f a c t o r y b u t i t l a c k e d a p r o j e c t i m p l e m e n t a t i o n s c h e d u l e b y p r o j e c t c o m p o n e n t . A l s o t h e P I P f o r t h e m o s t p a r t r e p r o d u c e d s e c t i o n s o f t h e P A D . T h e n e e d f o r s u c h d u p l i c a t i o n i s n o t o b v i o u s , a s t h e P A D i s a p u b l i c l y a v a i l a b l e d o c u m e n t , w i t h u n r e s t r i c t e d d i s t r i b u t i o n . 7 . 4 A p p r o p r i a t e n e s s o f a r r a n g e m e n t s t o m o n i t o r i m p l e m e n t a t i o n a n d t o r e v i e w p r o g r e s s w i t h t h e b o r r o w e r ? S p e c i f i c i t y o f i n d i c a t o r s a n d b e n c h m a r k s ? C l e a r a s s i g n m e n t s o f m o n i t o r i n g r e s p o n s i b i l i t i e s t o i m p l e m e n t i n g a g e n c i e s ? : ( a ) T r a c k i n g o f i m p l e m e n t a t i o n p r o g r e s s ? 1 ( b ) P o v e r t y a n d s o c i a l a s p e c t s ? 2 ( c ) A d v e r s e e n v i r o n m e n t a l i m p a c t s ? 2 ( d ) P r o c u r e m e n t m o n i t o r i n g ? 2 C o m m e n t s : B e c a u s e o f t h e s i m p l e a n d c l e a r d e s i g n o f t h e p r o j e c t , i m p l e m e n t a t i o n s h o u l d b e r e l a t i v e l y s t r a i g h t f o r w a r d . T h e u s e o f h i g h q u a l i t y i n t e r n a t i o n a l c o n s u l t a n t s f o r e n g i n e e r i n g s u p e r v i s i o n w i l l p r o d u c e t h e a p p r o p r i a t e r e p o r t s t h a t c o m b i n e d w i t h r e g u l a r s u p e r v i s i o n Page 22 m i s s i o n s , s h o u l d e n s u r e e x c e p t i o n a l l y s m o o t h i m p l e m e n t a t i o n o f t h i s c o m p o n e n t . R e g u l a r p l a n n e d r e p o r t s o n t h e p o l i c y p a r t s o f t h i s p r o j e c t a r e e x p e c t e d a n d a p p e a r t o b e w e l l d e s i g n e d , r e f l e c t i n g b e s t p r a c t i c e s . 7 . 5 A p p r o p r i a t e n e s s o f a r r a n g e m e n t s ( e . g . b a s e l i n e s u r v e y , o u t c o m e i n d i c a t o r s ) f o r e v a l u a t i n g i m p a c t a n d m e a s u r i n g o u t c o m e s o f : 1 ( a ) I n s t i t u t i o n a l a n d p o l i c y r e f o r m a s p e c t s ? 1 ( b ) P r o j e c t ' s d e v e l o p m e n t o b j e c t i v e s ? 1 ( c ) P o v e r t y a n d s o c i a l a s p e c t s ? 2 ( d ) A d v e r s e e n v i r o n m e n t a l i m p a c t s ? 2 C o m m e n t s : T h e m a i n o b j e c t i v e s o f t h i s p r o j e c t a r e e x c e p t i o n a l l y w e l l s t a t e d a n d s t e p b y s t e p b e n c h m a r k s h a v e b e e n e s t a b l i s h e d t o m e a s u r e o u t c o m e s . Page 23 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 8 . R I S K A S S E S S M E N T 1 8 . 1 Q u a l i t y o f r i s k a s s e s s m e n t ( W i t h p a r t i c u l a r r e f e r e n c e t o c a n d o r , r i g o r , c o m p r e h e n s i v e n e s s a n d r e a l i s m ) a n d a p p r o p r i a t e n e s s o f s t r a t e g i e s f o r d e a l i n g w i t h r i s k d u r i n g p r o g r a m i m p l e m e n t a t i o n 1 ( a ) C o u n t r y c a p a c i t y ( N o n s u p p o r t i v e m a c r o e c o n o m i c a n d p o l i t i c a l e n v i r o n m e n t , g o v e r n a n c e p r o b l e m s a n d b o r r o w e r c o m m i t m e n t ) 1 ( b ) I n s t i t u t i o n a l e f f e c t i v e n e s s t o i m p l e m e n t t h e p r o j e c t 1 ( c ) T e c h n i c a l s o u n d n e s s ( D e s i g n c o m p l e x i t y ( m u l t i p l e o r u n t e s t e d c o m p o n e n t s ) , f i r s t t i m e o p e r a t i o n i n t h e c o u n t r y / s e c t o r ) 1 ( d ) E c o n o m i c v i a b i l i t y ( E c o n o m i c s o u n d n e s s b a s e d o n c o s t - b e n e f i t o r c o s t - e f f e c t i v e n e s s a n a l y s i s ) 1 ( e ) F i n a n c i a l v i a b i l i t y ( F o r r e v e n u e - e a r n i n g p r o j e c t s , f i n a n c i a l s o u n d n e s s b a s e d o n f i n a n c i a l r a t e o f r e t u r n o r N P V , a p p r o p r i a t e n e s s o f t a r i f f s i n r e l a t i o n t o m a r g i n a l c o s t a n d O & M c o s t ; r e l i a b i l i t y o f f i n a n c i a l r e p o r t i n g ; f o r a l l o t h e r p r o j e c t s , f i s c a l s u s t a i n a b i l i t y u p o n p r o j e c t c o m p l e t i o n . ) 1 ( f ) S o c i a l r i s k s ( R i s k o f a d v e r s e s o c i a l i m p a c t l i k e e x c l u s i o n o f k e y g r o u p s , s o c i o - p o l i t i c a l s u p p o r t ) 2 ( g ) E n v i r o n m e n t a l r i s k s ( I n c l u d i n g n a t u r a l r e s o u r c e m a n a g e m e n t a n d i n d i g e n o u s p e o p l e s o r r e s e t t l e m e n t i s s u e s ) 2 ( h ) F i n a n c i a l m a n a g e m e n t c a p a c i t y ( F i n a n c i a l m a n a g e m e n t r i s k s i n t h e c o u n t r y t h a t m a y i m p a c t t h e p r o j e c t ) 2 ( i ) P r o c u r e m e n t c a p a c i t y ( A s s e s s m e n t o f p r o c u r e m e n t r i s k s t h a t m a y i m p a c t t h e p r o j e c t ) a n d m e a s u r e s t a k e n b y t h e i m p l e m e n t i n g a g e n c y t o m i t i g a t e t h e m . 2 ( j ) R e s i l i e n c e t o e x o g e n o u s f a c t o r s ( R e a c t i o n o f l o c a l a n d e x t e r n a l c i v i l s o c i e t y a d v o c a t e s , s u p p o r t f r o m r e l e v a n t s t a k e h o l d e r s ) 1 C o m m e n t s : S e e b e l o w . 8 . 2 C l a r i t y a n d c a n d o r i n r e c o g n i z i n g o v e r a l l p r o j e c t r i s k s ( i n c l u d i n g r e s i d u a l r i s k s n o t a m e n a b l e t o m i t i g a t i o n ) , a n d a s s e s s i n g t h e m i n r e l a t i o n t o o v e r a l l r i s k s a n d r e w a r d s ? 1 C o m m e n t s : T h o r o u g h l y r e c o g n i z e d a n d c l e a r l y p r e s e n t e d a l l r i s k s . H i g h e s t r i s k s a r e m i t i g a t e d b y c o u n t r y c o m m i t m e n t t o E U a c c e s s i o n a n d c l o s e c o o p e r a t i o n b e t w e e n E C a n d B a n k . S i m p l i c i t y o f d e s i g n i s a l s o i m p o r t a n t i n r i s k m i t i g a t i n g s t r a t e g i e s . Page 24 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 9 . B A N K I N P U T S A N D P R O C E S S E S 1 9 . 1 E l a p s e d t i m e ( m o n t h s ) : a . A p p r a i s a l - B o a r d 3 W a s t h e s e r v i c e s t a n d a r d o f 5 m o n t h s m e t ? Y e s b . B o a r d - E f f e c t i v e n e s s W a s t h e s e r v i c e s t a n d a r d o f 4 m o n t h s m e t ? N A C o m m e n t s : P r o j e c t w a s p r o c e s s e d i n l e s s t h a n s i x m o n t h s , f r o m m i d - N o v e m b e r 2 0 0 2 t o m i d - A p r i l 2 0 0 3 , a n d n e g o t i a t e d i n M a y 2 0 0 3 . T h i s w a s a n e x t r a o r d i n a r y e f f o O P C O M a n d A N R E ) , a n d t h e G o v e r n m e n t , i n c l u d i n g t h e p r e p a r a t i o n o f t h e r o a d m a p f o r e n e r g y r e f o r m s . B o r r o w e r ( i n c l u d i n g O P C O M a n d A N R E ) a n d G o v e r n m e n t c o n t r i b u t i o n t o p r e p a r a t i o n w a s r e m a r k a b l e . B a n k ' s E S W , s t r a t e g y f o r e n e r g y a n d i n f r a s t r u c t u r e f o r t h e B a n k i n R o m a n i a , w a s t h e b a s i s a n d p r o v i d e d t h e f r a m e w o r k f o a s m a l l b u t c r i t i c a l T A c o m p o n e n t . 9 . 2 P r e p a r a t i o n / P r o c e s s i n g E x p e n d i t u r e s ( $ 0 0 0 ) a . B B 3 7 3 b . P P F 0 c . P H R D 0 d . O t h e r 0 e . T o t a l 3 7 3 9 . 3 T a s k t e a m ' s a s s e s s m e n t A . P r o j e c t P r e p a r a t i o n : ( a ) F u n d s A b o u t R i g h t ( b ) P r o c e s s i n g T i m e ( w e e k s ) T o o L i t t l e ( c ) A m o u n t s p e n t o n s a f e g u a r d s / f i d u c i a r y a s p e c t s ( $ ) A b o u t R i g h t B . C o n t r i b u t i o n s t o p r o j e c t p r e p a r a t i o n : ( d ) B o r r o w e r H i g h ( e ) O t h e r d o n o r s M e d i u m ( f ) O t h e r B a n k f u n d e d a c t i v i t i e s ( E S W , I D F , D r o p p e d p r o j e c t s , e t c . ) M e d i u m Page 25 S I X T H Q U A L I T Y A T E N T R Y A S S E S S M E N T ( Q E A 6 ) G U I D A N C E Q U E S T I O N S 9 . 4 T a s k t e a m ' s c o m p o s i t i o n i n r e l a t i o n t o o p e r a t i o n ' s c o m p l e x i t y ? ( S k i l l - m i x , c o n t i n u i t y , e x p e r i e n c e , s t a f f / c o n s u l t a n t s m i x ? ) C o m m e n t s : R i g h t m i x t u r e o f s t a f f . E x p e r i e n c e d t e a m l e a d e r . E x c e l l e n t d i v i s i o n o f l a b o r , i n c l u d i n g w i t h c o u n t r y o f f i c e . 1 9 . 5 A p p r o p r i a t e n e s s o f p r o c e s s i n g t i m e c o n s i d e r i n g o p e r a t i o n ’ s c o m p l e x i t y a n d u r g e n c y ? C o m m e n t s : B a n k e f f e c t i v e l y c a p i t a l i z e d o n s t r o n g b o r r o w e r c o m m i t m e n t . 1 9 . 6 O v e r a l l e f f i c i e n c y o f r e s o u r c e s u s e d ? ( i n r e l a t i o n t o o p e r a t i o n ' s c o m p l e x i t y ) C o m m e n t s : 2 C o n t r i b u t i o n s t o P r o j e c t Q u a l i t y : 9 . 7 V a l u e A d d e d f r o m m a n a g e m e n t ( N o t e : H o w a n d w h y w a s t h e v a l u e a d d e d h i g h o r l o w ? ) 1 ( a ) C o u n t r y M a n a g e m e n t 2 ( b ) S e c t o r M a n a g e m e n t ( f o r a l l o f t h e s e c t o r s f o r a m u l t i - s e c t o r o p e r a t i o n ) 1 ( c ) R e g i o n a l Q u a l i t y A s s u r a n c e T e a m ( P r o c u r e m e n t , E N V , S o c i a l , O t h e r ) 1 C o m m e n t s : T h e c o u n t r y m a n a g e m e n t w a s r e l u c t a n t i n i t i a l l y t o s u p p o r t t h e p r o j e c t . H o w e v e r , o n c e t h e d e c i s i o n w a s m a d e t o i n c l u d e t h i s p r o j e c t i n t h e p r o g r a m , i t r e c e i v e d s t r o n g s u p p o r t f r o m a l l c o n c e r n e d . I n p a r t i c u l a r , t h e c o u n t r y o f f i c e p r o v i d e d e x c e l l e n t s u p p o r t t h a t m a d e t h e s h o r t p r o c e s s i n g t i m e p o s s i b l e . 9 . 8 Q u a l i t y E n h a n c e m e n t 2 A . P e e r R e v i e w e r s 2 ( a ) A p p r o p r i a t e n e s s o f r e v i e w e r s ' s e l e c t i o n ? 2 ( b ) Q u a l i t y o f g u i d a n c e g i v e n ? 2 ( c ) A p p r o p r i a t e u s e o f a d v i c e p r o v i d e d ? 2 C o m m e n t s : C o m m e n t s r e c e i v e d w e r e a p p r o p r i a t e g i v e n t h e e x c e l l e n t q u a l i t y o f t h e p r o j e c t t e a m t h a t m a n a g e d t o a n t i c i p a t e m o s t p r o b l e m s a n d i s s u e s . B . Q E R 1 ( a ) A p p r o p r i a t e n e s s o f r e v i e w e r s ' s e l e c t i o n ? 1 ( b ) Q u a l i t y o f g u i d a n c e g i v e n ? 1 ( c ) A p p r o p r i a t e u s e o f a d v i c e p r o v i d e d ? 1 C o m m e n t s : B e s t p r a c t i c e - - v e r y u s e f u l f o r p r o j e c t p r e p a r a t i o n . I t w a s d o n e a t a t i m e w h e n t h e p r o j e c t r e a m w a s b e s t a b l e t o i n c o r p o r a t e t h e s u g g e s t i o n s i n t o t h e p r o j e c t d e s i g n . 9 . 9 Q u a l i t y o f S u p p o r t P r o v i d e d b y 1 Page 26 ( a ) S e c t o r B o a r d a n d A n c h o r 2 ( b ) L e g a l 1 ( c ) L O A ( D i s b u r s e m e n t ) 1 C o m m e n t s : E v e r y o n e p i t c h e d i n t o a s s i s t t h e p r o j e c t t e a m i n m e e t i n g a c h a l l e n g i n g p r o c e s s i n g s c h e d u l e . 9 . 1 0 Q u a l i t y o f B a n k ' s d o c u m e n t s ( P A D , l e g a l d o c u m e n t s ) 1 C o m m e n t s : W e l l p r e p a r e d , t r a n s p a r e n t , e a s y t o r e a d . Page 27