K:/CMGDKv18/SDK/Source/UtilityTools/DevilVM/as_tokenizer.h

浏览该文件的文档。

��/ * 
 
       A n g e l C o d e   S c r i p t i n g   L i b r a r y 
 
       C o p y r i g h t   ( c )   2 0 0 3 - 2 0 0 7   A n d r e a s   J o n s s o n 
 
 
 
       T h i s   s o f t w a r e   i s   p r o v i d e d   ' a s - i s ' ,   w i t h o u t   a n y   e x p r e s s   o r   i m p l i e d   
 
       w a r r a n t y .   I n   n o   e v e n t   w i l l   t h e   a u t h o r s   b e   h e l d   l i a b l e   f o r   a n y   
 
       d a m a g e s   a r i s i n g   f r o m   t h e   u s e   o f   t h i s   s o f t w a r e . 
 
 
 
       P e r m i s s i o n   i s   g r a n t e d   t o   a n y o n e   t o   u s e   t h i s   s o f t w a r e   f o r   a n y   
 
       p u r p o s e ,   i n c l u d i n g   c o m m e r c i a l   a p p l i c a t i o n s ,   a n d   t o   a l t e r   i t   a n d   
 
       r e d i s t r i b u t e   i t   f r e e l y ,   s u b j e c t   t o   t h e   f o l l o w i n g   r e s t r i c t i o n s : 
 
 
 
       1 .   T h e   o r i g i n   o f   t h i s   s o f t w a r e   m u s t   n o t   b e   m i s r e p r e s e n t e d ;   y o u   
 
             m u s t   n o t   c l a i m   t h a t   y o u   w r o t e   t h e   o r i g i n a l   s o f t w a r e .   I f   y o u   u s e 
 
             t h i s   s o f t w a r e   i n   a   p r o d u c t ,   a n   a c k n o w l e d g m e n t   i n   t h e   p r o d u c t   
 
             d o c u m e n t a t i o n   w o u l d   b e   a p p r e c i a t e d   b u t   i s   n o t   r e q u i r e d . 
 
 
 
       2 .   A l t e r e d   s o u r c e   v e r s i o n s   m u s t   b e   p l a i n l y   m a r k e d   a s   s u c h ,   a n d   
 
             m u s t   n o t   b e   m i s r e p r e s e n t e d   a s   b e i n g   t h e   o r i g i n a l   s o f t w a r e . 
 
 
 
       3 .   T h i s   n o t i c e   m a y   n o t   b e   r e m o v e d   o r   a l t e r e d   f r o m   a n y   s o u r c e   
 
             d i s t r i b u t i o n . 
 
 
 
       T h e   o r i g i n a l   v e r s i o n   o f   t h i s   l i b r a r y   c a n   b e   l o c a t e d   a t : 
 
       h t t p : / / w w w . a n g e l c o d e . c o m / a n g e l s c r i p t / 
 
 
 
       A n d r e a s   J o n s s o n 
 
       a n d r e a s @ a n g e l c o d e . c o m 
 
 * / 
 
 
 
 
 
 / / 
 
 / /   a s _ t o k e n i z e r . c p p 
 
 / / 
 
 / /   T h i s   c l a s s   i d e n t i f i e s   t o k e n s   f r o m   t h e   s c r i p t   c o d e 
 
 / / 
 
 
 
 
 
 
 
 # i f n d e f   A S _ T O K E N I Z E R _ H 
 
 # d e f i n e   A S _ T O K E N I Z E R _ H 
 
 
 
 # i n c l u d e   < h g l / t y p e / D a t a T y p e . H > 
 
 # i n c l u d e   " a s _ t o k e n d e f . h " 
 
 
 
 u s i n g   n a m e s p a c e   h g l ; 
 
 
 
 n a m e s p a c e   a n g l e _ s c r i p t 
 
 { 
 
     c o n s t   w c h a r _ t   * a s G e t T o k e n D e f i n i t i o n ( i n t   t o k e n T y p e ) ; 
 
 
 
     c o n s t   w c h a r _ t   * G e t T o k e n N a m e ( e T o k e n T y p e ) ; 
 
 
 
     c l a s s   a s C T o k e n i z e r 
 
     { 
 
     p u b l i c : 
 
         a s C T o k e n i z e r ( ) ; 
 
         ~ a s C T o k e n i z e r ( ) ; 
 
 
 
         e T o k e n T y p e   G e t T o k e n ( c o n s t   w c h a r _ t   * s o u r c e ,   u i n t   s o u r c e L e n g t h ,   u i n t   * t o k e n L e n g t h ) ; 
 
 
 
     p r o t e c t e d : 
 
         i n t     P a r s e T o k e n ( ) ; 
 
         b o o l   I s W h i t e S p a c e ( ) ; 
 
         b o o l   I s C o m m e n t ( ) ; 
 
         b o o l   I s C o n s t a n t ( ) ; 
 
         b o o l   I s K e y W o r d ( ) ; 
 
         b o o l   I s I d e n t i f i e r ( ) ; 
 
 
 
         c o n s t   w c h a r _ t   * s o u r c e ; 
 
         u i n t   s o u r c e L e n g t h ; 
 
 
 
         e T o k e n T y p e   t o k e n T y p e ; 
 
         u i n t   t o k e n L e n g t h ; 
 
     } ; 
 
 } 
 
 # e n d i f