Extract token flattening function

src/parser/parser_types.nim

@@ -80,6 +80,9 @@ func tokenStringValue*(x: ParserToken): string =
     of parserTokenString:
       x.stringValue
 
+func tokensToString*(tokens: seq[ParserToken]): string =
+  tokens.foldl(a & b.tokenStringValue(), "")
+
 # -- Modifiers
 
 func flattenParserTokens*(parser: Parser): ParserResult =