Lines Matching refs:tokens
233 const Item* completed_item, const LexerResult& tokens) const;
269 const Item* item, const LexerResult& tokens);
323 std::string SplitByChildren(const LexerResult& tokens) const;
325 void CheckAmbiguity(const Item& other, const LexerResult& tokens) const;
327 MatchedInput GetMatchedInput(const LexerResult& tokens) const {
328 const MatchedInput& start = tokens.token_contents[start_];
329 const MatchedInput& end = start_ == pos_ ? tokens.token_contents[start_]
330 : tokens.token_contents[pos_ - 1];
365 const Item* item, const LexerResult& tokens) {
368 return item->rule()->RunAction(item, tokens);
372 Symbol* start, const LexerResult& tokens,
376 const LexerResult& tokens) {
378 const Item* final_item = RunEarleyAlgorithm(start, tokens, &table);
379 return start->RunAction(final_item, tokens);
425 LexerResult tokens = lexer().RunLexer(input);
426 return ParseTokens(start_, tokens);