Upravil jsem to takto, ale zase to vrací nesmyslně moc položek
var textRecordsNotInFirstFile = records2L.Where(t => records1L.Any(r => t.polozka == r.polozka)).ToList();
Linq - dotaz na řešení problému