Výborně, upravil jsem to následně:

            string path = "newFile.csv";
            string path2 = "newFile2.csv";

            if (!File.Exists(path)) throw new FileNotFoundException(path);
            IEnumerable<CustomClass> records1 = ReadRecords(path);

            if (!File.Exists(path)) throw new FileNotFoundException(path2);
            IEnumerable<CustomClass> records2 = ReadRecords(path2);

            var records1L = records1.ToList();

            var records2L = records2.ToList();

            var textRecordsNotInFirstFile = records1L.Where(t => !records2L.Any(r => t.polozka == r.polozka)).ToList();

            TextWriter writer = File.CreateText("diference.csv");
           
            using (var csvWriter = new CsvHelper.CsvWriter(writer))
            {
                csvWriter.Configuration.Delimiter = ";";
                csvWriter.WriteRecords(textRecordsNotInFirstFile);
            }

Program proběhne bez chyby, ale výsledný soubor diference.csv je prázdný.
Přitom očekávám, že bude obsahovat řádky s názvy sklo a papir, protože ty jsou ve druhém souboru navíc.