Jak převést rozsáhlý *xml soubor do čitelnější formy?

Pokud bys to potreboval, napisu ti nejakou malou utilitku, která to přehrne do Access nebo co si řekneš (třeba DBF).
Access má limit 2GB na databázi, pokud tam bude jedna tabulka, pak 2GB na tu tabulku - nějaká režie.
Pokud si tam přidáš indexy, bude to méně.

Já to zas tak nepotřebuju, zajímalo mě to spíše teoreticky :)
Asi nejjednodušší by byl převod do *csv nebo *dbf, s tím si poradí kdeco.

Pozadal jsem chatGPT, předhodil mu jeden node a on mi vratil kod na nacteni a zapis do souboru.
Schvalne zkusim, jak rychle to bude.
Asi bude dlouho trvat to nacteni a rozparsovani tak velkeho XML, nasypani do soubory by pak uz melo byt rychle.

Já bych na toho ChatGPT moc nespoléhal. Viz mé tristní zkušenosti popsané na 3183282-ms-potvrdil-pouziti-chatgpt-4-v-bing

Jde o kostru. Nemusíš se pak drbat s mechanickym opisovanim nodu. Zbytek si upravis, ale spoustu mechanicke prace mas hotove.

Ahoj Honzo (zdraví Paullus),

Tobě je hej, umíš programovat, ale co my lamy (ejhle rým).

Jinak nemohl bys PS Pad přizpůsobit, aby otevíral i velké soubory? Třeba ten největší XML soubor z DS (PFO) nezvládne.

Pak bych mohl ve svém oblíbeném texťáku používat tu svoji primitivní metodu rozdělovat XML mechanicky.
Takhle musím se skřípěním zubů používat různé Notepady ++, 010Editory a jiné paskvily...

Musel bys vzit 64b verzi PSPadu, tam není omezení na 2GB RAM jako u 32b verze. Ale pracovat s tím by byl opruz.

Já samozřejmě mám 64b verzi (5.0.7). Ale když chci otevřít ten XML soubor, tak mi to hlásí: Soubor XX nelze otevřít. Integer overflow.

Já samozřejmě mám 64b verzi (5.0.7). Ale když chci otevřít ten XML soubor, tak mi to hlásí: Soubor XX nelze otevřít. Integer overflow.

Tak jsem se dival. Ten nejvetsi soubor datovych schranek ma zprasene UTF-8 kodovani. Proto se v PSPadu dostane do vetve, kde se pokousis opravit UTF-8 a tam ten rezim uz ty velke soubory nezvladne.
Zkusim to nejak obejit.

Jo, máš pravdu; já zapomněl dodat, že při pokusu o načtení jsem dostal celkem tři hlášky.
První se mne ptala, zda chci soubor opravdu otevřít, druhá oznámila, že obsahuje chybné UTF-8 kódování a opět se tázala, jestli ho chci přesto otevřít a až ta třetí byla definitivně zamítavá.

Pokud by byl ten soubor v poradku, tak by se otevrel.
Protoze je tam zprasene UTF-8 (zrejme namichane UTF-8 s CP1250), tak by doslo ke ztrate znaku a to u programatorskeho editoru je hloupe. Proto je tam to varovani a uzivatel ma moznost to otevrit takovym bocnim procesem, ktery kodovani nekontroluje. Ten se ale nevyrovna s tak velkym stringem.

Bud to z UTF-8 prekoduji rucne po svem nebo to pro velke retezce rozdelim a udelam navickrat.

Můžu vědět kde konkrétně je ten soubor utf-8 nevalidní?
Zkusil jsem mb_check_encoding v php na utf-8 a udává mi to, že ty soubory včetně toho největšího jsou utf-8 validní.
(Udělal jsem i ověřovací test souboru znaků české abecedy v utf-8 a ansi i mix (třeba utf-8 text s jedním ansi č) a mb_check_encoding to detekuje správně)
(mb_check_encoding kontroluje všechno, i mimo ty znaky, které jsem testoval)

Me to pri prevodu hlasilo invalid char mapping. Dal jsem to nezkoumal.

Takže zprasené je to, co vyhazuje tu chybu. Ne utf-8 v xml.

Asi máš pravdu. Já ten soubor oprostil od diakritiky, poté pro jistotu v PSPadu po rozdělení nechal překódovat do UTF-8 a po opětovném spojení se to chová naprosto stejně.

Přitom po rozdělení na dva 700 MB soubory to načíst šlo.

Paullus! Zdravim te!

I já tebe, MaSo. Vidím, že i jako svědkovi historických epoch ti paměť stále slouží...

Zatim slouzi ale je to cim dal tim horsi. Uz to neni jako pred patnacti lety, kdy jsme tu analyzovali kazdy dil BBT...

Já si převádím denně (už 11let) XML do čitelné podoby tak, že si ho nastyluji.
Ale já ho potom jen čtu a kopíruji texty. V PSPadu mám užovatelský konvertor a je to během chvilky.
Jestli by to takto fungovalo i u velkého souboru (nevím, jak velký PSPad načte) netuším. Rovněž netuším, jestli by šly nadělat tabulky.
Nicméně někomu by se to mohlo hodit, proto tady odepisuji.
Konvertor vypadá takto (začátek):

[Settings]
ForwardName=Kráťův konvertor
ForwardIgnoreCase=1
BackWardIgnoreCase=0
ConversionStyle=regexpressions
[RegExpressions]
<?xml.* ?>|xml version="1.0" encoding="windows-1250" ?> <?xml-stylesheet type="text/css" href="-data.css"?>
<?xml version="1.0" encoding="utf-8" ?>|<?xml version="1.0" encoding="utf-8" ?> <?xml-stylesheet type="text/css" href="-data.css"?>
\<(Skore|Autor|Datum|Str.|Oblast|ProfilID|Zpracovano|Jazyk|Rubrika|Mutace)\>.*| 
<Poradi>.*</Poradi>|
<Zkratka_oblasti>.*</Zkratka_oblasti>|
<Zkratka_zdroje>.*</Zkratka_zdroje>|

A CSS soubor vypadá takto (začátek)

Documents {
  font-family: verdana;
  font-size: 83%;
  width: 751px;
  background-color: #ffffff;
  width: 95%;
 }

Document {
  margin-bottom: 65px;
}

Hlavicka_Clanku {
  display: block;
  margin-top: 30pt;
  margin-bottom: 10pt;
  margin-left: 20px;
}

Skore {
  width: 100%;
  color: #FF0000;
  }

Celé to potom vypadá takto: