Komplexní řešení plně digitální televize 2 / A complex DVB to network solution, issue 2

Předchozí článek / Previous article

Koncept/Idea

Opouštím v něm MythTV. Při jejím používání mě stále trápilo několik, ani ne problémů, jako spíš konfliktů s konceptem, že MythTV ho není schopno naplnit. Prostě to není jeho vlastností. Tento článek nebude obsahovat až tak podrobnou konfiguraci. Použité nástroje, jsou jednodušší na konfiguraci, než MythTV, dalo by se říct, že opravdu intuitivní.

I am leaving the MythTV behind in this article (the previous article is about MythTV configuration in similar scenario). MythTV doesn’t meet exactly my idea about multimedia handling in my environment. Simply, it works different, it does not have such features. This article also contains less configuration. Mainly, used tools are much simpler to configurate, than MythTV is.

--

A tímto konceptem bych mohl začít. Jsem zarytým nepřítelem závislých řešení. Když vám například televize umožňuje sledovat vaše uložené filmy, ale jen po instalaci jejich specifického software, a to nejlépe pro windows, a ještě jen některé formáty. Nebo telefon, abyste mohli na něj, nebo z něj nahrávat soubory, musí být připojený k počítači a musí být na něm nainstalovaný nějaký synchronizační software. Tak přesně taková zařízení mi do sítě nesmí a vždycky jsem hledal alternativy. Ideálem pro mě tedy je decentralizované prostředí, ve kterém je nejlépe vše kompatibilní se vším, ale každá věc je autonomní, bez závislosti na nějakém jiném zařízení. Pro oblast multimedií to vypadá tak, že v prostředí (počítačové síti) se vyskytují různé nezávislé zdroje a jakýkoli klient k těm zdrojům může přistupovat, pokud mu to jeho oprávnění dovolí. A přesně v této oblasti selhává MythTV, buď v síti je, nebo není, víc to ohledně práv prostě neumí. Ze stejného důvodu není dobré také UPNP, pokud máte multicast podporující síť. Lepší je pro klienty fileserver, kde je možné řešit práva, náhodný návštěvník k uloženým multimediím vůbec nemá přístup. Na co?

And I would like to show the idea first. I really don’t like dependent solutions. Like for example if you buy a TV, you are also provided with option to watch your own movies, but only in 3 types of codecs and streamed from windows program installed on your computer. Or a cell phone, if you want to access files and contacts on the phone and you are forced to use a proprietary Sync application on your computer. This is exactly the kind of devices, which are prohibited in my network completely. And I am always looking around for alternatives. The ideal solution for me is decentralized environment using standardized protocols widely compatible with every single device, fully autonomous, without dependence on any other device. For multimedia, environment contains streaming servers, samba file servers, multicast multimedia etc. and every single device can use it, if apropriate rights were granted. And that is the point, where MythTV fails. MythTV is on network or is not, no rights at all. For the same reason uPNP is not suitable too, if you have multicast capable network, you have very few options how to restrict uPNP for clients. Fileserver is much more better, because it can apply user rights. Guests are not allowed to access recored multimedia, why shoud they?

--

Situace by mohla vypadat například takto (Mrak je obecná L3 síť):
Situation should lookslike this example (The Cloud is general L3 network):

Z nákresu je jistě patrné, že o žádné ALL-IN-ONE řešení nepůjde, naopak jde striktně o architekturu server-client, a to ve všech smyslech toho slova. Server je počítač, který nemá grafické rozhraní a uživateli je dostupná jen sada služeb, jinak s ním nemá vůbec co dělat, často je jednoúčelový a také dost výkonný. Naopak, alespoň, co se multimedií týká, client je lehké zařízení, s minimální spotřebou a ideálně HW video-dekódovacím čipem, aby bylo možné plynule přehrávat video.

From the image above you can realize, that this is not ALL-IN-ONE solution. Architecture is strictly server-client in all of its meanings. Server is a computer that has no graphical user interface and end user can access only set of public services. No other user interaction is allowed. Server is usually single purpose and mostly quite powerfull. In opposite, in multimedia case, the client is lighweight device with minimal power consumption and containg HW video-decoding abilities for smooth playback.

--

Zde se budeme zabývat pouze částí televize, jak ji přijímat, nahrávat a samozřejmě na koncovém zařízení i pouštět.

We will discuss only TV part. How to recieve, record and of course playback on end user devices.

Použité komponenty/ Used components

Těm, kteří mě tu už nějakou chvíli znají, bude jasné, že všechny použité komponenty jsou opensource, a kromě koncových zařízení, kde na operačním systému nezáleží, jsou všechny operační systémy linux, konkrétně Debian.

Whoever knows me a bit knows clearly, that all used software componets are opensource and except end-user devices all operating systems are linux (Debian in my case).

Přijem televize/TV reception:

mumudvb

vynikající software, stačí mu minimální konfigurace (v podstatě jen frekvence), aby dokázal na zapojených televizních kartách naladit transpondér a veškerý jeho obsah předal v podobě multicastu (nebo unicastu, ale to nebude v článku zmíněno) do sítě.

Excelent software, it needs only minimal configuration (essentially only TV channel to tune) to use connected DVB cards to tune a transponder and stream all of its content as multicast over the network (ok, it allows http unicast too, but it is out of the scope of this article).

Televizní server/TV server:

tvheadend

Opět skvělý kus software, kromě obsluhy DVB karet, která není v tomto případě žádoucí (více dále), umí velmi jednoduše přijímat multicast IPTV a ve spojení s programovým průvodcem ji předkládat klientům i s možností nahrávání.

Again excelent piece of software. Except DVB handling (not suitable to my idea, so not used) tvheadend can simply recieve IPTV streams and provide it for clients with the recording option along with EPG.

Set-top-box k televizi/Set-top-box for TV:

xbmc

To je přesně to multimediální centrum, které určitě všichni hledáte. Rozepíšu se o něm v superlativech dále v článku.

This is exactly the multimedia center you have been always looking for. Many of its unique features are described later.

MUMUDVB

V předchozím článku jsem popisoval dvblast z dílny tvůrců velmi zdařilého přehrávače VLC. Mumudvb je na něm myslím postavené, umí toho mnohem víc a je uživatelsky příjemnější. Umí naladit DVB transpondér, a podle nastavení jeho obsah poslat do sítě.

In my previous article I have described dvblast, software from makers of VLC. I think mumdvb is based on dvblast, but has far more options and yet simpler configuration. It can tune DVB transponder and according to the configuration it can stream to network.

Zde je má konfigurace/My conifguration:

freq=634000
#Laděný kanál v kHz / Tuned channel in kHz
card=1
#použitá TV karta / Used DVB card
unicast=0
#http stream
multicast=1
#UDP multicast stream
port_http=4202
#port pro http stream / http stream port
autoconfiguration=full
#autokonfigurace podle hodnot zachycených ze vzduchu / full autoconfiguration
autoconf_radios=1
#použít i radiové kanály / stream also radio channels
sap=1
#sap announcement
autoconf_ip4=230.130.30+%card.%number
#tvar adresy multicastu / multicast address template
#podporuje i ipv6 / it also support ipv6
multicast_ttl=10
#životnost multicast paketu / time to live for multicast packets
sap_default_group=%type
#rozdělení SAP playlistu / SAP playlist separated parts for TV and radio

Mumudvb mi běží na Raspberry Pi model B. Nadělil jsme si ho k Vánocům, tak jsem si začal hrát. Rasberry Pi (přetaktované na 800MHz) zvládá dva plné televizní transpondéry. CPU při tom jede na 85-95%. Stíhá to bez problémů, vše jde plynule, bez výpadků. Laboroval jsem, jestli není možné nějak tu zátěž snížit. Při poslouchání na http (unicast) na spojení, tedy bez síťové aktivity potřebuje jeden plný transpondér na provoz 10% výkonu. Při multicastu, tedy síťové aktivitě 25-30Mbps, je potřeba 35-50% výkonu CPU. Po dalším zkoumání jsem zjistil, že síťová karta na Rasberry PI je připojená na USB řadič (je to tedy USB karta), takže mimo síťového provozu ještě zatěžuje USB stack. Poohlížím se tedy po jiném ARM mini PC, které by však mělo lepší síťovou kartu. Musí mít však i 1Gb síťovku, protože dva transpondéry dohromady dají tak 50-70Mbps a tam už by další provoz byl jen na úkor plynulosti. A nebo je možné, že zůstanu u Raspberry, prostě jich bude v síti víc, to zařízení se mi totiž moc líbí.

Mumudvb runs on Raspberry Pi model B. Raspberry Pi (overclocked to 800MHz) handles two full TV transponders. CPU load is 85-95%, but it handles it well, smoothly without any lag. I have been investigating on how to lower the load. If I set http unicast (VoD, if noone watch, no network traffic), instead of full streaming to network, one transponder took 10% of CPU. If I streamed multicast, with network load 25-30Mbps, it needed 35-50%. I have found out, that Network card in Raspberry Pi is internally connected to USB, so maybe USB stack makes the load to go so high. I should look after some one ARM device (with 1Gb NIC, 2 transponders are for 100Mbps too much traffic) or stay with Raspberry, just use more than one to stream all possilbe DVB-T channels. I really like Raspberry Pi.

TVHEADEND

Náhrada za MythTV backend. A je tu otázka, proč nemít televizní karty přímo v nahrávacím serveru. Odpovědi mám dvě. Jednak bych měl smůlu s multicastem, takže bez televizního serveru by se na live-tv nedalo podívat a pak je důvodem i to, že zdrojů multicastu můžu mít po síti vícero, vysílajích na stejných adresách. V případě výpadku jednoho ho zastoupí stream odjinud. Po instalaci (debianí balíčky jsou k dispozici, běží out of the box) se vše konfiguruje přes webové rozhraní. Napojení na IPTV multicast je velice jednoduché, jen se vyplní Multicastové IP adresy a už to funguje. Problém je s televizním programem, který nativně s tím IPTV vysíláním nepřichází anebo s ním tvheadend neumí pracovat. Zde je ovšem snadná pomoc, k dispozici je možnost nahrávat vlastní program pomocí XMLTV. V předchozím článku popisuji, jak je možné dostat Programové informace přímo z karet, tady jsem na to byl zatím líný a pomáhám si internetem. Našel jsem zdroj českých programů u jednoho nadšence, ten stáhnu, upravím hlavičky (ty určené pro MythTV mi to nechtělo baštit) a skriptem nasypu do tvheadend. Ve webovém rozhraní už jen stačí spárovat program a kanál a už to frčí. Máme k dispozici nahrávání, automatické nahrávání (na základě klíčových slov) i „pauzu“ živého televizního vysílání. V případě nahrávání do kontejneru mkv funguje velmi dobře i vyhledávání reklam. V okamžiku, kdy televize uprostřed filmu změní poměr stran, formát zvuku atd., udělá se značka v záznamu a funguje to velmi dobře.

MythTV replacement. And now is the time to explain, why to use multicast rather than DVB cards directly in the server. At first, without multicast, clients are forced to use TV server to watch live TV (and have to install tvserver client software), they can’t simply watch with VLC or similar software. The second reason is multicast infrastructure that allows multicast groups to be streamed from more than one point in the network. If one site fails, the other one will replace it quickly. After installation (debian packages are available, running out of the box), you can make all configuration using web GUI. Connection to IPTV multicast is simple, just fill in multicast IP address and it will work. A minor problem is EPG. Tvheadend can’t handle EPG coming with IPTV. The resolution is simple, you can fill your own program guide using XMLTV. In previous article I am describing how to extract EPG information directly from DVB cards. I have been lazy this time and I am using internet to download EPG information and to import it. Then, you can simply pair program and channel and it works instantly. You can schedule recording, do automatic records (for example tv series) based on name or "pause" live tv. In the case of recording to mkv, commercial skipping works also well. It puts chapter marks to mkv, if image format or sound format changes (with every commercial).

Screenshoty / Screenshots:

V tvheadend je možné nastavovat práva, kdo má možnost se dívat, kdo nahrávat, kdo spravovat nahrávky. Přístup tedy dostane jen ten, kdo ho mít má.

In tvheadend you can set user priviledges. Who can watch, who can record or who can handle records. Access granted only to specified users.

XBMC

A to nejlepší nakonec. Naprosto ideální nezávislý klient k televizi pro multimédia. Existuje jako image i pro raspberry pi a uživatelé tvrdí, že běhá naprosto plynule. Co všechno to umí? Co si v oblasti multimedíí dovedete představit. Kromě plné obluhy TVHeadEnd serveru (nahrávání, live-tv, programování nahrávání) se umí připojit na SMB fileserver (i na androidu bez roota), má spoustu pluginů na prohlížení obsahu internetu (youtube, rádia, obrázky), upnp, SAP multicast atd. Filmy dovede obratně přebrat do velké knihovny (bez ohledu na zdroj), seřadí je, připojí k nim z IMDB popisy a další údaje (na základě toho lze filmy řadit podle data vzniku, herce, režiséra), totéž umí i s hudbou, tam je ale potíž s českými interprety a musí být soubory řádně otagované. Prostě proměníte svůj tablet v IPTV klienta nebo rádio, u televize už není třeba mít milión ovladačů pro třicet různých krabiček.

And finaly the best. Nearly ideal independent multimedia center. It can be installed on operating systém, it has android cliend and it is available as Raspberry Pi image. And users report it is working smoothly. It can do anything you imagine for multimedia server. Of course, it can perfectly work with tvheadend (recording, livetv, recording schedule). It can connect to smb fileserver (even on android without root), upnp, SAP multicast etc. Movies can be placed in one big library (independent on source), XMBC uses IMDB to download movie details. Then, you can sort your movies using for example by name of director, actors or genre. This can be also made with music, but it needs good tagging. It has many plugins to use many internet services (youtube, picasa, internet radios). Simply, you can make turn your tablet into IPTV client or radio. You can have only one box with your TV using only one Remote Controller. No need to have 20 boxes with tv for all services controlled by 30 remote controllers.

--

Nejlepší způsob, jak vidět, jak to vypadá je navštívit web. Hned na úvodní stránce je spousta příkladů v obrázcích.

The best way how to view screenshots is enter their web site. On homepage, there is a lot of examples in pictures.

A pro koho tento článek není vůbec určen? This article is definitely not written for:

Pro samo-domo adminy, kteří ovládají své jediné windows a to ještě špatně. Vy na to ani nemyslete, je to nad vaše síly. Také to mohou v klidu zapomenou lidé, kteří mají doma jednu televizi, je to pro ně zbytečné. A také na to mohou v klidu zapomenou lidé, kteří nemají v sítí podporu multicastu, tedy majitelé SOHO wifi routrů a swichtů za 300 Korun. Multicastem si jen zabijete síť. Ani to nezkoušejte.

For BFU admins, who only poorly know their windows. Don’t even think about it, this is beyond your skills. People with only one TV can simply forget about this solution, this is useless for you. And people with SOHO wifi routers and cheap switches can also forget about this solution, multicast will definitely kill your network.

A pro koho tedy vlastně je? So for whom is this solution?

Pro podobné šílence jako jsem já, pro lidi, kteří pro multifunkční síť neváhají něco investovat. Také by informace mohli využít správci sítí třeba v paneláku, kde sítí mohou nahradit rozvody televize a přinést tím svým zákazníkům značnou přidanou hodnotu. Tady pozor, je to sdílený rozvod televize a myslím, že se k němu vztahuje nějaká legistativa. Přináší to však spoustu výhod. Výhodou bezesporu je, v případě změny vysílání (HD, DVB-T2) se buď neděje vůbec nic, neboť na HD je systém už připraven a plně s ním funguje, nebo jen člověk vymění televizní karty v serveru. Nač měnit 50“ televizi, ta vydrží, dokud bude svítit obrazovka. Z Raspberry PI a obyčejného monitoru uděláte mrknutím oka plnohodnotnou televizi s vlastnostmi, o kterých se televizím za 30 tisíc ani nezdá, nebo z tabletu a repráčků ideální rádio do kuchyně. Nikdy nešumí a lze na něm poslouchat i stanice, které nikdy ze vzduchu nechytíte.

For geeks like me, for people who are not afraid to spend some money to have perfect services within their networks. One of advantages is you can simply upgrade. Changing to DVB-T2? Just replace tv cards. No more changes. You can keep your 50“ television until end of its life. Turn Raspberry Pi and simple LCD screen in a while to multimedia TV with features you can’t have in 1000€ TV. Or tablet with small speakers turns into radio where you can listen staions all over the world.

Další zajímavé nástroje / Other points of interest:

DVBLast

Výše zmíněný nástroj, který naladí DVB transpondér a pošle ho rovnou do sítě. Dítě autorů přehrávače VLC

Previously mentioned tool which can tune DVB transponder and send it to the network. From authors of famous VLC player.

UDPxy

Výborná věc. Software, který je schopen naladit multicast a poslat ho klientům jako http unicast. To by nebylo nic výjimečného, tento software je výjímečný tím, že multicast se mu definuje až v URL, do té doby nemá software o nějakém multicastu ani ponětí. Multicast je výborná věc na minimalizaci provozu na linkách, pokud si ho nějaký klient nevyžádá, linkou nic neteče. Problém ovšem nastává v situacích, kdy síť má s multicastem problémy. Třeba WiFi sítě problémy mívají. Na každou lokalitu je pak možné nasadit tento software, klienti se budou připojovat na http v rámci lokality, klidně několik na tentýž program, co unesou místní linky a skrz cenný uplink poteče ten stream pouze jednou.

Great tool. Software which turns multicast stream to http unicast on demand. You write special form of URL containg multicast address, and software will open multicast stream and send it to client using http. It can save a lot of bandwith between locations for clients, where multicast is not possible. For example WiFi clients. If you put UDPxy on location, you can serve as many clients as location's infrastructure can handle but you still have only one stream flowing to the location.

VLC

Velice univerzální přehrávač, v podstatě ihned po instalaci je možné otevřít SAP playlist (vysílaný mumudvb serverem) a pouštět živé vysílání.

Versatile multimedia player, right after installation, you can open SAP playlist (streamed by mumudvb server) and watch live TV.

A co závěrem? That’s all.

Konečně se mi podařilo nalézt komponenty, které přesně splňují mojí představu o fungování domácí sítě, alespoň v oblasti multimedií. Třeba vám ty informace také přijdou vhod. Přece jen s hledáním optimální cesty jsem ve volném čase strávil poslední dva měsíce.

I finally found ideal solution to fulfill my requirements. I hope it also helps you, I have spent trying dead ends and discover new ways last two month in my free time.