Post Reply 
 
Thread Rating:
  • 0 Votes - 0 Average
  • 1
  • 2
  • 3
  • 4
  • 5
En annen retning med Guidefeed
04-01-2010, 20:51
Post: #1
En annen retning med Guidefeed
Jeg har tenkt litt og diskutert litt med meg selv og kommet fram til at jeg ønsker å ta en helt annen retning med Guidefeed enn det jeg opprinnelig hadde tenkt.Min opprinnelige plan var å få opp en god kilde for XMLTV-data, men også en web-epg a'la dagbladets se.no. Dette innebar å få tilgang til gode innmatinger av alle data fra alle kanaler, samt å lisensiere disse dataene for kommersiell bruk.Jeg ser nå at jeg ikke har tid eller kapasitet til å få til dette.Det nye målet med Guidefeed er nå å få inn så mange kanaler som mulig. Jeg har ikke tenkt å bry meg om pressefeeder eller annet, scraping av HTML er helt OK. Primæroppgaven til Guidefeed er nå å være den beste kilden til XMLTV-data for norske kanaler.Derfor, hvis du kan et programmeringsspråk, uavhengig av hvilket, og du klarer å kode en utlisting for en kanal vi ikke har, så kom med koden så skal jeg prøve å få knadd den om til perl på en eller annen måte (evt. mellomlagre Wink ). En utlisting må minimum inneholde dato, starttid og tittel. Stopptid kan utledes av starttid på neste program, men hvis det er mulig å få med stopptid så ta det gjerne med.Hvis du kan perl så er det greit om dataene lagres i en hash, se kildekoden for formatet på hashen. NRK.pm er grei å ta utgangspunkt i.Du kan også hjelpe med å finne rådata, selv om du ikke kan programmere. Hvis du klarer å finne programguide for en kanal vi ikke har, som ikke benytter seg av rar aspx/jsp/flash etc. Så send meg en mail på det så skal jeg se om jeg får til å røske noe ut av det.Christian...
Find all posts by this user
Quote this message in a reply
05-01-2010, 19:39
Post: #2
En annen retning med Guidefeed
Vel, denne funker fortsatt:http://www.dagbladet.no/mobil/tv/liste.html?kanal_id=1&dag=0&fra_tid=0&til_tid=24ulemper:- ingen måte å liste ut / få tak i hvilke kanaler som finnes (som jeg har klart å finne ihvertfall), du må vite mappingen (hvilken kanal som er på kanal_id=10 osv)- den kan slutte å fungere når som helst (men det gelder vel for alle nettjenester)- når en kanal_id ikke returnerre data så vet du ikke årsaken (feil, kanal lagt ned, annet?)man kan sikkert mene noe om kvaliteten på selve dataene, men det er nå bedre enn ingenting.
Find all posts by this user
Quote this message in a reply
05-01-2010, 20:32
Post: #3
En annen retning med Guidefeed
Vel.Det er bedre å holde seg til å ta det fra de enkelte kanalene. Da går ikke hele grabberen ned hvis din éne kilde går ned. Det var litt av utgangspunktet for å starte Guidefeed.-C-
Find all posts by this user
Quote this message in a reply
05-01-2010, 20:54
Post: #4
En annen retning med Guidefeed
ChristianW, du har sikkert rett - jeg har ikke studert nettsidene til alle kanalene. Mange av dem er så glorete / fulle av flash og reklame at jeg helst lar være å besøke dem. Smile
Find all posts by this user
Quote this message in a reply
03-02-2010, 16:09
Post: #5
En annen retning med Guidefeed
Jeg blir gjerne med på å lage nye feeder. Er det noen liste over "ønskede" kanaler noe sted?
Find all posts by this user
Quote this message in a reply
03-02-2010, 16:32
Post: #6
En annen retning med Guidefeed
Disneykanalene. Jeg hadde engang en grabber som nappet data fra en xml-fil som mater flash-guiden på sidene. men denne virker ikke lenger uten at jeg har sjekket opp akkurat hvorfor.NGC +HD.BBC HD/Lifestyle/Knowledge/EntertainmentHistory HD.Er sikkert flere, men det er de jeg kommer på just nu.-C-
Find all posts by this user
Quote this message in a reply
03-02-2010, 18:45
Post: #7
En annen retning med Guidefeed
Da har jeg et utkast til BBC-grabber klar, i hvert fall. Ser ut til å funke ganske greit. Har satt default antall dager til 3, men dette er lett å endre. http://crusaders.no/~trondmm/grabbbc.pl
Find all posts by this user
Quote this message in a reply
03-02-2010, 19:35 (This post was last modified: 03-02-2010 19:40 by trondmm.)
Post: #8
En annen retning med Guidefeed
NatGeo og NatGeo Wild ser ganske greie ut, forresten, men NatGeoHD har bare programoversikt som PNG JPG, og det er jo litt håpløst. Jeg klarer ikke å finne noen XML-feed på Disney Channels webside, så det virker som denne er bakt inn i flashen. Kan undersøke nærmere i helgen.History Channel ser ikke ut til å ha noen programinfo på web, så den må sannsynligvis "lånes" fra en annen tv-guide.
Find all posts by this user
Quote this message in a reply
03-02-2010, 20:48
Post: #9
En annen retning med Guidefeed
[quote author=ChristianW link=topic=588.msg4207#msg4207 date=1262716326]Det er bedre å holde seg til å ta det fra de enkelte kanalene. Da går ikke hele grabberen ned hvis din éne kilde går ned. Det var litt av utgangspunktet for å starte Guidefeed.[/quote]En god tanke. Men det er jo litt stas å få alt på norsk også da. Hva med å implementere 2 kilder der den ene er fallback? Med andre ord kjører guidefeed f.eks. først mot Dagbladet dersom den får timeout så går den mot VG/Canal Digital/Get/... Jobben blir da faktisk enklere enn å vedlikeholde en parsing per kanal.Just my 2 cents...-tvgP.S. Sjekk spesielt ut CD sin guide (alle kanaler i en enkelt XML Big Grin)
Find all posts by this user
Quote this message in a reply
04-02-2010, 00:42
Post: #10
En annen retning med Guidefeed
Når det gjelder feedene, så tror jeg det kan være greit å dele dem i tre kategorier.1. lisenserte data. Data som er hentet fra feeder kilden har satt opp, der man har fått tillatelse til å hente og videreformidle dataene. Normalt vil man få beskjed på forhånd dersom formatet eller URLen endres.2. ulisenserte data fra originalkildeData som er hentet fra TV-kanalens egen webside. Man har ikke fått tillatelse til å hente dem, men man kan sannsynligvis anta at det er i kanalens interesse at programmet deres blir tilgjengeliggjort. Man vil ikke få noe forhåndsvarsel om endringer i format eller URL, så feeden kan i praksis gå ned når som helst.3. ulisenserte data fra andre TV-guider.Dette er data som noen andre sannsynligvis har betalt for, for å trekke trafikk til sin egen tjeneste. De vil dermed være lite interessert i å gi de bort til konkurrerende tjenester. Sannsynligheten for at man kan bli anmeldt for brudd på åndsverkslovens §12c er dermed også større enn ved kategori 2. Også her kan både format og URL endres uten forvarsel, og man kan også risikere at kilden aktivt forsøker å blokkere grabberen fra å få tilgang til tjenesten.Kategori 3 bør etter min mening benyttes så lite som mulig, til så lite viktige kanaler som mulig. Det bør være mulig å lage en feed av EPG-data, og dette havner sånn halvveis mellom kategori 2 og 3. Jeg antar at Canal Digital og Get ikke vedlikeholder sine egne TV-guider, så de kjøper nok dataene fra et-eller-annet firma. De blir kanskje ikke voldsomt gretne dersom EPG-dataene kopieres ut, men firmaet som selger dem vil nok ikke sette så stor pris på det. Men, EPG vil sannsynligvis være en ganske stabil kilde, og det vil være teknisk vanskelig å hindre noen i å lage en feed av dem.Når det gjelder feeder som henter data fra andre TV-guider, så tror jeg det kan være smart å lage en feed for hver TV-guide som finnes, slik at man kan bytte kilde i ny og ne, og også for å ha reserver i bakhånd hvis/når feeden slutter å virke.
Find all posts by this user
Quote this message in a reply
Post Reply 


Forum Jump:


User(s) browsing this thread: 1 Guest(s)