Automatisch webpage ophalen

[JMu]

Dit is weliswaar niet een echte Palm-vraag, maar ik probeer het toch.
Ik wil op regelmatige tijdstippen (bijv 2 keer per uur) een webpage ophalen en bewaren in een aparte directory. De bedoeling is om dan de info van die pagina in een database te plaatsen en deze wordt dan weer met de Palm gesyncd.
Weet iemand een tooltje om dit te doen? Het zou op een NT-server moeten draaien.

[r. dohmen]

Eerst de vraag, waarom laat je de palm niet zelf die pagina ophalen?
Als de palm elk half uur moet syncen, moet die elk half uur in een cradle en dan kan ie dus ook zelf die pagina halen

Maar goed je wilt het om andere redenen misschien zo. Dan is zo'n applicatie bijvoorbeeld in Delphi te maken. Een timer stuurt een webcomponent aan om die pagina op te halen en in de db te schrijven. Die db wordt dan naar de sybc directorie(s) gekopieerd.

[patrickl]

Een wat minder zware oplossing zou kunnen zijn om Lynx (for DOS) en WinAt te gebruiken.

WinAt is volgens mij standaard op NT servers (of anders kun je het vast ergens downloaden) Bij ons staat het er in ieder geval op. Daarmee kun je programma's op instelbare tijden laten lopen.

Lynx is een eenvoudig programma om web pagina's te bekijken/downloaden. Ik ben meer bekend met Lynx onder Linux, maar dan kun je met bijvoorbeeld "lynx -source palm.laweb.nl > update.html" een pagina ophalen. Dat kun je dan weer verder bewerken met andere scripts (bijv. awk, perl) of een echt programma (bijv. VB of Delphi)

Ik gebruik Lynx op mijn linux server om elke week mijn eigen programmagids op te halen van eurotv.com. Werkt super.

Lynx (for dos/windows) kun je bijvoorbeeld vinden op http://www.fdisk.com/doslynx/lynxport.htm

[JMu]

R2D2 en Patric

bedankt voor jullie antwoorden.
Ik wil de data van een aantal webpages op mijn eigen server hebben staan, zodat ik de data eraf kan halen als ik het nodig heb. Je kan denken aan verkeersinfo (ja, ik weet dat jij daar ook een progje voor hebt), aandelenkoersen, maar ook hele specifieke data.

R2D2, bedankt voor de tip van Lynx. Heb het programma opgehaald en zie dat ik eerst een heleboel onleesbare handleiding moet doorwroeten om te achterhalen hoe ik de HTTP-pagina kan ophalen en in een file dumpen.

Joop

[patrickl]

Eh ik denk dat je ons door elkaar gehaald hebt. Ik was het van die Lynx tip. Maar nogmaals het enige wat je hoeft te doen is:

lynx -source palm.laweb.nl > update.html

Dat haalt de pagina "palm.laweb.nl" op en zet de bron in "update.html". Dan krijg je wel HTML code uiteraard. Als je de pagina als tekst wil hebben dan kun je ook -dump gebruiken.


Maar als je die data uiteindelijk in je Palm mee wilt nemen kun je beter iSilo of iets dergelijks gebruiken. Dan kun je gewoon iedere keer bij synchroniseren de laatste pagina's laten ophalen.

Het is ook niet erg netjes om elk half uur iemands webserver lastig te vallen met data die je toch niet gebruikt. Haal het dan alleen op als je het nodig hebt.

[JMu]

Patrick,

sorry, in de haast van het typen heb ik inderdaad de verkeerde naam aangehaald. Zal het nooit meer doen....
Heb ondertussen eindelijk uitgevonden hoe Lynx werkt i.c.m. een proxy en firewall en heb nu de data van een site op mijn schijf staan. Nu nog de data eruit filteren en in een database zetten, maar dat is voor een andere keer (als ik tijd heb...)

En wat dat lastig vallen: ik wil deze tool ook gebruiken om bijv data over een langere periode te verzamelen. En wat de sites betreft: één is de AEX en de ander is Trafficnet.nl. Ik denk niet dat die er veel last van hebben als ik 2 keer per uur de data kom ophalen.

Joop

[patrickl]

Het leek mij ook leuk om die file plaatjes van de ANWB te downloaden. Dan kun je leuk animaties maken van wanneer de files ontstaan. Op die site hebben ze alleen weer een truc uitgehaald door de plaatjes steeds een andere (willekeurige) naam te geven. Ik ben er nog niet toe gekomen om die naam even uit de bron te halen.

Voor het verzamelen van koersdata gebruikte ik vroeger StockBrowser. Dat is best een gaaf programma (als het nog steeds bestaat) Die haalt automatisch alle koersen uit websites en zet ze in een database.

[r. dohmen]

Citaat:

Oorspronkelijk geplaatst door JMu
Zal het nooit meer doen....

Oh, ik vind het niet erg hoor Joop. Als je me maar nix over Lynx vraagt. Want daar weet ik nix vanaf.
Overigens waar had je die anwb plaatjes gezien Patrick?

[patrickl]

Ik bedoel de plaatjes van de gemiddelde snelheden (die ze meten met die lussen in de weg). Ze hebben ze verplaatst sinds ik laatst keek, maar ze staan nu bijvoorbeeld op http://www.anwb.nl/servlet/Satellite...egio_amsterdam

Het staat onder "Verkeersinformatie Nederland" en dan "Actuele verkeerssituatie" van 6 regio's.