Benchmark geheugenkaartjes

Deze uitkomsten krijg ik met mijn recent gekochte Panasonic 256 MB kaartje:

VFSMark Results

File Create: 295%
File Delete: 194%
File Write: 80%
File Read: 414%
File Seek: 368%
DB Export: 286%
DB Import: 419%
Record Access: 446%
Resource Access: 417%

VFSMark: 324

mooie score!

[patrickl]

Wat zijn die Zire 71's inderdaad snel zeg. Heeft iemand de TT2 al getest? Roel misschien? Die zal dan toch ook wel sneller zijn (als je er even vanuit gaat dat ze de nieuwe chipset van de Zire 71 overnemen)

Overigens heb ik al Sony VFSMarks gezien van over de 400 (met CF kaarten). Misschien wordt het dus toch eens tijd om om te zien naar een betere test.

Misschien ook een idee om op 6 november een VFS test sessie te houden (dat we verschillende kaartjes in meerdere PDA's testen). Zodat we wat meer test data krijgen. Ik zocht me een versukkeling welke SD en CF kaart ik nou moest kopen en ik kwam er eigenlijk niet uit, omdat de testset te divers (en dus PDA te beperkt) is.

[jean-paul]

Op Tweakers heeft niet zo lang geleden een nieuwtje gestaan met een verwijzing naar een test van geheugenkaartjes (alleen CF, MMC en SD). Daar werd getest met HDTach, dat ook gebruikt wordt voor het meten van harde schijven. Hierbij is gebruikt gemaakt van een Firewire-cardreader. Dit geeft een zeer consistent testresultaat, maar de 'ellende' in ons geval is dat de soort pda er ook nog iets toe doet.

Het idee van 6 november vind ik overigens heel aardig. Dat levert gelijk een mooie, consistente tabel op (je kunt alle kaartjes dan ook even backuppen en dus altijd lege test doen). Daar kunnen we dan eventueel ook meerdere benchmarkprogramma's gebruiken.

- jp

[patrickl]

Ja, die test op Tweakers had ik gezien, maar daar kwamen geen in Nederland gangbare merken in voor. Uiteindelijk vond ik met wat moeite inderdaad de daar geteste PQI F1 kaart gevonden en heb ik die maar besteld. Uit de SD categorie had ik wel uit de PalmClub tips de Panasonic gevonden en gezien de nieuwe cijfers van Ewout moet dat inderdaad wel een snelle keus zijn. Maar ik weet dus niet of een Dane Elec of SanDisk (of wat dan ook) nu net zo snel is of niet. Ik ben nu wel zeker een stuk duurder uit.

Ik heb nog wel een Sony NX70 en een Clie T625C liggen voor wat tests

[jean-paul]

De T2 staat overigens nu bij Gonny en mij thuis, dus die zal ik vanavond even aan de tand voelen met 64MB Sandisk, 16MB Toshiba en 256MB Lexar. Heb zelf net weer extra een 128MB Panasonic besteld, maar die wordt denk ik niet op tijd geleverd om mee te kunnen in de test (T2 wordt donderdag of vrijdag retour gestuurd)

- jp

[jean-paul]

Palm Tungsten T2 / 16MB Toshiba SD (leeg)

VFSMark Results Toshiba 16 MB

File Create: 110%
File Delete: 84%
File Write: 29%
File Read: 188%
File Seek: 287%
DB Export: 46%
DB Import: 423%
Record Access: 335%
Resource Access: 320%

VFSMark: 202


Palm Tungsten T2 / 256MB Lexar SD (leeg)

VFSMark Results Lexar leeg

File Create: 168%
File Delete: 99%
File Write: 42%
File Read: 209%
File Seek: 295%
DB Export: 94%
DB Import: 421%
Record Access: 348%
Resource Access: 333%

VFSMark: 223

Palm Tungsten T2 / 256MB Lexar SD (90% vol)

VFSMark Results Lexar vol

File Create: 103%
File Delete: 89%
File Write: 30%
File Read: 187%
File Seek: 280%
DB Export: 46%
DB Import: 395%
Record Access: 326%
Resource Access: 307%

VFSMark: 195

Het Sandisk-kaartje heb ik net gisteren aan mijn vader uitgeleend (was ik vergeten), dus geen testresultaten voor Sandisk 64MB.

[patrickl]

Oh, dat valt dus tegen Althans, het is vergelijkbaar met de Tungsten-T. Blijkbaar hebben ze dus niet gekozen voor de snellere chipset van de Zire 71. Vreemd genoeg zijn de cijfers wel totaal anders dan die van de Tungsten-T (of vergelijk ik het verkeerd?) De File Read cijfers zijn aanmerkelijk hoger en de Writes zijn weer veel lager. Al met al dus een vergelijkbare VFSMark, maar het lijkt erop dat ze er wel een andere VFS chipset ingezet hebben.

[jean-paul]

Mja, dat verschil met de Tungsten|T is nogal raar. Ik weet niet meer hoe leeg of vol het kaartje toen was, dus ik zal precies dezelfde tests van de T|T2 vanavond nog eens herhalen op de T|T.
De Zire71 is vooral snel in het lezen van VFS. Qua wegschrijven zie ik geen opzienbarende verschillen en is de Tungsten|T(2) over het algemeen zelfs sneller. Maar ik geef toe, er is blijkbaar een read-optimalization toegepast in de Zire71, want die cijfers liegen er niet om. Het blijft natururlijk wel ontzettend lastig vergelijken met deze tabel (verschillen in pdamodel / verschillen in merk - / verschillen in grootte - / verschillen in toestand geheugenkaartjes (leeg, half vol, vol)). Ik gebruik het zelf vooral om te kijken welke merken consequent hoog scoren en heb daarom gisteren ook een Panasonic 128MB-SD extra gekocht. Die laat mooie scores zien.

Welke alternatieve VFS-benchmarks zijn er ook alweer voor de Palm? (naast VFS-Benchmark)

EDIT: sorry, ik was Ewouts rijtje vergeten mee te nemen in mijn betoog. Dan is de Zire71 inderdaad ook een stuk rapper in wegschrijven. Merkwaardig, kan me haast niet voorstellen dat ze voor de Zire71 ineens een heel andere chipset gebruiken en dan weer niet voor de T|C en de TT|2.

- jp

[jean-paul]

Eigenlijk moeten we alle tests nog eens overdoen, maar dan consequent met een lege en een volle geheugenkaart. Alleen dan krijg je betrouwbare en beter vergelijkbare testresultaten. Nu moet je maar raden wat de 'toestand' van het kaartje was op het moment van testen, want er blijkt gewoon dat dit wel degelijk invloed heeft op de VFS Benchmark.

Ik heb Card Speed nog gevonden op Palmgear.

Citaat:

VFS Card Speed Testing Utility

Test VFS File Operation Speed on various memory cards.
This program tests the speed in bytes per second of writing and reading files on memory cards.
The "Test" button performs 3 basic tests. Writing data in 32 bit chunks, writing data in 8 KByte chunks, and reading data in 8 KByte chunks.
All Files are written to the /VFSTiming/ folder on the card.
The "Delete" Button will delete all the files in the /VFSTiming/ folder.

Tungsten|T / Lexar 256MB / 90% vol (even als eerste test)
Wrt32bit: 40 bytes/sec
Wrt8KB: 72017 bytes/sec
Read8KB: 494611 bytes/sec

EDIT: Laat maar weer zitten. Ik krijg 10 seconden later deze resultaten (geen veranderingen op pda of kaartje)
Wrt32bit: 122 bytes/sec
Wrt8KB: 153300 bytes/sec
Read8KB: 494611 bytes/sec

[patrickl]

Citaat:

Merkwaardig, kan me haast niet voorstellen dat ze voor de Zire71 ineens een heel andere chipset gebruiken en dan weer niet voor de T|C en de TT|2.

Ja, dat bedoel ik. Dat is toch vreemd. Zeker als de Zire 71 blijkbaar alsnog sneller is. Maar het is inderdaad wat lastig te vergelijken, omdat er nu zoveel variatie in zit.

De Tungsten-C is waarschijnlijk ook sneller doordat de processor sneller is. VFSMark is ook behoorlijk afhankelijk van de processorsnelheid. Het draaien van overklokkers maakt best veel uit op de overall VFSMark (op de NX in ieder geval wel). Voor de read en write snelheden scheelt het overigens wel minder (die hebben niet zoveel overhead). Dat is eigenlijk ook het enige waar ik dan naar kijk.

Eerder in de thread noem ik 2 andere benchmarks:
- Card Speed
- Time RawVFS (van iemand van ClieSource)

Time_RawVFS is met name aardig omdat die meerdere (losse) read en write tests doet met verschillende blokgroottes. Card Speed komt min of meer overeen met alleen kijken naar de Read en Write getallen van VFSMark.

[jean-paul]

Patrick,
Ik weet dat jij er ook al wat langer mee bezig bent (geweest). Kun je mij het volgende uitleggen? De auteur van Time_RawVFS zegt in deze thread:

Citaat:

Subsequent runs get some variation in timing. Results vary a little with the stick tested.

Hoe kan dit?? Ik krijg ook steeds deze variaties, maar alleen in het schrijfdeel en zonder dat ik ook maar iets verander. Zo kun je toch nooit consequente resultaten krijgen? (overigens ook niet met VFS Mark of Card Speed).

          Read     Write
Test 1
1KB       396      21
4KB       494      69
16KB      529      199
Test 2
1KB       397      25
4KB       494      109
16KB      529      245
Test 3
1KB       396      32
4KB       494      109
16KB      529      253

De drie tests zijn uitgevoerd met steeds vijf minuten tussenpauze. Concrete vraag dus: hoe onstaan deze variaties, ook al verandert er niets in de 'omgeving'?

[patrickl]

Nee daar heb ik eigenlijk geen ervaring mee. De Memory Sticks zijn vrij constant. Als je die VFSMarks ziet dan zit er bij Memory Sticks nauwelijks variatie in. Ik zal het eens proberen met een CF kaart.

Misschien moeten we het anders eens bij "Clie Pet" navragen of hij weet hoe het komt. Of dat hij kan zorgen dat er wat meer tests gedaan worden om het verschil uit te middelen.

[patrickl]

OK, ik heb nu ook wat test gedaan en inderdaad zit er bij de CF nogal wat speling in.

NX70 MS Pro 512MB		CF 256MB Dane Elec (Sony CF drivers)
	Read	Write			Read	Write
Test 1				Test 1
1kB 	510 	12		1kB 	500 	23
4kB	826	50		4kB	782	94
16kB	983	200		16kB	1221	270
Test2				Test2
1kB 	513 	12		1kB 	501 	23
4kB	832	50		4kB	780	94
16kB	983	200		16kB	866	293
Test3				Test3
1kB 	512 	12		1kB 	706 	22
4kB	824	50		4kB	775	94
16kB	983	200		16kB	1221	270

Bij 16kB 866 tegen 1221 en bij 1kB 500 en 706. Dat zijn inderdaad toch flinke verschillen.

[jean-paul]

Citaat:

Op 06-08-2003, om 15:29 heeft patrickl dit gezegd in bericht #132
Misschien moeten we het anders eens bij "Clie Pet" navragen of hij weet hoe het komt. Of dat hij kan zorgen dat er wat meer tests gedaan worden om het verschil uit te middelen.

zie hier.

[jean-paul]

Citaat:

Op 06-08-2003, om 15:39 heeft patrickl dit gezegd in bericht #133
Bij 16kB 866 tegen 1221 en bij 1kB 500 en 706. Dat zijn inderdaad toch flinke verschillen.

Kortom, ook niet echt een betrouwbaar resultaat Ik heb niet de illusie om een laboratorium test na te bootsen, maar iets consequente cijfers zou toch wel prettig zijn. Je kunt nu eigenlijk op geen van de drie programma's aan. Misschien op de meeting toch maar zo'n zelfde soort test als Digi-Fix gaan runnen (cardreader + laptop + HD-Tach). Je mist dan alleen weer gegevens hoe je Palm er zelf mee omgaat. Je krijgt er echter wel heel gecontroleerde en schone gegevens voor terug. Maja, de Sandisk doet het prima in mijn cardreader, maar is zo traag als %#$% in m'n Palm.

[patrickl]

Je zou de tests een paar keer kunnen draaien en de meest logische waarden eruit halen. Ofwel degen die het meeste voorkomen. Als ik het zo zie moet je het ook niet gaan middelen (of hooguit de meest voorkomende waardes middelen, maar dat scheelt nauwelijks). Ik heb nog even wat meer testjes gedraaid en op een gegeven moment kreeg ik 1159 voor de 4kB test en 871 voor de 16kB test. Dus dat de 4kB test sneller zou. Dat klopt dus overduidelijk niet. Als je dan gaat middelen moet je wel heel veel tests draaien om dat soort fouten er uit te halen.

Ben benieuwd of CliePet nog wat weet. Het lijkt me haast wel een fout in het programma, maar als je het ook met de andere benchmarks ziet kan dat dus niet.

Citaat:

Maja, de Sandisk doet het prima in mijn cardreader, maar is zo traag als %#$% in m'n Palm.

Ja dat is dan ook wel belangrijk om te weten. Wat dat betreft is Memory Stick toch wel een handig formaat. Gewoon geen gezeik. Altijd even snel/langzaam. Althans ik heb nog geen (significante) variatie kunnen waarnemen. Maar als meer bedrijven ze gaan maken krijg je dat gedoe misschien ook. Samsung schijnt zich ook te gaan storten op Memory Sticks.

Ik geloof zelf ook niet zo in die Card Reader tests. Dat wijkt zo enorm af van hoe je ze in het echt gebruikt. Dan loop je veel teveel risico dat je uiteindelijk niets aan de resultaten hebt.

Moeten we trouwens niet een keer een aparte discussie thread over de VFS benchmark tips pagina hebben? Anders krijgen we weer gemopper over het off topic zijn. In principe ben ik er ook wel voor om de thread "schoon" te houden, maar er is nu gewoon geen andere plek voor discussies.

[jean-paul]

Citaat:

Op 06-08-2003, om 16:08 heeft patrickl dit gezegd in bericht #136
Ben benieuwd of CliePet nog wat weet. Het lijkt me haast wel een fout in het programma, maar als je het ook met de andere benchmarks ziet kan dat dus niet.

Misschien kun je jouw gevonden informatie nog even toevoegen aan die thread?

Citaat:

Ik geloof zelf ook niet zo in die Card Reader tests. Dat wijkt zo enorm af van hoe je ze in het echt gebruikt. Dan loop je veel teveel risico dat je uiteindelijk niets aan de resultaten hebt.

Het enige wat ik nu even kan verzinnen voor de meeting is het volgende scenario:
benodigheden
- laptop met USB2
- USB2-cardreader (6-in-1)

1. gebruiker komt bij testtafel met op VFSMark na lege testpda's (de meest voorkomende modellen)
2. testteam maakt backup van geheugenkaart m.b.v. cardreader/laptop
3. geheugenkaart wordt geformatteerd op pda
4. VFSMark wordt 1x gedraaid
5. resultaten worden genoteerd door testteam
6. geheugenkaart wordt gevuld met door testteam samengestelde bestanden, ingedeeld in mappen van deze grootte (50MB, 115MB, 240MB, 490MB)
7. testpda krijgt softreset
8. VFSMark wordt 1x gedraaid
9. resultaten worden genoteerd door testteam
10. geheugenkaart wordt geformatteerd op pda
11. backup wordt m.b.v. cardreader teruggezet

Wel omslachtig, maar levert goed vergelijkbare resultaten op.

Citaat:

Moeten we trouwens niet een keer een aparte discussie thread over de VFS benchmark tips pagina hebben? Anders krijgen we weer gemopper over het off topic zijn. In principe ben ik er ook wel voor om de thread "schoon" te houden, maar er is nu gewoon geen andere plek voor discussies.

Hoezo off-topic? De discussie die we nu voeren is mijns inziens een vrij essentiele, omdat gewoon blijkt dat al die getalletjes veel te weinig zeggen, temeer omdat ze ontzettend inconsequent zijn. Als we deze discussie in een andere thread voeren valt het minder op en nemen gebruikers de verkeerde informatie voor waarheid aan.

Het staat ieder vrij om gewoon zijn VFS Benchmarks te posten, want het is op zich redelijk nuttig als (zeer oppervlakkig) vergelijkingsmateriaal. Je leert er immers wel van welke kaarten langzaam zijn en welke snel. Dat zal ook na meerdere tests nog blijken.

[patrickl]

Pfoei, denk je niet dat het maken en terugzetten van een backup erg lang gaat duren. Met een beetje pech zit je zo een minuut of 10 te wachten voor een backup. Dan nog het vullen erbij dan kom je voor een 512MB kaart misschien wel op een half uur voor de test. Om nog maar te zwijgen over het gevaar van verloren informatie.

Ik kan het me even niet meer herinneren, maar scheelt het echt zoveel? Bij Memory Sticks maakt het nauwelijks uit, maar ik meen me inderdaad te herinneren dat het voor SD kaartjes wel scheelde.

[jean-paul]

Citaat:

Op 06-08-2003, om 17:16 heeft patrickl dit gezegd in bericht #138
Pfoei, denk je niet dat het maken en terugzetten van een backup erg lang gaat duren. Met een beetje pech zit je zo een minuut of 10 te wachten voor een backup. Dan nog het vullen erbij dan kom je voor een 512MB kaart misschien wel op een half uur voor de test.

Een USB2-reader haalt 480mb/s. Da's uiteraard in het meest ideale geval, maar ik heb mijn 256MB-kaartje meestal in 2 minuten overgepompt.

Citaat:

Om nog maar te zwijgen over het gevaar van verloren informatie.

Tsja, gevaar bestaat er altijd. Dat kun je toch niet uitsluiten.

Citaat:

Ik kan het me even niet meer herinneren, maar scheelt het echt zoveel? Bij Memory Sticks maakt het nauwelijks uit, maar ik meen me inderdaad te herinneren dat het voor SD kaartjes wel scheelde.

Volgens de tabel wel. Maar dat is lastig te beoordelen, omdat de resultaten steeds verschillend tot stand zijn gekomen (leeg kaartje, vol kaartje, al drie keer test gedraaid etc. etc.)

[patrickl]

Ik heb de boel nog even getest met een volle CF (180MB van 256MB gevuld) en een lege. Ik krijg eigenlijk exact dezelfde waardes. Zowel met VFSMark als met Time_RawVFS. Met bij TimeRawVFS dus de opmerking dat er blijkbaar een standaard variatie in zit, maar exact dezelfde variatie zie ik terug in de lege of de volle kaart.

Misschien is het een specifiek probleem met SD kaartjes. Maar goed, eigenlijk is de pagina sowieso ook interessanter voor SD kaartjes dan voor de rest. Voor Memory Sticks maakt het weinig uit welk merk je koopt (je hebt hooguit de keuze tussen gewone en Pro kaartjes). CF kaarten zijn slechts te gebruiken in weinig modellen (zo krijg je dus nauwelijks een bruikbare testset) en bij CF kaartjes staat de snelheids aanduiding er ook meestal wel op.