Benchmark geheugenkaartjes

[RoelvdV]

Goede discussie! En goed voorstel Patrick! Een VFS Benchmark tafel op de najaarsbijeenkomst. Met een beetje geluk kunnen we dan ook naar OS6 modellen kijken. Leggen we die direct op de testbank!

Ik heb nu heel veel nieuwe getallen voorbij zien komen. Ik ga kijken of ik de relevante cijfers nog in de huidige tabel ga opnemen.

VFSMark is inderdaad leuk voor het vergelijken van SD-kaarten, maar CF en MS hebben volgens mij een ander benchmarkprogramma nodig. Dus als dat ergens te vinden is lijkt me dat een goede zaak.

En meerdere laptops en cardreaders is denk ik geen overbodige luxe. Is de PDAshop niet over te halen een benchmarkplek in te richten? (inclusief de nieuwste schone modellen, waarbij schone een dubbele betekenis heeft!)

Groeten, Roel.

[patrickl]

Citaat:

VFSMark is inderdaad leuk voor het vergelijken van SD-kaarten, maar CF en MS hebben volgens mij een ander benchmarkprogramma nodig. Dus als dat ergens te vinden is lijkt me dat een goede zaak.

Nou het is niet zozeer dat het programma daar specifiek niet voor voldoet, maar het is meer dat het geen zin heeft om er meer dan 1 te testen, omdat je toch steeds dezelfde uitkomst krijgt. Kijk maar bij de SJ30, N770C en NR70V. Tussen de PDA's onderling wel verschillen, maar je hebt geen mogelijkheid om een snellere of langzamere stick te kopen. Voor de OS5 modellen heb je nog de keuze voor een MS Pro (of soms een CF), maar dan houdt het ook alweer op.

Ik bedoel dus meer dat als je een Clie koopt dat je dan geen keus meer hebt wat voor soort kaart je erin stopt (alle blauwe Memory Sticks hebben dezelfde performance) Je kunt dan net zo goed gewoon de goedkoopste kopen (of hooguit uit angst voor slechte kwaliteit een "goed" merk nemen)

Met CF kaarten is het probleem dat er bijna geen PalmOS PDA is waar ze in gaan. De NX70/NZ90/NX73 en TRG en dan heb je het wel gehad. Dat zijn ook niet echt veelvoorkomende PDA's dus dan krijg je ook niet veel mensen die cijfers kunnen melden, dat heeft dan weer tot gevolg dat je testset (te) klein is waardoor je weer weinig aan de testresultaten hebt.

Op zich is het natuurlijk wel goed om er een paar van tussen te hebben, want je kunt nu in ieder geval zien wat de performance van de Clie's is en dat kun je dan vergelijken met de andere PDA's.

Een OS6 modelletje zou ook aardig zijn, maar ik neem aan dat ze die voor de demo willen houden en dat ze ze niet willen afstaan voor een VFS benchmark

Zoals ik al eerder heb gezegd, ben ik trouwens niet zo'n voorstander van VFSMark. Problemen met VFSMark zijn:
- dat die getotaliseerde "mark" nogal stupide is. Het is een gemiddelde van de percentages. Dat gaat dus helemaal mis als de cijfers onderling sterk afwijken. Even een kort voorbeeld: 1 test half zo snel en 1 test twee keer zo snel levert: (50% + 200%)/2 = 125%, maar dat zou dus "normaal gesproken" 100% moeten zijn als je alles even zwaar wilt laten wegen.
- Daarnaast komt nog dat het grootste deel van de tests eigenlijk nogal vreemde tests zijn. Het totaal wordt echter berekend uit een ongewogen gemiddelde. Dus al die vreemde tests wegen samen veel zwaarder dan de eigenlijk enige echt belangrijke tests de File Read en File Write tests. Persoonlijk zou ik een index nemen van bijvoorbeeld 3 keer de File Read en 1 keer de File Write waardes en dat dan indexeren naar een standaard of terugrekenen naar een MB (of kB) waarde
- Met name die DB tests zijn ook nog eens sterk afhankelijk van de processor snelheid.

Aan de andere kant is het het enige redelijk breed bekende VFS benchmark programma. Dus we zullen het er haast wel mee moeten doen. Ik hoop alleen maar dat mensen snappen dat ze vooral die VFSMark moeten negeren.

Het is jammer dat het programma van CliePet niet goed lijkt te werken. Op zich geeft het meer bruikbare cijfers. Met zijn PocketPC versie zou je zelfs tussen de platforms onderling kunnen vergelijken.

[RoelvdV]

Die totaalscore van VFSMark is inderdaad een vreemd iets, maar in de tabel kun je gelukkig ook per kolom sorteren, dus als de schrijfsnelheid van belang is kijk je alleen naar die kolom.

Groeten, Roel.

[Vlammend]

De resultaten van VFSmark.
Gebruikt:
Tungsten T2
Dane Elec (Toshiba) 128 SD card. (zo goed als leeg)
VFSMark Results

File Create: 37%
File Delete: 20%
File Write: 9%
File Read: 202%
File Seek: 295%
DB Export: 31%
DB Import: 436%
Record Access: 338%
Resource Access: 331%

VFSMark: 188

[Vlammend]

Zelfde kaartje als hierdoor maar een tweede test:
Dane Electric 128Mb (Toshiba):
VFSMark Results

File Create: 46%
File Delete: 24%
File Write: 7%
File Read: 200%
File Seek: 295%
DB Export: 26%
DB Import: 431%
Record Access: 332%
Resource Access:322%

VFSMark: 187

Lexar 128Mb (Sandisk):
VFSMark Results

File Create: 107%
File Delete: 42%
File Write: 23%
File Read: 181%
File Seek: 207%
DB Export: 31%
DB Import: 247%
Record Access: 242%
Resource Access:235%

VFSMark: 146

Een of ander merk in groene verpakking 128 Mb (Sandisk):
VFSMark Results

File Create: 110%
File Delete: 43%
File Write: 23%
File Read: 182%
File Seek: 222%
DB Export: 33%
DB Import: 247%
Record Access: 242%
Resource Access:234%

VFSMark: 148

Gelukkig kon ik het Dane Electric kaartje retour doen en de andere kaarten testen in de winkel. Er is helaas geen Panasonic kaartje in Nijmegen te vinden, dus dat wordt gokken op internet.

[patrickl]

OK, dan maar weer eens een Clie test in de "strijd" gooien.

Dit keer een PQI F1 512MB CompactFlash (leeg) in een Clie NX70 met de vertaalde Sony CF drivers (van de NX73 / NX80).


VFSMark Results

File Create: 804%
File Delete: 507%
File Write: 218%
File Read: 311%
File Seek: 561%
DB Export: 282%
DB Import: 605%
Record Access: 495%
Resource Access: 480%

VFSMark: 473

Dit gaat zo snel dat de test echt in no-time klaar is


TimeVFSRaw geeft:
1KB:R=939,W=268
4KB:R=1272,W=873
16KB:R=1379,W=1780

Lexar 256Mb
Tungsten C

VFSMark Results

File Create: 289%
File Delete: 207%
File Write: 110%
File Read: 190%
File Seek: 406%
DB Export: 144%
DB Import: 336%
Record Access: 377%
Resource Access:328%

VFSMark: 265

[patrickl]

Ik heb nu een CF 4 in 1 adapter en daarmee kun je zo'n beetje elke geheugenkaart aan in een Clie NX (voor de NX70 met gebruik van de gratis Sony CF drivers). Hij kan zelfs MS Pro aan dus ik kan nu mooi alles uitwisselen tussen de iPAQ en mijn Clie.

Sony Memory Stick 64MB via CF 4 in 1 Adapter in Clie NX70
VFSMark Results

File Create: 20%
File Delete: 26%
File Write: 6%
File Read: 155%
File Seek: 357%
DB Export: 4%
DB Import: 77%
Record Access: 280%
Resource Access: 274%

VFSMark: 133

Sony Memory Stick Pro 512MB via CF 4 in 1 Adapter in Clie NX70
VFSMark Results

File Create: 149%
File Delete: 111%
File Write: 42%
File Read: 263%
File Seek: 368%
DB Export: 119%
DB Import: 333%
Record Access: 351%
Resource Access: 331%

VFSMark: 229

Panasonic SD 256 MB via CF 4 in 1 Adapter in Clie NX70
VFSMark Results

File Create: 325%
File Delete: 188%
File Write: 102%
File Read: 284%
File Seek: 357%
DB Export: 261%
DB Import: 324%
Record Access: 358%
Resource Access: 331%

VFSMark: 281

Minolta Smartmedia 4MB via CF 4 in 1 Adapter in Clie NX70
VFSMark Results

File Create: 282%
File Delete: 173%
File Write: 76%
File Read: 307%
File Seek: 472%
DB Export: 189%
DB Import: 482%
Record Access: 452%
Resource Access: 431%

VFSMark: 318

De Memory Sticks via de CF adapter is misschien een suf idee, maar je kunt zo wel gegevens uitwisselen tussen de twee sticks. Jammer allen dat de write speed via de adapter nog lager is dan via het standaard MS slot.

Schattig ook dat die 4MB kaart zo snel is. (Daar slaat mijn analoge camera de camerainstellingen op van alle gemaakte foto's)

[Smaus]

Sandisk SDcard 128Mb i.c.m. Tungsten T2

VFSMark Results
File Create: 90%
File Delete: 104%
File Write: 24%
File Read: 182%
File Seek: 222%
DB Export: 28%
DB Import: 247%
Record Access: 264%
Resource Acces: 252%
VFSMark: 157

TimeVFSRaw Results
1KB: R=439, W=3
4KB: R=700, W=13
16KB: R=842, W=55

CardSpeed Results
Wrt32bit: 32bit: 42 bytes/sec
Wrt8KB: 28096 bytes/sec
Read8KB: 748992 bytes/sec

Off-topic

Kan iemand mij uitleggen waarom ik bij de Wrt32bit-actie maar 42 bytes per seconde haal?

Disclaimer
De geteste kaart was tijdens het testen gevuld met 32,8 Meg aan bestanden (MP3 en filmpjes). Ik weet niet of dit gevolgen heeft voor testresultaten.

[patrickl]

Die 32bit write is een schrijfopdracht van dus maar 4 bytes. De overhead van de schrijfopdrachten werkt dan heel sterk mee. Je hebt dus blijkbaar iets van 0,1 seconde overhead (10 schrijfopdrachten van 4 bytes per seconde). 42 bytes/sec is overigens nog een redelijk hoge waarde ook

[Smaus]

Citaat:

Op 27-08-2003, om 10:40 heeft patrickl dit gezegd in bericht #150 42 bytes/sec is overigens nog een redelijk hoge waarde ook

Meen je dat nou? Nou, dan heb ik volgens mij toch niet zo'n slechte kaart gekocht...

Groeten,

Jaap

[patrickl]

Ik was bij mijn laatste test nog vergeten dat ik ook nog een 32MB MMC kaart van Siemens heb. Bij deze dus

Siemens/Sandisk 32MB MultiMediaCard via CF 4 in 1 Adapter in Clie NX70 met Sony CF drivers

VFSMark Results

File Create: 149%
File Delete: 143%
File Write: 72%
File Read: 64%
File Seek: 200%
DB Export: 43%
DB Import: 196%
Record Access: 144%
Resource Access: 140%

VFSMark: 127

Deze kaart zit voor 90% vol

Ik beloof dat ik nu zal ophouden met mijn maffe tests


Voor de volledigheid nog even de resultaten van CardSpeed:
Wrt32bit: 181 bytes/sec
Wrt8KB: 70279 bytes/sec
Read8KB: 231985 bytes/sec

en TimeRawVFS:
1KB: R=234, W=58
4KB: R=241, W=83
16KB: R=243, W=91

Grappig dat die laatste waarden zo constant zijn, maar dat zal wel komen doordat de overhead in de 32bit test van CardSpeed zo laag blijkt te zijn.

Overigens is ook bij deze kaart geen variatie in de VFSMarks waar te nemen (ik heb het een keer of 10 geprobeerd en steeds was het 127). Blijkbaar zie je dat vooral in CF en SD kaarten terug.

SanDisk 64MB op een Tungsten T2

VFSMark Results

File Create: 221%
File Delete: 123%
File Write: 46%
File Read: 177%
File Seek: 236%
DB Export: 145%
DB Import: 279%
Record Access: 268%
Resource Access: 252%

VFSMark: 194

Ziet er minder slecht uit dan sommige SanDisk kaartjes... Wellicht te maken met ingekochte partijen door SanDisk

VFSMark is nogal wisselend in de resultaten, daarom mijn min/max values van zo'n 6 testen:

Tungsten T2 / Lexar 256 MB (90% vol):

VFSMark Results Minimum Maximum

File Create: 222% 394%
File Delete: 109% 231%
File Write: 59% 97%
File Read: 208% 208%
File Seek: 295% 287%
DB Export: 184% 258%
DB Import: 377% 377%
Record Access: 338% 338%
Resource Access: 328% 328%

VFSMark: 235 279

De waarheid ligt waarschijnlijk in het midden...

[Vlammend]

De simpletech is zoals bij sommigen al bekend een gebruiker van panasonic chips. Ik heb de chip 5x getest na een format. De eerste test die ik deed had ik niet opgeslagen maar daar scoorde de filewrite 140% :
Simpletech 256 Mb, 100% leeg
1st test after a format
File Create: 407%
File Delete: 251%
File Write: 137%
File Read: 208%
File Seek: 295%
DB Export: 271%
DB Import: 366%
Record Access: 317%
Resource Access: 309%

VFSMark: 284

Simpletech 256 Mb, 100% leeg
worst test after a format
File Create: 408%
File Delete: 221%
File Write: 88%
File Read: 209%
File Seek: 295%
DB Export: 258%
DB Import: 365%
Record Access: 317%
Resource Access: 304%

VFSMark: 273

Simpletech 256 Mb, 100% leeg
about averafe after a format
File Create: 403%
File Delete: 239%
File Write: 125%
File Read: 208%
File Seek: 295%
DB Export: 261%
DB Import: 365%
Record Access: 314%
Resource Access: 307%

VFSMark: 279

[frarie]

Citaat:

Op 21-08-2003, om 16:31 heeft T.T. dit gezegd in bericht #147
Lexar 256Mb
Tungsten C
.......

VFSMark: 265

Oei oei oei, heb net een MMore 256 Mb (SD) voor 75 Euro gekocht (MediaMarkt):

Tungsten|C:

File Create: 59%
File Delete: 28%
File Write: 29%
File Read: 196%
File Seek: 280%
DB Export: 35%
DB Import: 225%
Record Access: 256%
Resource Access: 232%

VFSMark: 148

Na ja, 75 Euro is in ieder geval wel lekker goedkoop Enne, File Read is het belangrijkst, ik ben van plan Digi-Map kaarten erop te plakken. 196% is niet slecht. 1 keer alles langzaam erop, en dan lekker laten staan

Een tweede test direkt erachter aan gaat overigens een stukje beter (create/delete). Heb dan een 155 mark. Maar goed, da's waarschijnlijk het gevolg van een wat cache her-en-der.

[Peter Drake]

Ondanks dat er van deze types SD-kaarten al Benckmarks waren, heb ik ze zelf ook nog even getest op mijn Zire71

FSMark Results Dane-Elec 64mb (Sandisk)

File Create: 66%
File Delete: 31%
File Write: 13%
File Read: 284%
File Seek: 268%
DB Export: 28%
DB Import: 289%
Record Access: 335%
Resource Access: 309%

VFSMark: 180

VFSMark Results Dane-Elec 128mb (Toshiba)

File Create: 33%
File Delete: 16%
File Write: 8%
File Read: 333%
File Seek: 393%
DB Export: 19%
DB Import: 537%
Record Access: 502%
Resource Access: 468%

VFSMark: 256

[Sander]

T|3 met Lexar SD 256 MB (90% vol)

File Create: 210%
File Delete: 160%
File Write: 59%
File Read: 725%
File Seek: 907%
DB Export: 108%
DB Import: 867%
Record Access: 683%
Resource Access: 662%

VFSMark: 486

T|3 met Panasonic SD 128 MB (80% vol)

File Create: 248%
File Delete: 135%
File Write: 59%
File Read: 725%
File Seek: 1072%
DB Export: 172%
DB Import: 965%
Record Access: 724%
Resource Access: 685%

VFSMark: 531


File write blijft een beetje achter bij de rest lijkt me zo.

[patrickl]

Die File Write valt me nog reuze mee. Ik las van iemand op ClieSource die zat te klagen dat het 9% was ofzo. Met name die read snelheden zijn spectaculair zeg! Grappig dat het zoveel sneller is dan de Tungsten C (met toch eigenlijk dezelfde specs).

[OlafOnline]

Sandisk, 128MB SD.

File Create: 36%
File Delete: 18%
File Write: 7%
File Read: 113%
File Seek: 190%
DB Export: 20%
DB Import: 198%
Record Access: 191%
Resource Access: 185%

VFSMark: 106