dotNETportal.cz

Dělám jednu hodně specifickou aplikaci pro zpracovávání obrovského množství dat z burzy NYMEX, ale zaseknul jsem se u sdílení proměnných mezi dvěmi aplikacemi. Jelikož každý instrument má kolem 500M řádků, potřebuji aplikacím zpracovávající data zajistit jejich nejrychlejší přísun. Nejdříve jsem uvažoval o databázi nebo nějaké podobné app. s TCP/IP komunikací, jenže vše je pro můj účel moc pomalé... Jak je možné nejrychleji sdílet gigantické listy v rámci jednoho počítače? Jde mi čistě o jejich čtení, zápis se provede po inicializaci první app. Applikace mezi sebou můžou komunikovat přes http protokol a na začátku si můžou předat ID (adresu) listu, jen data prostě musí jít přímo... Nevím jak to přesně popsat, na internetu jsem nic nenašel - prosím tedy zkušenější fóraře o pomoc. Předem moc děkuji, Michal

Pokud vám nestačí databáze, napadá mě už jen sdílená paměť, resp. soubor mapovaný do paměti. Jenže pokud obě aplikace tu sdílenou paměť budou měnit, musíte nějak zajistit synchronizaci, což není úplně triviální, a tyhle problémy databáze už řeší.

500M řádků je sice dost, ale databáze takové množství v pohodě zvládají, a na lokálu nekomunikují přes TCP/IP, ale také přes sdílenou paměť.

Máte opravdu otestováno a změřeno, že databáze je pomalá?

Mně jde o to, abych mohl využívat proměnnou jiné aplikace. Databáze vše řeší dost univerzálně a zbytečně složitě, zde bude jedna datová struktura, která se měnit nebude, případně po x letech. Otestované to mám, testoval jsem rozdíl mezi přístupem do lokální paměti a přístupem do DB, kde obsah byl také v paměti, ale putoval nejspíše přes nějaký handler. Nejde mi o sekundy, ale při kompletní analýze, tedy 500M řádků najednou bylo DB řešení opravdu o dost pomalejší. Můžete mě trošku nasměrovat s tou synchronizací? Stačí směr, ostatní již si najdu sám. Michal

A co zkusit napsat server a k němu dva různé klienty?

ZK

Zbytečně složité.