Folyamatosan fejlődő világunk része a digitalizáció. A technikai fejlődés velejárója a nagy mennyiségű adatok generálása. Ekkora mennyiség, változatosság és sebesség mellett a korábbi rendszerek már nem képesek kielégíteni minden adatigényt. Erre nyújt megoldást az un. adattó, amely képes a folyamatosan változó és diverz adatforrások kezelésére. Lehetővé teszi az adatok gyorsabb bevezetését és a környezethez való könnyebb alkalmazkodást is. Míg a „korábbi rendszer”, az adattárház statikus adatstruktúrát használ, addig az adattó rugalmasan kezeli az új adatforrásokat, így minimalizálva az időt, energiát és költségeket. További előnyt jelent az adatok valós idejű feldolgozása és felhasználása is. Ahhoz, hogy egy innovatív szervezet képes legyen lépést tartani a változásokkal, képesnek kell lennie arra is, hogy a nyers adatokat szervezetten, biztonságosan és könnyen hozzáférhetően tárolja. Ebben nyújthat majd támogatást a Kormányzati Informatikai Fejlesztési Ügynökség (KIFÜ) adattója, amelyről a szervezet elnökével, Dr. Spaller Endrével beszélgettünk.
- Milyen szerepet játszik a Kormányzati Informatikai Fejlesztési Ügynökség az adattó-szolgáltatások terén? Mik is azok és hogyan működnek az adattó-szolgáltatások?
Szervezetünk innovatív technológiai megoldásaival több mint 15 éve Magyarország digitális fejlődését szolgálja. A magyar kormányzat, az oktatási-, kutatási és közgyűjteményi szektor számára fejlesztünk és nyújtunk információs és kommunikációs technológiai szolgáltatásokat. Ezen szolgáltatások között vannak olyanok is, amelyek a piaci szektor számára is elérhetőek. Ilyen például a szuperszámítógép szolgáltatásunk és ilyen lesz az adattó is. Ez utóbbi azért kiemelt fontosságú, mert napjainkban adatok üzleti értéket képviselnek, az adattó segítségével kinyerhető elemzések pedig egy új irányt jelentenek az adatfeldolgozásban Az adattó vagy data lake kifejezést olyan adattárolási és adatelemzési rendszerek leírására használjuk, ahol nagy mennyiségű adatot az eredeti formájában tárolunk. Ez az egyik legújabb fejlesztésünk. Egyszerre járul hozzá a szektor átláthatóságnak növeléséhez és a közszolgáltatások fejlesztéséhez.
Az adattó-szolgáltatások lehetővé teszik a különféle adatok gyűjtését, tárolását, feldolgozását és az ügyfelek számára történő elérését. Ezek az adatok lehetnek akár képek, videók, szöveges állományok, vagy más formátumúak is. Úgy kell elképzelni, mintha egy nagy tölcsérbe beleöntenénk a sok-sok eltérő formátumú adatot, majd adunk egy elemzési szempontot az adattónak és az annak mentén rendszerezi és elemzi az adathalmazt. Ezen adatok és az elemzés, vagyis a kapott végeredmény segíthetnek az ügyfeleknek a döntéseikben, kutatásaikban vagy üzleti tevékenységeikben. Formái az iparág és az adatok típusától függenek. Olykor csak adattárolási platformot biztosít az adattó, míg más esetben komplett analitikai eszközöket és szakértői tanácsadás is járhat vele. A szolgáltatások folyamatosan változnak, fejlődnek, hiszen a technológia és az adatok rendelkezésre állása is folyamatosan alakul és növekszik. A KIFÜ adattavába jelenleg 10 megabyte/perc adat érkezik, másodpercenként 5 millió eseményt kezelünk és naponta 76 terabyte adatot fogadunk. Fejlesztőink jelenleg is azon dolgoznak, hogy az év végére elérhessük a 200 megabyte/perc beérkező mennyiséget.
- Említette, hogy fájlformától függetlenül lehet egyszerre több adatot is vizsgálni. Pontosan milyen típusú adatokat lehet tárolni az adattóban?
Az adattóban különböző típusú adatok tárolhatók. Strukturált adatokat, mint például egy hagyományos táblázatos formátumba tárolt adat, Excel munkalap, adatbázis vagy CSV fájl. Tárolhatók olyan félstrukturált adatok, amelyek ugyan rendelkeznek valamilyen struktúrával, de pontosan nem illeszkednek egy hagyományos relációs adatbázis modelljébe. Ilyen például egy weblap, xml vagy json formátumba tárolt adat. És olyan adatokat is őrizhetünk adattóban, amelyek nem követnek egyértelmű struktúrát, mint például a szöveges dokumentumok, az e-mailek, a kép és hanganyagok vagy a naplófájlok.
- Hogyan lehet hatékonyan felhasználni az adattóban tárolt adatokat több forrásból származó elemzésekhez?
Ahhoz, hogy az adattóban tárolt adatokat hatékonyan hasznosítsuk és használjuk először több lépésen kell végig mennünk.
Első lépés általában az adatforrások azonosítása és integrálása. Összegyűjtjük az összes releváns adatforrást amelyekből az adatokat az adat-tóba integrálhatjuk. Ezt követi egy előfeldolgozás ahol adattisztítási folyamatokat végzünk a beérkező adaton, tehát megszabadítjuk az adatokat az esetleges hibáktól és hiányosságoktól. Az adatok gyakran jönnek különböző formátumban és struktúrában, ezért, hogy összehasonlíthatók és az elemzéshez alkalmazhatóak legyenek, a következő lépésben szükséges az adatok egyesítése. Végezetül adatelemzési eszközöket és technikákat határozunk meg és alkalmazzuk az összegyűjtött adatokon. Az adat-tóban tárolt adatok sokfélesége lehetővé teszi ezen elemzések gazdagítását és az eddig nem vizsgált összefüggések feltárását.
- Milyen jelentősége van az adattóban tárolt adatok üzleti értékének és az abból kinyerhető elemzéseknek?
Az adat rendkívül fontos üzleti értéket képvisel egy szervezet, vállalkozás életében. Az adattóban tárolva ezen adatok értékét és hasznosíthatóságát maximalizáljuk, illetve adatelemzések révén jobban megérthetjük ügyfeleink igényeit és viselkedését. Így tehát képesek vagyunk személyre szabottabb szolgáltatásokat nyújtani. Emellett az adattárolásban rejlő lehetőségek segítenek az üzleti folyamatok optimalizálásában és hatékonyabbá tételében, ezáltal csökkentve a költségeket. Az adatok alapján pedig új termékeket és szolgáltatásokat fejleszthetünk ki, ami elősegíti az innovációt. Ráadásul az adattárolás és elemzés lehetővé teszi a trendek, előrejelzések és piaci változások megértését, ami segít a vállalkozásoknak a versenyképesség fenntartásában és a jövőbeli kihívásokra való reagálásban.
- Milyen fejlesztési tevékenységeket végez jelenleg a KIFÜ az adattó-szolgáltatások terén?
Fontos számunkra az adatvédelem és az adatbiztonság, ezen a területen folyamatosan szükség van az új megoldásokra. A hatékonyabb adatvédelmi módszerek kidolgozására a kriptográfia, az adatmaszkolás és a hozzáférési ellenőrzés terén folytatunk most fejlesztéseket Emellett a különböző forrásokból és rendszerekből származó adatok integrálására és konszolidációjára is nagy hangsúlyt helyezünk.
- Ki tudna emelni egy olyan szakterületet, amelyben jelentős eredményeket hozhat az adattó alkalmazása?
Igen, ilyen például a digitális oktatás. Az elmúlt években a Diákháló program keretében az iskolai wifi-hálózatok kiépítésével és korszerűsítésével közel 6000 köznevelési és szakképzési intézmény 1,5 millió diákjához juttattuk és juttatjuk el a korszerű, nagy sebességű internetet. Ezzel megteremtjük a digitális oktatás alapjait. Ahol van gyors internet, ott van alapja a digitális szolgáltatásnak, a digitális tananyag elérhető, fel-és letölthető, a digitális oktatás működhet. A KIFÜ hálózata képes kezelni az oktatással járó speciális igényeket, terheléseket is. Például az iskolákban reggel 8-kor tömegesen kezdik el használni a világhálót és ez a tanítás végéig így is marad. Ezt bírnia kell a rendszereknek. De hogy az adattóról is beszéljek, a hálózati adatokhoz a KIFÜ hozzáfér, s elemezheti azokat. Az internethasználatból következtetni lehet az adott iskola digitális érettségére. a hálózati adatoknak a megismerése révén beazonosíthatjuk a felhasználói szokásokat, preferenciákat, jobb megértést biztosíthatunk és mérhetővé tehetjük a digitális érettséget is. A kinyert adatokat akár a szakminisztérium, akár az Oktatási Hivatal hasznosíthatja. Az adatok elemzése és annak eredménye segíthet a digitális oktatás fejlesztésében, ami pedig alapvetően a pedagógusok és diákok érdekeit szolgálja Az adattóba bekerülő adatok feldolgozásával hozzájárulhatunk a digitális oktatás fejlődéséhez.
De természetesen az adatelemzés segíthet az oktatási intézmény hálózat infrastruktúrájának optimalizálásában is. Az adatok alapján felismerhetjük a hálózati terhelési mintákat és az esetleges szűk keresztmerszeteket vagy problémákat. Az adattóba gyűjtött adatok feldolgozásával meghatározhatók a fejlesztésre szoruló szegmensek, legyenek azok akár eszközök, akár kompetenciák.
- Mi a KIFÜ célja az adattó-szolgáltatások terén, és hogyan kívánják segíteni ügyfeleiket?
A KIFÜ-nek, mint az állam meghatározó IKT szolgáltatójának célja és feladata, hogy fejlesztéseivel támogassa a kormányzati döntéshozókat. Az adattóval olyan értékes információkat tudunk előcsalni a hatalmas és teljesen heterogén halmazból, amelyek alapjai lehetnek egy-egy kormányzati döntésnek, vagy akár fel is gyorsíthatják a döntési folyamatot. Vagyis igyekszünk még hatékonyabbá tenni az állami és közszférát. De egy ilyen innovatív technológiát nem csupán az állam, meg a közszféra tud hasznosítani, hanem a piac is. Az adatnak értéke van, a még több adatnak pedig még nagyobb értéke. Az a kkv, amelyik az adatokat képes rendezni, azokból képes hasznos információkat kinyerni, hatalmas fejlődésnek nézhet elébe. Az adattó hozzásegítheti a piaci felhasználóját olyan versenyelőnyökhöz, amelyekből szakmailag és anyagilag is sokat lehet profitálni. Jelenleg fejlesztjük ezt a korszerű és hatékony IT-infrastruktúrát. Célunk, hogy ügyfeleinket az adattárolási és feldolgozási szolgáltatások kialakításával, adatbiztonság és adatvédelmi tanácsadással, innovatív IT-infrastuktúra tervezésével, fejlesztésével és üzemeltetéssel is támogassuk. Segíteni szeretnénk a hazai digitális transzformáció kiteljesedését, valamennyi szakterületen.
- Milyen potenciális problémák léphetnek fel az adattó rendszerekben és hogyan lehet ezeket megelőzni?
Az adattó könnyen adatmocsárrá változhat, ha hiányosan tároljuk őket, illetve nem építünk mellé megfelelő metaadatbázist. Ilyen esetben az adatokhoz való hozzáférés nehézkes lesz, az üzleti intelligencia megoldások hatásfoka jelentősen csökken. Létező nehézség még az adatvesztés, a növekedő teljesítményigény, az adatok integráltságának fenntartása. Ezek megelőzése miatt nagyon fontos a folyamatos felülvizsgálat, az előírások és szabványok betartása és rendszeres biztonsági auditok végrehajtása. Legjobb, ha a feladatokat, az üzemeltetést, karbantartást tapasztalt és megbízható szolgáltatóra bízzuk, amely az állami szféra esetében a KIFÜ lehet.
