Pilvessä oleva Hadoop vapauttaa sinut kaavan doldrumeista

Kirjoittaja: Duane Craig

Fiverr on online-palvelujen markkinapaikka, jolla on miljoonia käyttäjiä 200 maassa ympäri maailmaa. Joka päivä yritys kerää miljoonia rivejä puolijärjestelmättömiä ja jäsentämättömiä tietoja, jotka sijaitsevat useissa lähteissä, kuten MySQL-relaatiotietokannassa, mongoDB: ssä, Redisissä ja muissa. Fiverr käyttää myös verkkopohjaisia ​​palveluita, kuten Google Analytics. Kaikki kerrottu iso data yläpuolellaan koostuu noin 80% puolijärjestelmällisestä liikennetiedosta ja 20% rakenteellisesta tiedosta.

Suurin arvo

Etsimällä maksimaalista arvoa isoista tiedoista, monilla yrityksillä on kiusaus kokeilla ratkaisua, kuten tavallista relaatiotietokannan hallintajärjestelmää (RDBMS), joka on erittäin kätevä, koska se käyttää säännöllistä SQL-kieltä, mikä tekee siitä houkuttelevan analyytikoille. Se integroituu myös hyvin tarjoamalla raportointia ja tuettuja poiminta-, käännös- ja lataustulleja. Sitten on hinta. Esimerkiksi MySQL on ilmainen ja avoin lähdekoodi. Mutta koska Fiverr käyttää ketterää kehitystä, liiketoimintatiedon johtaja Slava Borodovsky selitti, että standardi-relaatiotietokannan hallintajärjestelmäratkaisun käyttö on erittäin vaikeaa.

"Ketterässä kehityksessä tiettyyn tuotteeseen tehdään päivittäin niin paljon muutoksia, että kaaviopohjaisten työkalujen käyttäminen ei ole tehokasta. Joka kerta kun tuotannossa on uusia parametreja, sinun on vaihdettava tietokannan skeema. Se on tuskallinen menettely, erityisesti suurella tietomäärällä ", Borodovsky sanoi.
Tämä haaste innosti Fiverriä pohtimaan suurten tietojen ratkaisua, joka tukee avointa kaavaa ja sallii siten tehdä muutoksia lennossa. Hadoopista tuli keskipiste, mutta ei ilman syvää arviointia sen kanssa mahdollisesti esiintyvistä ongelmista. Esimerkiksi, vaikka Hadoopia pidettiin optimaalisena Fievrr-tyyppiseen tietoympäristöön ja mittakaavaan, Borodovskin mukaan se vaatii erityisiä taitoja ja huomiota.
"Se on tehokas järjestelmä, mutta" tavalliset "yritystiedustelijat, kuten analyytikot ja jopa kehittäjät, eivät pysty käsittelemään sitä", hän sanoi. "Se vaatii erityistä ohjelmointitietoa, kuten Java, ja erittäin teknisen suuntautumisen. Se on jotain hyvin erilaista kuin tavallinen SQL-maailma. Useimmissa tapauksissa, jos yritys haluaa käyttää Hadoop-palvelua, sen on palkattava työntekijöitä, joilla on erityisiä tietoja ja taitoja, jotka ovat myös erittäin kallista. Henkilöstön lisäksi heidän on luotava hajautettu ympäristö, josta on myös ylimääräisiä kustannuksia. "

Fiverr pyrki aluksi vastaamaan Hadoopin toteutuksen haasteisiin käyttämällä pylvästietokantaa liikennetietojen tallentamiseen. Tässä oli kuitenkin ongelmia, ja yritys tarvitsi parempaa ratkaisua. Entä jos kaikki Hadoopin edut olisivat pilvessä ja jättäisivät suurimman osan haasteista taakse? Kirjoita Xplenty tai Hadoop palveluna.

Lisätietoja: Hadoopin menestys vaatii aiempien tietovirheiden välttämistä

Xplenty

Xplenty-käyttöliittymän avulla käyttäjä voi luoda monimutkaisia ​​tietovirtoja muutamassa minuutissa

Rekisteröinnin jälkeen Fiverr otti Xplenty-ratkaisun käyttöön muutamassa päivässä ja yritys alkoi saada positiivisia tuloksia erittäin nopeasti. Xplentyn pilviarkkitehtuuri teki Hadoopin toteuttamisen BI-tarpeisiin erittäin helpoksi.

"Suurin yllätys oli toteutuksen nopeus", sanoi Borodovsky. "Se oli käynnissä ja käynnissä muutaman päivän kuluttua. Xplentyn pilviinfrastruktuuri tekee toteutusprosessista erittäin helppoa ja vaati vain minimaalisia IT-ponnistuksia. Suurin haaste oli muodossa, johon tallennamme tietomme, koska tuolloin Xplenty ei tukenut JSON-muotoa. Ratkaisimme kuitenkin ongelman päivässä tai kahdessa. Teimme myös pieniä muutoksia tietotiedostojen rakenteeseen jakamalla ne pienempiin tiedostoihin suorituskyvyn parantamiseksi. Asennusprosessi oli erittäin avoin ja helppo. "

Yhtiö tallentaa nyt kaikki liikennetiedot tekstitiedostoiksi JSON-muodossa ja käsittelee ne Xplentyn kanssa. Nyt Fiverr-analyytikot voivat luoda Hadoop-klustereita ja suorittaa monimutkaisia ​​analyyttisiä tehtäviä muutamalla napsautuksella. Hadoopin ylläpidosta ja optimoinnista ei tarvitse teknistä henkilöä. Tämä ratkaisu pitää Fiverrin ajan tasalla uusista muutoksista sivustossa pitäen sen erittäin reagoivana uusiin mittareihin.

Fiverr aikoi kaivoa liikennetietojaan kanavan, muunnoksen ja trendianalyysin tekemistä varten. Nämä monimutkaiset analyyttiset tehtävät, samoin kuin napsautus-analyysi, ovat tyypillisesti sellaisia, jotka ovat suuria ja puolijärjestelmäisiä, kuten kun ne tallennetaan JSON-muotoon. Niiden BI-prosessien kesto liiketoiminnan pyynnöstä analyyttiseen oivallukseen supistui dramaattisesti.

Vähemmän kaavan käsittelyä

Fiverrin ei tarvitse muuttaa Hadoop-tietokantaa tietokantaansa / tietovarastoonsa. Tämä on tyypillisesti erittäin aikaa vievää ja siihen liittyy tietotekniikkaresursseja, jotka voivat aivan liian usein luoda lisää pullonkauloja BI-prosessivirtaan. Yhtiö voi nyt alkaa käyttää uusia parametreja, jotka lisättiin tuotantoon heti niiden käyttöönoton jälkeen. Esimerkiksi Borodovsky mainitsee prosessin, jolla mitataan tuotantoon lisätyn uuden ominaisuuden suorituskyky.

"Tyypillisessä tietokantamaailmassa meidän olisi muutettava tietovarastomme rakennetta ja lisättävä lisäsarakkeita taulukoihin uusien parametrien tallentamiseksi", hän selitti. "Sitten meidän olisi muutettava ETL-prosesseja, jotka jäsentävät uudet parametrit ja lisäävät ne taulukkoon. Seuraavaksi meidän olisi kirjoitettava kyselyitä, luotava raportteja ja analysoitava ominaisuus."

"Tämä prosessi vaihtelee päivästä pienissä yrityksissä ja uusissa yrityksissä useisiin päiviin ja jopa viikkoihin suurissa yrityksissä. Xplenty's Hadoop-ratkaisulla voimme ohittaa kaksi ensimmäistä vaihetta. Voimme luoda uuden prosessin Xplentyssä useita napsautuksia ja saa käsityksen hyvin nopeasti. BI-prosessin keskimääräinen kesto on muuttunut ja on vähintään kaksi kertaa nopeampi kuin ennen liikenneanalyysiin liittyvien prosessien suhteen. "

"Xplenty säästää aikaa tietojen käsittelemiseen, koska järjestelmää ei tarvitse muuttaa jatkuvasti. Olemme myös riippumattomia tietotekniikan suhteen, missä olemme säästäneet henkilöstöresursseja ja voimme kiinnittää enemmän huomiota analytiikkaan ja yritystietoihin kuin Hadoopin teknisestä ylläpidosta. Kuten monet IT-asiat, oikean ratkaisun löytäminen vie joskus hetken. Tapasimme Xplentyn juuri oikeaan aikaan. "
Lisää heti lisää klusterisolmuja suurentaaksesi ja tarjoamaan enemmän laskentatehoa

© Copyright 2021 | mobilegn.com