Sumea hajautus auttaa tutkijoita havaitsemaan morfisoivia haittaohjelmia

Se on selvää, mutta minun on sanottava. Haittaohjelmien purkamiseen liittyvissä pyrkimyksissä on jotain vikaa. Mikä on vialla, vaihtelee asiantuntijakohtaisesti. Mutta siitä on yksimielisyys. Haittaohjelmien torjuntaohjelmissa on reaktiivisia komponentteja . Ja se ei ole hyvä asia, mutta vaaditaan, kunnes jotain parempaa pintaa.

Allekirjoituspohjainen tunnistus on yksi tällainen komponentti. Allekirjoitukset, jotka tunnetaan myös nimellä sormenjäljet, ovat yksittäisten haittaohjelmakoodien kryptografisia tiivistelmiä. Haittaohjelmien torjuntaohjelma kehittää sormenjäljet ​​ja asianmukaiset heuristiset parametrit tietokantaan, jota haittaohjelmien torjuntaohjelma käyttää haittaohjelmien havaitsemiseen.

Siellä se on. Haittaohjelmien on oltava kädessä ennen allekirjoituksen tekemistä.

Miksi käyttää hajauttamista?

En ollut varautunut tuloksiin, kun googlisin "hash". Savustetko sitä? Poikani päästi irti nyt tutusta huokaisesta, kun hän todisti tämän. Noh. Löysin mitä etsin.

Salaushajautuksia käytetään monista syistä. Keskusteluihimme liittyy nopeampi käsittely. Muista, kuinka haittaohjelmien torjunta toimii. He skannaavat koko tiedoston etsien haitallista koodia. Se vie aikaa ja käyttäjä on herkkä liialliselle määrälle lataamisen yhteydessä.

Sen sijaan, miksi et muuntaa sekä malcode-testinpätkää että epäilyttävää tiedostoa yksittäisiksi digitaaliseksi hashiksi (paljon nopeammin kuin skannaus).

Vaikea aihe

Aluksi olin huolestunut sellaisen aiheen ottamisesta, johon liittyy hajauttaminen. Prosessissa on osia, joita en ymmärrä. Virheellisesti mainitsin tämän mentorilleni. Minun olisi pitänyt odottaa hänen paluutaan. "Sinä pirun, on parempi selvittää se. Lukijat ansaitsevat niin paljon."

En halunnut enää hänen guffiaansa, mietin jotain menevän tarpeesta, ripustin ja sain töihin.

Mikä on hajauttaminen?

Niille, jotka ovat taipuvaisia, tämä linkki johtaa Wolframin matemaattiseen selitykseen hajautuksesta. Koska olen Wikipedian tyyppinen kaveri, pidän parempana tätä määritelmää:

"Tietojenkäsittelyssä sormenjälkien algoritmi (hajautus) on menettely, joka kartoittaa mielivaltaisen suuren tietoyksikön (kuten tietokoneetiedoston) paljon lyhyemmäksi bittimerkkijonoksi, sormenjälkeensä, joka yksilöi alkuperäisen tiedon yksilöllisesti kaikkiin käytännön tarkoituksiin ihmisen sormenjäljet ​​tunnistavat ihmiset yksilöllisesti käytännön tarkoituksiin. "

Omani ote (yksinkertaistettu): Digitaaliset allekirjoitukset / sormenjäljet ​​lasketaan taianomaisesti todellisen haittakoodipalan kohdalta hash-algoritmia käyttämällä.

Käyttämällä identtistä hash-algoritmia, haittaohjelmien torjuntasovellus toimii samalla taikaohjelmalla testattavassa tiedostossa. Jos lopputuotteet eivät ole identtisiä, tiedostoa ei pidetä haittaohjelmina.

Siellä on hieroa: vaaditaan "täsmälleen identtinen".

Ongelma

Testausprosessi vertaamalla hash-tuloksia on tavallaan sellainen, kuin miten katson maailmaa. Asiat ovat joko mustia tai valkoisia; harmaa ei laske. Tämän ymmärtäessä haittaohjelmien kehittäjät morfioivat koodiaan jatkuvasti.

Sitten, kun tarkistetaan juuri muutetulla haittaohjelmalla tartunnan saanut tiedosto, tulokset poikkeavat kaikista allekirjoitustietokannan tiedoista. Koti vapaa ja selkeä, kunnes:

  • Uutta haittaohjelmavaihtoehtoa havaitsee haittaohjelmien torjuntaja.
  • Haittaohjelma on suunniteltu käänteisesti ymmärtämään, mitä se tekee.
  • Uusi allekirjoitus / sormenjälki luodaan.
  • Allekirjoitus työnnetään kaikkiin olemassa oleviin asiakassovelluksiin.

Mies. Sen on turhauttava hyviä kavereita, aina käyrän takana. Ihmettelen. Entä jos asioiden ei tarvinnut olla joko mustaa tai valkoista?

Sumuinen hajautus pelastamiseen

Kuten tekstitys viittaa, harmaasävyt ovat nyt mahdollisia. Esittelyni sumeaan hajautukseen tuli oppimalla, kuinka sitä käytetään roskapostin torjuntaan. Dr. Andrew Tridgell kehitti Spamsumin yrittäessään tunnistaa roskapostin yleisimmät indeksit:

"Sumea hajautus mahdollistaa mahdollisesti syyttävien asiakirjojen löytämisen, joita ei välttämättä löydy perinteisillä hajautusmenetelmillä. Sumea hajautus käyttää paljon kuin sumeaa logiikkahakua; se etsii asiakirjoja, jotka ovat samanlaisia, mutta eivät aivan samoja, nimeltään homologisia. tiedostot."

Perustuu Spamsumiin

Jesse Kornblumille hyvitetään siitä, että hän otti Spamsumin ja konseptikonsepti laukaisi kappalekohtaisesti hash (sumea hash) askeleen pidemmälle, kun hän kehitti ssdeepin. Hän kuvaa tässä artikkelissa työkalun:

"Ssdeep on uusi tekniikka haja-allekirjoitusten rakentamiseksi yhdistämällä joukko perinteisiä hajautuksia, joiden rajat määräytyvät syötteen kontekstin perusteella. Näitä allekirjoituksia voidaan käyttää tunnistettujen tiedostojen muokattujen versioiden tunnistamiseen; vaikka tiedot olisi lisätty, muokattu, tai poistettu uusista tiedostoista. "

Vielä enemmän taikuutta

Jos muistat, välttelin osaavasti salaustekniikkaa ympäröivää matematiikkaa. Yritän jälleen kerran. ("Poika, en näe huumoria" lame "-kynäröinnissä.")

Joka tapauksessa, minulla oli mielenkiintoista tutkimusta herra David Frenchilta, joka on Carnegie Mellonin ohjelmistotekniikan instituutin vanhempi jäsen. Jos muistat, mainitsin, että sumeaa hajautusta käytettiin roskapostin havaitsemiseen. Herra French tutkii sumeaa hajautusta työkaluna haittaohjelmien havaitsemiseksi (linkki).

Täältä tulee tuo hartaus. Kun olet tehnyt täysin puolueettoman tutkimuksen, kävi ilmi, että haluat mieluummin sumeaa hajautusta, selitti akateeminen asiantuntija Mr. French.

Kassner : Yritykseni kuvata yllä sumeaa hajautusta on riittämätön. Voisitteko antaa lukijoille lyhyt kuvaus siitä, mikä se on ja miten se toimii? Ranska : On monia tekniikoita, joita voidaan pitää sumeana hajautuksena. Useimmat sisältävät kaksi erillistä ja toisiaan täydentävää algoritmia. Itse hash-algoritmi ja vertailualgoritmi sen määrittämiseksi, täsmäävätkö hashit ". Ssdeep: n tapauksessa käytetyt algoritmit ovat avoimen lähdekoodin ohjelmia, ja niitä voidaan tutkia sekä ssdeep: ssä että alkuperäisessä spamsum-lähdekoodissa.

Erittäin korkealla tasolla sumea hajautus on tapa määrittää, ovatko kaksi sisääntuloa samankaltaiset, eivät samanlaiset . Sumuiset tiivisteet toimivat pilkkomalla tulotiedot joko kiinteän koon lohkoihin tai lohkoihin, joiden koko riippuu tulotiedoista. Lohkot pienennetään edelleen pienemmäksi data-arvojen lukumääräksi. Esimerkiksi, hajauttamalla yksittäiset lohkot yhden tavun arvoihin.

Otetaan sitten tämä alennettu data-arvojoukko, "sumea hajautus", ja vertaa sitä muihin sumeaan hajautukseen käyttämällä jotain vertailutoimintoa. Ihannetapauksessa vertailutoiminto tarjoaa jonkin käyttökelpoisen metrin tai etäisyyden, jonka avulla voimme päättää, ovatko tulot samanlaisia ​​vai eivät.

Kassner : Milloin otit ensimmäisen kerran yhteyttä sumeaan hajauttamiseen ja mikä sai sinut harkitsemaan sitä haittaohjelmien havaitsemiseen? Ranska : sumea hajautus on saavuttanut valtavan suosion viimeisen viiden vuoden aikana. On olemassa monia julkisesti saatavilla olevia esityksiä ja julkaisuja, jotka koskevat sumeaa hajauttamista esimerkiksi digitaalisen median oikeuslääketieteeseen. On myös julkisia tutkimuksia, jotka kuvaavat, miten sumeaa hajautusta käytetään samanlaisten haittaohjelmien havaitsemiseen.

Mielenkiintoni sumeaan hajautukseen haittaohjelmien suhteen on yrittää määrittää, kuinka hyödyllinen sumea hajautus voi olla haittaohjelmia vastaan. Haittaohjelmat eroavat huomattavasti muista verkkotunnuksista, joissa sumeaa hajautusta voidaan käyttää (kuten bioinformatiikka), koska siihen osallistuvat ihmisten vastustajat, jotka hyötyvät suoraan estämällä muita ymmärtämästä heidän ohjelmistojaan.

Kassner : Normaali hajautus voi varmistaa tiedostot, jotka ovat tarkkoja kopioita. Mutta sumea hajautus havaitsee "melkein identtisiä" tiedostoja, miksi se on tärkeää? Ranska : Lähes identtisten tiedostojen, erityisesti lähes identtisten haittakoodien, havaitsemisen tärkeys perustuu haittaohjelmien analyysien taloudellisuuteen. Ihmisanalyytikoiden kouluttaminen on kallista, ja heidän haitallisen koodin analysointiin käytetty aika on erittäin arvokasta.

Mikään ohjelmisto tai automatisoitu prosessi ei voi korvata ihmisanalyytikon kekseliäisyyttä, intuitiota ja lujuutta. Kuitenkin millä tahansa menetelmällä, joka pystyy havaitsemaan olennaisen samankaltaisuuden tarkasteltavana olevan tiedoston ja aiemmin analysoidun tiedoston välillä, voidaan säästää aikaa ja rahaa.

Kassner: Onko ssdeep sovellus, jota käytit tutkimukseesi? Voisitko puhua sen tehokkuudesta? Ranska : Ssdeep on yksi sovelluksista, joita käytän tutkimuksessani. Tutkimukseni tavoitteena on kvantifioida niiden tehokkuus erityisesti haittaohjelmia vastaan. En pysty keskustelemaan tuloksistani tällä hetkellä. Kassner : Näetkö muita mahdollisia käyttöitä sumeaan hajauttamiseen? Ranskaksi : sumea hajautus voidaan yleensä soveltaa mihin tahansa tietoalueeseen, jolla on toivottavaa noudattaa olennaista samankaltaisuutta tietojoukkojen välillä. Ainoa rajoitus on se, voidaanko kyseinen tietoalue koodata siten, että sumeaan hashiin on järkeä. Ihannetapauksessa data voidaan järjestää lineaarisesti jonkinlaisena tilatut joukot siten, että järjestys ja sisältö ovat tärkeitä.

Todellisen maailman esimerkki

Pyrkiessään käsittelemään sumeaa hajautusta, löysin mielenkiintoisen esimerkin siitä, kuinka sitä voitaisiin käyttää. Herra Kornblum vaihtoi ideoita muutamien ihmisten kanssa tällä foorumilla. Yksi julisteista ehdotti:

"Ehkä outoa hakemus, mutta liittyy siihen, mitä yliopistoni hyppää automaattisesti opiskelijaprojektien jättämisiin huijaamiseksi matalat CS-luokissa, joissa sinulla on tuhat opiskelijaa ja useita erilaisia ​​ihmisen luokkijoita."

Juliste jatkuu:

"Sinä hämmästytit (tai ei ehkä) kuinka monta ihmistä olemme saaneet kiinni samanlaisella prosessilla, koska he ajattelivat, että muuttamalla asioita, joita kääntäjä poistaa silti, tekisi heidän kopioimisensa huomaamatta."

Vitsasin siitä aiemmin, mutta harmaasävyjen digitaalinen määrittäminen on vain hämmästyttävää.

Lopulliset ajatukset

Se ei ehkä näytä siltä, ​​mutta sumea hajauttaminen voi muuttaa tapaa, jolla katsomme maailmaa. Geneetikot käyttävät esimerkiksi sumeaa hajauttamista vertaamaan tuntemattoman mikro-organismin geenisekvenssiä tunnetun genomin geenisekvenssiin.

Haluan kiittää kiitoksia herra Frenchille hyödyllisistä vastauksista ja Richard Lynchille, myös Carnegie Mellonille, mahdollisuudesta.

© Copyright 2020 | mobilegn.com