Glavne komponente sustava za prepoznavanje hoaxa

Cijeli sustav obuhvaća tri glavne cjeline tj. sudionike nužne za cjelovito funkcioniranje:
Vanjski korisnik: bilo koja osoba koja želi provjeriti je li neka poruka hoax,
Administrator sustava: osoba koja se brine o funkcioniranju sustava, osvježava bazu hoax poruka, odgovara korisnicima ukoliko postoji potreba i sl.
Sustav za prepoznavanje hoaxa: lokacija na kojoj su smještene glavne komponente sustava i kojoj administrator sustava i vanjski korisnik pristupaju s udaljenih lokacija.

Korisničko sučelje

Na računalu CARNet-ovog CERT-a smješten je sustav za prepoznavanje i obradu hoax poruka. Vanjski korisnik (bilo koja osoba koja je posjetila stranice www.cert.hr/hoax) može poslati poruku na e-mail adresu hoax@cert.hr. Kao rezultat te radnje korisnik želi dobiti korisnu informaciju o tome radi li se o hoax poruci i s kojom je vjerojatnošću sustav klasificira kao takvu. Nakon procesa usporedbe poruke s uzorcima pohranjenim u bazi podataka, slijedi izvještaj korisniku. Korisnik prima obavijest o podudaranju poruke koju je poslao s uzorkom u bazi podataka ili obavijest da sustav nema pohranjenu sličnu poruku i da slijedi analiza njegovog upita te potom i odgovor administratora.
Administrator prima izvještaje o svim gore spomenutim radnjama i od njega se očekuje odgovor korisniku ukoliko je to potrebno tj. ukoliko to sustav već nije učinio.

Funkcioniranje sustava za prepoznavanje hoaxa

Nakon što je sustav zaprimio zahtjev, pokreće se proces usporedbe zaprimljene hoax poruke s porukama spremljenim u bazi podataka. Bitno je naglasiti da sustav garantira točan odgovor jedino u slučaju ako je korisnikova poruka slična poruci pohranjenoj u bazi podataka.

Sam postupak prepoznavanja koristi više modula. Svaki od modula uspoređuje poruku s uzorkom pohranjenim u bazi te računa mjeru sličnosti između poruke i prototipa. Mjera sličnosti je realan broj iz intervala [0, 1].

Spomenuti moduli su:
Modul statistike - Koristeći kontingencijske tablice računa mjeru sličnosti i statističku zavisnost;
Modul informacije - Radi na principu računanja entropije ulaznog teksta, te računanju entropije teksta uz poznati uzorak;
Modul približnog podudaranja poruka - Koristi Levenhsteineov algoritam za izračun mjere sličnosti;
Modul raspoznavanja uzoraka - Vrši klasifikaciju poruke uz korištenje metrike u skup prototipa kojem je najbliža.

Konačnu odluku donosi ekspertni sustav temeljen na neizrazitoj logici. On ima na raspolaganju informacije iz navedenih modula na temelju kojih računa konačnu mjeru sličnosti. Administratoru će taj rezultat biti predočen u obliku broja u intervalu [0,1], a vanjskom korisniku opisno uz mnoštvo dodatnih informacija.

Ukoliko sustav vrati informaciju da korisnikova poruka nije slična niti jednoj poruci pohranjenoj u bazi podataka, to ne znači da korisnikova poruka nije hoax poruka. Postoji mogućnost da se taj uzorak ne nalazi u bazi. U tome će slučaju sustav obavijestiti administratora i proslijediti mu korisnikov upit. Nakon toga administrator provjerava da li poruka spada u skup hoax poruka. Ukoliko je odgovor pozitivan administrator pohranjuje poruku u bazu podataka i korisniku šalje potvrdan odgovor. Ukoliko se, utvrdi da poruka nije hoax, korisnika treba o tome obavijestiti.

Popis pojmova

administrator - osoba koja rukovodi sustavom. Zadužena je za niz različitih poslova koji proizlaze iz prirode sustava.

baza podataka - skup međusobno povezanih podataka, pohranjenih zajedno bez štetne i nepotrebne (nekontrolirane) zalihosti (redundancije), s ciljem da ih koriste različite aplikacije. Podaci su pohranjeni u obliku neovisnom od programa koji ih koriste. Unos, izmjena i dohvat podataka obavlja se isključivo kroz zajedničko i kontrolirano sučelje.

ekspertni sustav - grana umjetne inteligencije koja koristi specijalizirano znanje iz neke problemske domene da bi riješila problem na razini ljudskog eksperta. Nazivaju se još i sustavi temeljeni na pravilima te produkcijski sustavi jer su obično izvedeni nizom ako-onda pravila.

klasifikacija - raspoređivanje predmeta, pojava i pojmova po klasama s obzirom na njihove zajedničke karakteristike (odnosu prema nečemu).

kontingencijska tablica - koristi se za prikaz mjere asocijacije (povezanosti) između para nominalnih varijabli. Naziva se još i tablica frekvencija i udjela jer za nezavisnu varijablu određuje u kojoj je mjeri povezana sa zavisnom. Primjerice, kontingencijskom bi tablicom mogli prikazati u kojoj mjeri konzumacija alkohola utječe na pojavu bolesti ciroze jetre. Nezavisna bi varijabla imala kategorije konzumira alkohol i ne konzumira alkohol, a zavisna ima cirozu jetre i nema cirozu jetre.

Levenhsteinov algoritam - algoritam koji se koristi za usporedbu znakovnih nizova. On vraća mjeru sličnosti dvaju nizova za razliku od klasičnog pretraživanja koje će vratiti pozitivan rezultat samo u slučaju njihovog potpunog podudaranja. Levenhsteinova metrika je definirana kao minimalni broj brisanja, ubacivanja ili mijenjanja znakova potrebnih da dva znakovna niza postanu jednaka.

metrika - Funkcija koju obično nazivamo udaljenošću. Ona uređenom paru točaka pridružuje broj koji nije negativan.

modul - Osnovna paradigma modularnog programiranja. Svi dijelovi sustava u kojima mogu nastupiti neke promjene se izdvajaju u posebne programske jedinice, module, koji se povezuju u razumljivu programsku strukturu.

neizrazita logika - formalni matematički model za oblikovanje ljudskog znanja i zaključivanje kada je znanje izraženo riječima, nejasno i neprecizno. L. Zadeh ju je kratko opisao kao "računanje riječima". U klasičnoj logici smo se morali opredijeliti za pripadnost (0 ili 1), a neizrazita logika omogućuje modeliranje pojmova nejasnih i nepreciznih granica.

pristup s udaljene lokacije - pristup računalu koje je prostorno udaljeno putem računalne mreže ili distribuiranog sustava. Ukoliko osoba koja mu pristupa ima dovoljno veliku razinu ovlasti omogućeno joj je obavljanje svih operacija na udaljenom računalu.

prototip - prvotni uzor, pralik, prauzor. Za neku grupu uzoraka se određuje prototip koji ju predstavlja i omogućuje utvrđivanje njemu sličnih uzoraka. On je tipični predstavnik svoje grupe. U ovome sustavu prototip je predstavljen nizom rečenica izdvojenih iz originalne poruke.

statistička zavisnost - U okviru ovog projekta pojam se odnosi na izračunatu sličnost dvaju znakovnih nizova. Koristi se niz statističkih algoritama i struktura podataka da bi se u konačnici dobila njihova mjera sličnosti.

sustav - poredak, uvjetovan planskim, pravilnim rasporedom dijelova u određenoj vezi.

mjera sličnosti - postotak koji određuje sličnost dvije poruke (znakovna niza). Rezultat izvršavanja svih korištenih algoritama usporedbe je takav postotak. Ekspertni sustav iz više mjera sličnosti izračunava konačnu mjeru sličnosti dvaju uzoraka.

entropija - sustav koristi princip minimalne entropije tj. pri usporedbi dvaju poruka nastoji za već postojeću poruku odrediti koliko nove informacije donosi poruka s kojom se vrši usporedba. Iz samog je naziva vidljivo da ukoliko usporedba donese malo nove informacije poruka već postoji u sustavu.

Literatura

[1] Usporedba kategoričkih skupova podataka na značajnost razlike, Dr.sc. Vesna Lužar-Stiffler, Power Point prezentacija objavljena na Internetu
[2] Rječnik stranih riječi, Bratoljub Klaić, NZMH, Zagreb, 2002.
[3] Dokumentacija projekta hoax, CERT, LSS
[4] Primijenjena teorija vjerojatnosti, Prof.dr.sc. Dimitrije Ugrin-Šparac, Zagreb, 1990.