Undersøgelse viser sammenhæng mellem antallet af kryptovaluta-relaterede hackerangreb og prisen på Bitcoin

Wow big brains....
Jo mere udbredt og brugt en crypto valuta bliver jo mere vil den blive brugt også i forbindelse med IT kriminalitet.

Præcis som det er med normal valuta.
Utroligt, som en udbredt og brugt møntenhed f.eks. $/€ bliver brugt men ikke meget international kriminalitet, som gør brug af vores dkk.

T_A (1) skrev:

Wow big brains....
Jo mere udbredt og brugt en crypto valuta bliver jo mere vil den blive brugt også i forbindelse med IT kriminalitet.

Præcis som det er med normal valuta.
Utroligt, som en udbredt og brugt møntenhed f.eks. $/€ bliver brugt men ikke meget international kriminalitet, som gør brug af vores dkk.

Er det ikke lidt pærer og bananer, du sammenligner?
Bitcoin er jo ikke den eneste kyyptovaluta, ligesom dollars ikke er den eneste fiatvaluta.
Analogien skulle være, at prisen på dollars er afgørende for fiatvaluta-relaterede hackerangreb.

Men du har da ret i, at hvis noget er meget værd, er det mere interessant at stjæle, end hvis det er mindre værd.

Der er også sammenfald mellem mængden af fortæret ost og frekvensen af folk der dør ved at blive filtret ind i deres sengelinned.

https://www.tylervigen.com/spurious-correlations

Clickbait overskrift drevet research. Og mordraten korrelerer iøvrigt med Internet Explorers markedsandel. Prøv at søge på spurious correlations.

Og når ransomware idioterne laver deres kriminalitet er det da ligegyldigt hvad bitcoin kursen er, de beder bare om et dollar beløb konverteret til BTC med dagens kurs.

#3 Nemlig. Jeg tænker dog at den med Nicolas Cage film og folk der drukner sig i en pool har noget på sig ;)

#korrelation

Er der faktisk korrelation?

Når jeg sådan helt på øjemål kigger på de to grafer, så kan jeg ikke se korrelation.

okt-nov: stiger lidt - falder lidt
nov-dec: stiger lidt - stiger meget
dec-jan: stiger meget - falder lidt
jan-feb: stiger meget - uændret
feb-mar: stiger meget - stiger meget
mar-apr: stgiger lidt - falder lidt
apr-maj: uændret - stiger meget
maj-jun: falder meget - falder meget

#3

Den side er fup og fidus.

Hvis vi tager den første med spending science og hanging suicide.

Grafen er manipuleret ved at de to Y akser har forskelligt nulpunkt for at give en illusion af at kurverne følges af.

Og så angives der en meget høj korrelation koefficient. Så høj at det ville anses som indikation af sammenhæng, hvis den var lavet hæderlig. Men det er den ikke. Man har to kurver med samme trend (op) og det giver en høj høj korrelation koefficient. En hæderlig korrelation koefficient skal udregnes efter at eventuel trend er fjernet.

#7

Illustration af problemet med trend:

f1 = 0.0 * i + N(0,1)
f2 = 0.0 * i + N(0,1)
f3 = f1 + N(0,1)
corr f1 f2 = -0.020507797513288892
corr f1 f3 = 0.688421863995664
corr detrended f1 f2 = -0.11253682395030551
corr detrended f1 f3 = 0.7247138366609615
f1 = 0.1 * i + N(0,1)
f2 = 0.1 * i + N(0,1)
f3 = f1 + N(0,1)
corr f1 f2 = 0.8981920370733493
corr f1 f3 = 0.9464190773750171
corr detrended f1 f2 = -0.16584943080374592
corr detrended f1 f3 = 0.7212871029444483
f1 = 1.0 * i + N(0,1)
f2 = 1.0 * i + N(0,1)
f3 = f1 + N(0,1)
corr f1 f2 = 0.9989261781907823
corr f1 f3 = 0.9994432071196753
corr detrended f1 f2 = 0.14860022365647488
corr detrended f1 f3 = 0.7096407217875758

Kotlin kode:

package july

import kotlin.math.*

import java.util.Random

// extension methods

fun DoubleArray.transform(f: (Double) -> Double): DoubleArray = this.map({ xi -> f(xi) }).toDoubleArray()

fun DoubleArray.transform(y: DoubleArray, f: (Double, Double) -> Double): DoubleArray = this.zip(y, { xi, yi -> f(xi, yi) }).toDoubleArray()

// RNG

val rng = Random()

fun unirng(): Double = rng.nextDouble()

fun normrng(): Double = sqrt(-2 * ln(unirng())) * cos(2 * PI * unirng())

// stat functions

fun expect(x: DoubleArray): Double = x.sum() / x.count()

fun avg(x: DoubleArray): Double = expect(x)

fun vari(x: DoubleArray): Double = expect(x.transform({ xi -> xi.pow(2) - avg(x).pow(2) }))

fun stdev(x: DoubleArray): Double = sqrt(vari(x))

fun covari(x: DoubleArray, y: DoubleArray): Double = expect(x.transform(y, {xi, yi -> (xi - avg(x)) * (yi - avg(y)) }))

fun corr(x: DoubleArray, y: DoubleArray): Double = covari(x, y) / (stdev(x) * stdev(y))

// detrend

fun avgincr(x: DoubleArray): Double = expect(DoubleArray(x.size - 1, { i -> x[i + 1] - x[i] }))

fun detrend(x: DoubleArray): DoubleArray = DoubleArray(x.size, { i -> x[i] - i * avgincr(x) })

// sequence generation

fun initRandom(n: Int): DoubleArray =  DoubleArray(n, { _ -> normrng() })

fun initRandomWithTrend(n: Int, trend: Double): DoubleArray = DoubleArray(n, { i -> trend * i + normrng() })

fun initNonRandom(x: DoubleArray): DoubleArray = DoubleArray(x.size, { i -> x[i] + normrng() })

// test

val N = 100

fun test(trend: Double) {
val f1 = initRandomWithTrend(N, trend)
val f2 = initRandomWithTrend(N, trend)
val f3 = initNonRandom(f1)
val f1f2 = corr(f1, f2)
val f1f3 = corr(f1, f3)
val dtf1f2 = corr(detrend(f1), detrend(f2))
val dtf1f3 = corr(detrend(f1), detrend(f3))
println("f1 = $trend * i + N(0,1)")
println("f2 = $trend * i + N(0,1)")
println("f3 = f1 + N(0,1)")
println("corr f1 f2 = $f1f2")
println("corr f1 f3 = $f1f3")
println("corr detrended f1 f2 = $dtf1f2")
println("corr detrended f1 f3 = $dtf1f3")
}

fun main() {
test(0.0)
test(0.1)
test(1.0)
}

arne_v (7) skrev:

Den side er fup og fidus.

Tja, den er vel mest et humoristisk indslag der ikke skal tages for seriøst.

Men pointen er god nok. Hvis man har f.eks. 1000 tidslige udviklinger af forskellige variable og prøver alle 1000*999/2 = 499500 måder at kombinere dem, skal der nok dukke nogle utroligt høje korrelationer op som ikke har noget som helst på sig.

#9

Men den pointe er stadig bedst hvis korrelationen ikke bare skyldes trend.

Og sandsynligheden for høje korrelationer i de knap en halv million kombinationer afhænger meget af antal observationer i de tidsserier.

Jeg prøvede at lave en simulation:

n = 10 : prob corr > 0.5 = 0.0705 (+/- 0.0004)
n = 20 : prob corr > 0.5 = 0.0124 (+/- 0.0002)
n = 30 : prob corr > 0.5 = 0.0024 (+/- 0.0001)
n = 40 : prob corr > 0.5 = 0.0005 (+/- 0.0000)
n = 50 : prob corr > 0.5 = 0.0001 (+/- 0.0000)

(så ville jeg ikke brænde mere CPU tid af på det)

Det ser ud som at for hver 10 ekstra observationer falder sandsynligheden for korrelation over 0.5 til 1/5.

Så med en 80+ observationer er der ikke sandsynligt at der er nogen blandt den halve million kombinationer.

(hvis nogen vil have Kotlin koden så fløjt)

arne_v (8) skrev:

Illustration af problemet med trend:

Så en sammenfaldende trend i de to udviklinger øger korrelationen.

Men er det ikke "okay"? Antallet af år man ryger korrelerer med risikoen for lungekræft (gætter jeg på). Bør man fjerne trend her før man regner korrelation ud?

larsp (11) skrev:

arne_v (8) skrev:

Illustration af problemet med trend:

Så en sammenfaldende trend i de to udviklinger øger korrelationen.

Ja. Eksemplet er ret tydeligt.

f1 = 0.0 * i + N(0,1)
f2 = 0.0 * i + N(0,1)
f3 = f1 + N(0,1)
corr f1 f2 = -0.020507797513288892
corr f1 f3 = 0.688421863995664
corr detrended f1 f2 = -0.11253682395030551
corr detrended f1 f3 = 0.7247138366609615

ingen trend
f1 og f2 er uafhængige
f1 og f3 er afhængige
f1 og f2 er ikke korrelerede
f1 og f3 er korrelerede

f1 = 1.0 * i + N(0,1)
f2 = 1.0 * i + N(0,1)
f3 = f1 + N(0,1)
corr f1 f2 = 0.9989261781907823
corr f1 f3 = 0.9994432071196753
corr detrended f1 f2 = 0.14860022365647488
corr detrended f1 f3 = 0.7096407217875758

trend
f1 og f2 er uafhængige
f1 og f3 er afhængige
f1 og f2 er korrelerede før trend fjernelse
f1 og f3 er korrelerede før trend fjernelse
f1 og f2 er ikke korrelerede efter trend fjernelse
f1 og f3 er korrelerede efter trend fjernelse

larsp (11) skrev:

Men er det ikke "okay"?

Jo. Nej. Måske.

Er man kun interesseret i at vide om tidsserierne følges ad, så viser den høje korrelation før trend fjernelse at det gør de.

Er man interesseret i at vide om der muligvis kunne være noget kausalitet, så vil det normalt være mest relevant at checke korrelation efter trend fjernelse.

larsp (11) skrev:

Antallet af år man ryger korrelerer med risikoen for lungekræft (gætter jeg på). Bør man fjerne trend her før man regner korrelation ud?

Det er cross section - ikke tidsserier. Trend er et tidsserie problem.

Og kigger du på de to tidsserier: antal rygere og antal tilfælde af lungekræft, så kompliceres det af tidsforsinkelsen. Antal tilfælde af lungekræft vil afhænge mere af antal rygere 10, 20, 30 år siden end af antal rygere samme år.