The Term "significant"

In statistics we often use the term "significance". According to my experience "significance" is used carelessly in many circumstances, and is understood very little. Basically, the word "significance" comes from the Latin word significans which means "clear" or "distinct". A certain observation is thus considered to be of significance if it can be recognized easily. Speaking in more statistical terms, we connect the "level of significance" with the probability of an observation to occur. A simple exmaple should clarify this:

Suppose that an analystical chemist determines the concentration of zinc in well water, analyzing 10 wells in the industrial north of country, and 10 wells in the rural south. When done, the chemist calculates the means of the zinc concentration of both the northern and the southern water samples, resulting in the following values:

Water in the North	570.7 µg/l
Water in the South	582.1 µg/l

If we pose the question whether there is a difference between the north and the south, we will certainly agree that there is a difference between the two means (at least numerically). Going further into the details, we may doubt that there is a difference, since the same means may result from two entirely different scenarios:

                  Case 1:                         Case 2:

                  North     South                 North     South
                  ---------------                 ---------------
Water samples:    571.5     581.7                 566.3     571.5
                  570.8     582.8                 549.5     608.1
                  570.3     580.4                 538.9     544.7
                  570.6     583.3                 588.9     571.7
                  570.4     582.9                 592.5     589.7
                  571.0     579.5                 560.1     588.5
                  571.6     582.8                 572.9     577.7
                  569.4     583.3                 575.1     583.7
                  570.5     583.0                 602.7     561.7
                  570.9     581.3                 560.1     623.7
                  ---------------                 ---------------
Means:            570.7     582.1                 570.7     582.1

In beiden Fällen betragen die Mittelwerte jeweils 570.7 und 582.1 - im ersten Fall wird man die Mittelwerte als unterschiedlich ansehen, im zweiten Fall ist dies sehr wohl nicht unmittelbar klar. Betrachtet man die zugehörigen Verteilungen, so wird die Bedeutung des Begriffes signifikant klar: Der Unterschied zwischen den Mittelwerten ist zwar numerisch in jedem Fall gegeben, im ersten Fall ist dieser aber deutlich (=signifikant), im zweiten ist das nicht so deutlich, da die beiden Verteilungen sich beträchtlich überlagern.

Um die Signifikanz eines Ergebnisses präziser angeben zu können, definiert man das Signifikanzniveau, das im Fall eines statistischen Tests die Irrtumswahrscheinlichkeit des Tests bei einem Fehler 1. Art angibt.