Podstawowe prawo statystyki mówi, że aby z zabranych danych można było wyciągnąć jakieś sensowne wnioski (np. dopasować jakiś rozkład statystyczny) próba, czyli liczba zarejestrowanych przypadków, musi być jak największa. Argumentuje się to tym, że niepewność dopasowania maleje jak 1 podzielone przez pierwiastek liczby przypadków. Nie wspomina się jednak o innej rzeczy. Zabierając się za analizę zebranych danych, a właściwie już podczas ich zbierania trzeba uwzględnić czynniki zewnętrzne mogące wpływać na te dane. Dopiero przesiewając zebrane dane przez sito tych czynników można uzyskać wartościowy zbiór informacji nadający się do analizy i opublikowania. Czym większy jest zbiór danych zebranych, tym odsetek informacji odsianych jest mniej znaczący.
Oto cztery przykłady:
1. Ankieta wśród mężczyzn kupujących golarki jednorazowe.
- Fakt zakupienia towaru już świadczy o jakiś odczuciach in plus, bo dokonany został zakup właśnie tego modelu, a nie innego. Gdyby konsument miał negatywną opinię na temat tego modeli, nie dokonał by zakupu i wybrał inny model.
- Golarka jednorazowa nie jest zakupem drogim, więc już najmniejsze odczucia in minus mogą sprawić, że opinia na temat tego modelu zmieni się, a klient następnym razem kupi inny model.
2. Ankieta wśród rodzin kupujących lodówki.
- Fakt zakupienia towaru już świadczy o jakiś odczuciach in plus, bo dokonany został zakup właśnie tego modelu, a nie innego. Gdyby konsument miał negatywną opinię na temat tego modeli, nie dokonał by zakupu i wybrał inny model.
- Lodówka należy raczej do większych zakupów, dokonywanych rozmysłem, po zastanowieniu się i wybraniu spośród innych, dostępnych modeli. Lodówkę kupuje się raz na kilka (kilkanaście) lat. Dlatego po pierwsze mamy więcej odczuć in plus względem danego modelu, po drugie tłumimy w sobie i odrzucamy wszelkie odczucia in minus, zdając sobie sprawę, że z ten model będziemy musieli mieć w domu przez dłuższy czas i na pewno go nie zmienimy (“Nie będę przecież psioczył na rzecz, którą sam wybrałem i nie mogę tego zmienić?!”).
3. Ankieta wśród czytelników książek danego autora.
- Jeżeli ktoś kupuje książki danego autora ma już jakąś, wyrobioną opinię na ich temat. Więc jeżeli nawet przytrafi się książka gorsza, mniej ciekawa, to jesteśmy skłonni przyznać jej łagodniejszą, wyższą opinię. Sytuacja ma się odwrotnie, gdy książkę tego autora czytamy po raz pierwszy – wówczas nawet dobre opowiadanie może zostać ocenione mniej przychylnie: po złości, z powodu niewielkiego rozczarowania.
4. Ankieta poparcia dla działań zrealizowanych przez byłego prezydenta.
- Na ilość opinii pozytywnych i negatywnych ma wpływ na przykład sposób i okoliczności w jakich prezydent przestał pełnić swoje stanowisko: czy skończyła się mu po prostu kadencja (oceny najbardziej rzetelne), czy odszedł w okolicznościach skandalu (społeczeństwo skłonne jest wówczas przydzielać raczej oceny negatywne pomimo jego zasług), czy też zginął tragicznie w podróży służbowej (skłonni jesteśmy do pomijania jego błędów i raczej wstrzymamy się od głosu niż przyznamy ocenę negatywną).
Przy każdej ankiecie, szczególnie dobrowolnej:
- Chętniej oceniamy jeżeli mamy zamiar wystawić ocenę bardzo pozytywną albo bardzo negatywną. Produktów przeciętnych nie chce się nam po prostu oceniać. Skutkuje to wynikami mało odpowiadającymi rzeczywistości, w których ilościowo przeważają tylko oceny skrajne i nie widać standardowego rozkładu Gaussa (z maksimum gdzieś w okolicach ocen średnich).
- Przytaczając zasadę Pareto, że 80% skutków wywołanych jest przez 20% zdarzeń można potwierdzić, że w przypadku ankiet dobrowolnych (obligatoryjnych) na przykład na portalach aukcyjnych dominującą większość odpowiedzi udziela stosunkowo niewielka grupka użytkowników. Są to, można to tak nazwać, zawodowi odpowiadacze na ankiety i komentatorzy. Pomimo, że portal szczyci się wielotysięczną liczbą komentarzy do oferowanych produktów, to są one autorstwem niewielkiego wycinku społeczeństwa.