Стоит ли верить биотесту? Статистическая обработка результатов биотестирования.

Биотест на улитках ампуляриях. Тестировать на общую токсичность можно водопроводную, колодезную, аквариумную воду, воду из артезианских скважин. Здесь рассказано, как обсчитать результаты теста (сразу можно скачать готовый файл с формулами для статистической обработки результатов биотестирования). Сама методика проведения биотеста изложена здесь

Ста​тистическая обработка результатов биотестирования. Оценка степени токсичности воды.

     Биотест  -  это  эксперимент,   результатам  которого  можно  верить,  а  можно  не верить.  А результатам биотеста на улитках можно верить? Сейчас узнаем. И для этого сделаем статистическу обработку результатов биотестирования.

    Опять  обратимся  к  картинке  таблицы Microsoft Exel, в   которую  занесены  результаты биотестирования. Дальнейшее изложение будет понятнее, если файл обсчета результатов будет перед глазами.

    Остановимся на некоторых свойствах результатов, которые показали улитки, отыскивая пищевую приманку в предварительных экспериментах. Для этого представим полученные данные в виде гистограммы:

                     Рис.2

    Эта картинка получилась в результате объединения близких по своей численной величине значений в группы ("карманы" с заданными временными интервалами). Количество значений, попавших в определенный карман (частота) отложено по оси ординат, по оси абсцисс отложены численные значения крманов. Видно, что большинство результатов "стремятся" не слишком сильно отличаться от средней арифметической   выборки (всего в ней 60 значений, n=60). Самые высокие столбики, то есть карманы, куда попало больше всего отдельных результатов, расположены вблизи этой средней (3.9). В данном случае, в кармане, который включает в себя среднее арифметическое значение  результатов оказалось больше всего отдельных наблюдений. В небольших выборках эта закономерность может проявляться не очень четко (куда хуже, чем в данном примере).  Но чем больше выборка (чем больше n), тем ярче она проявляется*. Значения, сильно отличающиеся от средней, с увеличением n  будут встречаться все реже, причем тем реже, чем сильнее их отличие от средней. 
    В предварительных экспериментах мы получили совокупность результатов, величины которых по частоте встречаемости  распределены определенном образом, то есть они представляют собой некое распределение. В нашем случае распределение получилось близким к нормальному. Если число отдельных наблюдений сделать очень большим, то графически его можно представить в виде гауссовой кривой.

                                        Рис.3
    Кривая нормального распределения описывается двумя параметрами: средним значением и стандартным отклонением. Среднее значение определяет расположение кривой относительно оси X. Рассчитывают его по формуле:

где x_i - значения отдельных наблюдений, n - количество наблюдений. Среднее арифметическое для результатов предварительных экспериментов равно 3.9.
    Стандартное отклонение ( S ) - это мера того, насколько широко разбросаны данные относительно их среднего арифметического:

    От величины стандартного отклонения зависит форма кривой. При уменьшении этого параметра кривая становится более высокой и "острой". На рисунке вверху имеются две гауссовые кривые. Среднее у них одно и тоже, но стандартные отклонения разные. Распределение, представленное более острой кривой, получено из "пологого" следующим образом. Из исходного "пологого" распределения делались случайные выборки заданной численности (N), в этих выборках определялись средние и уже из величин этих средних было составлено новое распределение - распределение выборочных средних. Среднее распределения выборочных средних всегда будет таким же, как и у распределения откуда эти выборки делались (если только это на самом деле случайные выборки), а стандартное отклонение выборочных средних (S_M) существенно меньше.  

    В биотестировании важно, чтобы получаемые результаты представляли собой как можно более "острое" распределение. От этого зависит чувствительность метода.

    Большая часть (какая именно будет объяснено ниже) значений нормального распределения умещается в интервале, характеризующим "норму", непопадание в него результата биотестирования будет говорить о "патологии", то есть о токсическом действии. Поэтому, более пологое распределение значений "нормы", охватывающее больший интервал загрубляет метод: относительно небольшие отклонения, которые на самом деле вызваны токсическим действием, будут отнесены к норме. Вот почему мы использовали средние значения из выборок по 6 улиток, причем крайние результаты отбрасывали, оставляя только четыре значения, по которым определялось выборочное среднее**.  
    При проведении биотеста случайная выборка улиток (мы их выбирали из аквариума наугад) подвергалась действию испытуемой воды, а затем эти улитки искали корм. Нами принималась нулевая гипотеза: испытуемая вода никак не изменяет пищевые реакции тест-организмов и определенное по результатам этого эксперимента выборочное среднее должно принадлежать к распределению других выборочных средних, заранее установленных в предварительных экспериментах. Эта гипотеза проверялась при помощи Z-оценки. В таблицах Microsoft Exel эта операция выполняется с помощью функции "нормализация". Формула расчета Z-оценки следующая:

    где X с двумя черточками сверху - выборочное среднее для группы улиток, использованной в биотесте.
     В упомянутый выше "экселевский" файл все необходимые для расчетов формулы уже должным образом вмонтированы и этим файлом можно пользоваться ни во что не вникая - только результаты в соответствующие ячейки подставлять (Ваши, вместо тех, что там сейчас находятся).  
    Конечным итогом этих расчетов будет Z-оценка. Какие выводы о результатах биотеста она позволяет сделать?
    Z-оценка какого-либо элемента в распределении показывает на сколько единиц стандартных отклонений данный элемент больше или меньше средней его ряда распределения. В том случае, если это распределение близко к нормальному, можно оценить вероятность получения того или иного результата. Таким образом, Z-оценка является, по сути, вероятностной мерой степени отклонения тест-функции от нормы. С помощью Z-оценки легко определить вероятность получения результатов с различными численными значениями.

Рис.4  График плотности вероятности нормального распределения и процент попадания случайной величины на отрезки, равные среднеквадратическому отклонению.

    Посмотрим на картинку, приведенную выше (Рис.4). Это кривая нормального распределения, которая совместно с осью X ограничивает некоторую площадь (площадь под кривой).   Если восстановить перпендикуляр от среднего значения до пересечения с кривой, то вся площадь разобьется на две равные части. Половина всех значений распределения окажется меньше средней, а половина больше. На оси X в обе стороны от значения средней отложены величины стандартных отклонений. Свойство нормального распределения таково, что область, имеющая в своем основании одно стандартное отклонение и примыкающая к средней, охватывает 34,13% от всех возможных результатов. То есть, если Z-оценка какого-либо результата лежит в пределах 0-1, то вероятность получить таковой составляет около 34%. Далее кривая круто понижается и вероятность получения результатов, Z-оценка которых более 1 заметно падает: для интервала 1-2 она составляет только 13.5%. А вот вместе эти два интервала охватят уже 47.5% всех наблюдений. Если рассмотреть область, имеющую своим основанием участок оси X на два стандартных отклонения уходящую в обе стороны от среднего значения распределения (точки, где Z=0), то получится такая картинка:

Рис.5

    Неохваченными останутся только два "хвоста", вероятность попадания в которые составляет только 5%. Эти "хвосты" уходят в бесконечность все более приближаясь к оси X. Несмотря на их немеренную, длину, площадь под ними очень мала Надо отметить, что если быть более точным, то "девяностопятипроцентная" область перекрывается величинами Z-оценок плюс-минус 1.96. Вот теперь вернемся к нашей нулевой гипотезе, предполагающей, что испытуемая вода всегда нетоксична. Допустим, что мы провели биотест и получили результат (у нас это будет выборочная средняя времени поиска пищевой приманки), Z-оценка которого равна 0.5. Мы можем сделать вывод, что нами получен вполне обычный для данного распределения (что по сути означает "для нашей совокупности улиток") результат. Область в плюс-минус 1Z охватывает 68% всех возможных результатов, которые в норме показывают наши улитки. Вот они и показали один из них. Мы принимаем нулевую гипотезу: вода не токсична, так как результат биотестирования обычен. Но вот другой пример. Z-оценка результата равна 2,0 (как на картинке "эксельного" файла в начале статьи), то есть результат оказался в одном из "хвостов" распределения. Вероятность получить результат из области "хвостов" менее 5%***. В норме (то есть в предварительных экспериментах) только 5 шестерок из 100, могли бы показать результаты столь сильно отклоняющиеся от среднего значения. Поэтому вряд ли такой результат можно считать обычным для наших улиток. Мы в праве отвергнуть нулевую гипотезу и признать испытуемую воду токсичной, причем вероятность того, что мы ошиблись составит всего 5%. В таких случаях говорят, что мы отвергли нулевую гипотезу (о нетоксичности) при уровне значимости 0.05. Это стандартный для многих токсикологических исследований уровень. Тестам работающим с такой статистической достоверностью вполне можно доверять.

    На рис.5 в голубом поле показаны значения реального времени для использованной мною популяции улиток. Это позволяет сразу после проведения биотеста подсчитать среднее значение и прикинуть токсична проба иди нет. (Не забывайте, что у вас будет свое распределение значений и цифры будут иными. Только Z-оценки являются универсальными единицами отклонения экспериментальных значений от нормы, а абсолютные цифры - нет).
    Только что мы рассмотрели теоретические основы биотеста. Теперь отметим несколько важных в практическом плане моментов. Все описанные выше теоретические построения абсолютно верны только, если контрольных опытов на предварительном этапе будет сделано очень много (многие сотни). На самом деле так никогда не бывает - делать сотни однообразных опытов лень, да и некогда. Предварительные гонки из 15 заездов, в ходе которых будет получено 60 отдельных результатов, вот тот минимальный объем работы, который необходим для того, чтобы этот тест представлял практическую ценность. При этом его точность будет меньше теоретической, так как в качестве параметров используемого в тесте распределения, характеризующего поведение нашей совокупности улиток, мы использовали не истинные значения среднего и стандартного отклонения, а их оценки, сделанные по выборке с n=60. Впрочем, это обычнейшая ситуация для научных экспериментов - делать очень много отдельных испытаний - это дорого и долго, да и нужды в этом особой нет: с высокой степенью приближения к истине все работает и так. Однако надо иметь в виду, что Z-оценка превосходящая +1.96 или меньшая -1.96 говорит лишь о высокой вероятности токсического действия воды. Для полной уверенности, стоит повторить биотест хотя бы еще на одной шестерке улиток.
    Положительной особенностью этого теста является, то, что он работает в очень широком диапазоне значений Z-оценок. Приведенный ниже рисунок иллюстрирует этот тезис.
 

Рис 6. Пример результата тестирования токсичной воды.

    Совершенно очевидно, что получив результат, отмеченный стрелочкой, можно отбросить прочь все сомнения о токсичности испытуемой воды, а такие результаты в реальной практике не такая уж редкость. Улитки перестают целенаправленно искать корм (то есть выбранная тест-функция исчерпывает свои возможности) при значениях Z больших 7-8. Таким образом, определяемая при тестировании Z-оценка, может использоваться и как мера токсичности, позволяющая сравнивать разные пробы воды между собой. При этом и полученная в опыте Z-оценка равная 3 тоже не должна вызывать никаких сомнений относительно верности нулевой гипотезы, которая в этом случае может быть принята только с вероятностью менее 0.27%. Такой вероятностью смело можно пренебречь.

Вернуться к статье: "Биотестирование в домашних условиях, часть II".

* Такие опыты на самом деле были проведены мною вместе с Н.Е.Шуваловой. Была получена достаточно многочисленная выборка (n=160) и с помощью критерия Колмогорова доказано, что распределение результатов близко к нормальному.

Вернуться к тексту

** С точки зрения статистика выбрасывание крайних значений неправильно. Но тут в силу вступают другие соображения. Мы ведь оцениваем только пищевое поведение улиток. А крайние результаты скорее всего к нему не относятся. Самый быстрый часто получается при случайной находке корма, а последняя улитка, как правило, просто занята чем-то другим (не поиском пищевой приманки). Биотесты, основанные на поведении тест-организма, с точки зрения биолога чувствительны и информативны, но их статистическая обработка всегда представляет собой некоторую "головную боль", в том смысле, что надо обсчитывать именно то поведение, которое характеризует используемую в методе тест-функцию.

Вернуться к тексту

*** Здесь мы рассматриваем так называемых "двусторонний тест", когда не важно в сторону больших или меньших значений отклонился результат. Если мы решим, что токсичность проявляется только в замедлении поиска приманки, то для нас представляла бы интерес только область, лежащая в двух стандартных отклонениях справа от средней. А вероятность попасть туда составляет менее 2,5%.

Вернуться к тексту

Еще статьи о биотестировании и токсичности воды:
Токсичность воды в аквариуме
Биотестирование
Биотестирование воды в домашних условиях, часть I
Биотестирование в домашних условиях, часть II (методика биотеста)