Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > de.comp.lang.java > #13219

Mutation Testing (was: Bit packed array)

Show all headers | View raw

Responding to Joerg Meier:
> On Wed, 10 Oct 2018 16:50:05 +0200, Patrick Roemer wrote:
> 
>> Nur als Scherz am Rande, weil von der Idee her verwandt: Es gab da mal
>> ein Tool[1], das Änderungen im Code vorgenommen hat und dann die Tests
>> dagegen laufen ließ - wenn die noch grün liefen, war die geänderte
>> Stelle nicht hinreichend abgedeckt. Nette Idee, aber die
>> Praxistauglichkeit...
> 
> Das ist gar nicht so laecherlich; mutation testing gibt es immer noch und
> es ist mittlerweile weit genug entwickelt, um normalen unit tests um
> einigest voraus zu sein.
> 
> http://pitest.org/

Das klingt etwas schräg - Mutation Testing operiert doch gerade auf
"normalen Unit-Tests" und fügt denen sozusagen noch eine Metatestebene
hinzu. Ich nehme mal an, gemeint ist, dass solchermassen "gehärtete"
Unit-Tests ihren Kollegen voraus sind.

Gibt es denn da Erfahrungswerte mit Projekten oberhalb von
Additionsserver, Fibonacci und Palindromen? Was konkretes habe ich auf
Anhieb nicht gefunden.

Ich würde erwarten, dass die Laufzeiten immer noch jenseits von gut und
böse sind. Klingt z.B. hier auch so: "Even though mutation testing
reveals defects in code, it should be used wisely, because it is an
extremely costly and time-consuming process."[1] Wie auch anders - die
Laufzeit muss ja mindestens (normale Laufzeit der Tests) x (Anzahl der
Mutationen) sein...

Weiter wäre ich skeptisch, was "false positives" angeht, also dass,
ähnlich wie bei klassischer Coverage, Code angemeckert wird, der gar
nicht getestet werden soll, wie etwa #toString(). Und mich würde
interessieren, wie mit durch Mutationen entstandenen Endlosschleifen,
etc. verfahren wird.

Ich wollte den Ansatz mal spaßeshalber mit einem Scala-Framework[2]
gegen eines meiner Projekte ausprobieren, bin aber sofort in einen
Bug(?)[3] mit Concurrency-Konstrukten gelaufen. :/ (Was natürlich
überhaupt nichts über PIT aussagt.)

Viele Grüße
Patrick

[1] https://www.baeldung.com/java-mutation-testing-with-pitest
[2] https://github.com/sugakandrey/scalamu
[3] https://github.com/sugakandrey/scalamu/issues/5

Back to de.comp.lang.java | Previous | Next — Previous in thread | Next in thread | Find similar

Thread

Bit packed array Heiner Kücker <mail@heinerkuecker.de> - 2018-09-22 19:33 -0700
  Re: Bit packed array Patrick Roemer <sangamon@netcologne.de> - 2018-10-01 09:46 +0200
    Re: Bit packed array Patrick Roemer <sangamon@netcologne.de> - 2018-10-02 10:21 +0200
    Re: Bit packed array Heiner Kücker <mail@heinerkuecker.de> - 2018-10-03 22:05 -0700
      Re: Bit packed array Patrick Roemer <sangamon@netcologne.de> - 2018-10-04 12:07 +0200
        Re: Bit packed array Heiner Kücker <mail@heinerkuecker.de> - 2018-10-04 03:34 -0700
          Re: Bit packed array Heiner Kücker <mail@heinerkuecker.de> - 2018-10-09 23:10 -0700
            Re: Bit packed array Patrick Roemer <sangamon@netcologne.de> - 2018-10-10 16:50 +0200
              Re: Bit packed array Joerg Meier <joergmmeier@arcor.de> - 2018-10-10 20:15 +0200
                Re: Bit packed array Heiner Kücker <mail@heinerkuecker.de> - 2018-10-10 23:17 -0700
                Mutation Testing (was: Bit packed array) Patrick Roemer <sangamon@netcologne.de> - 2018-10-12 12:12 +0200
              Re: Bit packed array Heiner Kücker <mail@heinerkuecker.de> - 2018-10-10 23:23 -0700

csiph-web