Wie man die minimale Stichprobengröße ermittelt, die benötigt wird, um die Leistung eines binären Klassifikators mit einem statistisch signifikanten Ergebnis zu bewerten

Da wollen Sie einen zufälligen binären Klassifikator testen, der unter Nullhypothese oder Alternativhypothese keine geschlossene Form haben darf. Es ist keine gute Option, mit einer bedingten Wahrscheinlichkeit zu beginnen, z. B. P (X> x | Ha).

Ich schlage vor, dass Sie eine simulationsbasierte Methode verwenden, um die empirische Potenz unter einer variierenden Stichprobengröße zu berechnen. Angenommen, Sie haben eine Potenz von 0,9, wenn die Stichprobengröße 1000 beträgt nomineller Pegel, und bewerten Sie dann, wie viele Proben Sie benötigen, um diesen Pegel beizubehalten. Andernfalls können Sie die Stichprobengröße und den Alpha-Level festlegen und dann auswerten, wie viel Leistung Sie für verschiedene Binärklassifikatoren erhalten können.

Sie werden sich auf ein parametrisches oder ein nichtparametrisches Modell stützen, um die Binärantwort basierend auf X zu simulieren (auch simuliert). Am einfachsten ist es, eine lineare Regressionsformel zu verwenden, um eine latente Variable Y aus dem X zu generieren, und dann den Binomial-Zufallszahlengenerator zu verwenden, um das Y in 1 oder 0 zu schneiden.

Anschließend können Sie Ihre Klassifikatoren für die simulierten Daten ausführen und die empirische Leistung berechnen, indem Sie die erkannten über die gesamten Wiederholungen hinweg zählen. Sie generieren beispielsweise 1000 solcher Datensätze und von 900, die Sie testen, weisen eine signifikante Leistung von 90% auf.

Ich muss diese Antwort später aktualisieren, um Einzelheiten zu erfahren, die Ihrem Fall entsprechen, aber die allgemeine Idee ist so.

Kommt mir nicht richtig vor. Woher hast du 1067? Und woher haben Sie die Gleichung [math] \ frac {Z ^ 2 p (1-p)} {c ^ 2} [/ math]? Die Plus-Stichprobengröße wird normalerweise berechnet, wenn Sie eine Nullhypothese und eine alternative Hypothese haben. Die sehe ich nicht

More Interesting

Was sind einige Möglichkeiten für eine neue Diplom-Software-Ingenieurin, um Mentoren zu finden?

Braucht ein Startup eine klare Vision, um erfolgreich zu sein?

Wie man lernt, eine Website zu erstellen und ein Geschäft online zu betreiben

Besitze ich die Idee, wenn ein potenzielles Teammitglied eine Funktionsanforderung vorschlägt, und habe ich sie mit einer vorhandenen Funktion kombiniert, um eine neue Idee zu bilden?

Was sind die Herausforderungen bei der Implementierung von Agile in Startups im Vergleich zur Implementierung in großen Organisationen?

Haben Sie einen Vorschlag für mein Startup-Namensdilemma?

Was sollte ich als CEO und Non-Tech-Mitbegründer tun, bevor wir meine Technologie auf den Markt bringen? Mitbegründer kodiert?

Wie starte ich eine Schule in Tamilnadu?

Gibt es eine Checkliste für Fähigkeiten, die ich wissen muss, um ein Startup zu gründen?

Ist es sinnvoll, Mitarbeiter nicht als Vizepräsidenten, sondern als Direktoren in ein Startup einzubeziehen (vorausgesetzt, es sind zu diesem Zeitpunkt keine anderen Senioren in dieser Position)?

Welches Jobangebot soll ich annehmen, das kleine Startup oder der größere Corporate Job?

Kannst du nach einem gescheiterten Startup, das du gegründet hast, einen guten Job bekommen?

Benötigen Unternehmen wie Yumist, Meal Hopper und andere Unternehmen, die hausgemachte Lebensmittel anbieten, eine Lizenz, um ihr Geschäft zu starten, und was?

Welche Vorschläge haben Sie für ein Web-Startup, um eine Idee zu testen?

Was muss ich lernen, um ein Startup zu gründen? Welche Bücher soll ich lesen?