Τα γεγονότα της ιστορίας «Σημάδι των τεσσάρων» λαμβάνουν χώρα στο Λονδίνο το 1888. Κατά τη διάρκεια μιας αναγκαστικής αδράνειας λόγω της έλλειψης παραγγελιών, ο γνωστός σύμβουλος ντετέκτιβ Σέρλοκ Χολμς, που ζει στις 221-6 στην Baker Street, μαζί με τον φίλο του Δρ. την αφαιρετική του μέθοδο, την οποία χρησιμοποιεί για την επίλυση εγκλημάτων. Ο Σέρλοκ Χολμς είναι πεπεισμένος ότι ένα παρατηρητικό άτομο μπορεί να αποδείξει την ύπαρξη του Ατλαντικού Ωκεανού και των Καταρράκτες του Νιαγάρα με λογικά συμπεράσματα, ακόμα κι αν δεν τους είχε δει ποτέ πριν και δεν είχε ακούσει τίποτα για αυτά. Πρέπει να σημειωθούν οι μικρότερες λεπτομέρειες και γεγονότα, καθώς είναι ικανά να συμβάλουν ανεκτίμητα στην ανακατασκευή της πλήρους εικόνας των γεγονότων, της φύσης του ατόμου και των περιστάσεων του εγκλήματος.
Όντας ένας λαμπρός ντετέκτιβ, ο Σέρλοκ Χολμς διαθέτει εγκυκλοπαιδικές γνώσεις στον τομέα του εγκληματικού χρονικού και της χημείας, παίζει καλά το βιολί, έχει εξαιρετικές δεξιότητες περίφραξης και πυγμαχίας, είναι καλά γνώστης της γεωλογίας, της ανατομίας, της βοτανικής, έχει ένα εξαιρετικό ταλέντο δράσης, αλλά στον τομέα της λογοτεχνίας, φιλοσοφία, αστρονομία, η γνώση του είναι μηδέν. Τις ώρες που δεν έχει να κάνει, δέχεται τη θανατηφόρα πλήξη και βρίσκει παρηγοριά στη μορφίνη και την κοκαΐνη.
Ο Δρ Watson, ένας φίλος και σύντροφος του Sherlock Holmes, πρώην στρατιωτικού γιατρού που υπηρέτησε με τον αγγλικό στρατό στον Ινδικό πόλεμο με το Αφγανιστάν και τραυματίστηκε σε αυτόν τον πόλεμο, ζει με τον Holmes στο ίδιο διαμέρισμα και είναι χρονογράφος όλων των περιπτώσεων που αποκάλυψε ο φίλος του.
Προς μεγάλη χαρά του Σέρλοκ Χολμς, η προσωρινή αδράνεια του διακόπτεται από μια συγκεκριμένη κυρία Μόρστεν, είκοσι επτά ετών, με ένα πνευματικό και ευγενικό πρόσωπο, που μαρτυρεί την ευγένεια και τη συμπάθεια της ψυχής. Λέει στον ντετέκτιβ περίεργα γεγονότα που συνέβησαν πρόσφατα στη ζωή της και του ζητά βοήθεια. Στην παιδική ηλικία, έχασε τη μητέρα της. Ο πατέρας, ο οποίος υπηρέτησε ως αξιωματικός στην Ινδία, έστειλε την κόρη του σε ένα πανσιόν στην Αγγλία. Το 1878, δηλαδή, πριν από δέκα χρόνια, έφτασε στην Αγγλία, όπως είχε ανακοινωθεί προηγουμένως σε ένα τηλεγράφημα. Ωστόσο, όταν η Miss Morsten έφτασε στο ξενοδοχείο, ανακάλυψε ότι ο πατέρας της είχε εξαφανιστεί ξαφνικά. Δεν επέστρεψε την επόμενη μέρα, δεν επέστρεψε ποτέ ξανά. Στη συνέχεια, ξεκινώντας το 1882, ξαφνικά άρχισε να λαμβάνει ένα πολύ όμορφο και μεγάλο μαργαριτάρι από κάποιον κάθε χρόνο. Και την ημέρα της επίσκεψής της στο Χολμς, έλαβε μια επιστολή στην οποία της ζητήθηκε να έρθει στο Λύκειο το βράδυ, αναφέροντας ότι είχε υποστεί άδικη μεταχείριση και ότι κάποιος ήθελε να διορθώσει αυτήν την αδικία.
Ο Σέρλοκ Χολμς και ο Δρ Watson πηγαίνουν στο υποδεικνυόμενο μέρος μαζί της. Πριν φύγει, δείχνει στον Χολμς μια παράξενη νότα, που βρέθηκε στα υπάρχοντα του αγνοούμενου Μόρστεν, η οποία απεικόνιζε ένα σχέδιο κάποιας αίθουσας, με τέσσερις σταυρούς ζωγραφισμένους στη σειρά στο ίδιο μέρος, με εγκάρσιες δοκούς σε επαφή μεταξύ τους και με μια επιβλητική υπογραφή: "σημάδι τεσσάρων." Το άτομο που συνάντησαν τους οδηγεί σε ένα ταξί στο νότιο Λονδίνο. Εκεί συναντούν έναν μικρό κοκκινομάλλη άνδρα με λαμπερό φαλακρό κεφάλι. Αποδεικνύεται ότι είναι ένας από τους δίδυμους γιους του Ταγματάρχη Sholto, ο οποίος πέθανε πριν από έξι χρόνια, ο Tadeusz Sholto. Ο πατέρας και ο πατέρας του Μις Μόρστεν κάποτε υπηρετούσαν μαζί στην Ινδία στις αποικιακές δυνάμεις. Εκεί, ο Ταγματάρχης Sholto, μυστηριώδης πλούσιος, παραιτήθηκε πριν από έντεκα χρόνια και επέστρεψε στην Αγγλία με μια πλούσια συλλογή από ανατολίτικες σπάνιες και ένα ολόκληρο προσωπικό από γηγενείς υπηρέτες. Ο μεγαλοπρεπής δεν αποκάλυψε το μυστικό της απόκτησης θησαυρών και πού φυλάχτηκαν μέχρι το θάνατό του. Αισθώντας την προσέγγισή της, κάλεσε τους γιους του και του είπε πώς πέθανε ο καπετάνιος Μόρστεν. Αποδείχθηκε ότι, όταν έφτασε στο Λονδίνο πριν από δέκα χρόνια, ήρθε στο Sholto και είχαν μια διαμάχη για τη διαίρεση των θησαυρών, για τους οποίους ο Morsten γνώριζε και οι μισοί οφείλονταν σε αυτόν. Αυτός, που πάσχει από πονεμένη καρδιά, είχε επίθεση Στη συνέχεια έπεσε και, αφού χτύπησε το κεφάλι του στη γωνία του θησαυρού, πέθανε. Φοβούμενος ότι θα κατηγορηθεί για δολοφονία, ο Σόλτο έκρυψε το σώμα του καπετάνιου και δεν είπε τίποτα στην κόρη του όταν, λίγες μέρες αργότερα, ψάχνοντας τον πατέρα του που έλειπε, ήρθε στο σπίτι του. Πριν από το θάνατό του, ήθελε επίσης να αποκαλύψει στους γιους του πού ήταν κρυμμένο το ίδιο το φέρετρο, αλλά ένα φοβερό πρόσωπο έξω από το παράθυρο τον εμπόδισε να το κάνει. Πέθανε, παίρνοντας το μυστικό μαζί του στον τάφο. Οι γιοι του, αισθανμένοι καθήκον στη Miss Morsten και θέλοντας να την απαλλάξουν από την ελάχιστη ανάγκη, άρχισαν να της στέλνουν κάθε χρόνο ένα μαργαριτάρι από μαργαριτάρι, που απομακρύνθηκε από τον πατέρα τους από το φέρετρο. Προς το παρόν, ο Tadeusz Sholto και ο αδελφός του Bartholomew δεν ήξεραν καν πού κρύβονταν οι ίδιοι τα πλούτη. Ωστόσο, την προηγούμενη μέρα, μετά από πολλά χρόνια ανεπιτυχείς αναζητήσεις, ο Βαρθολομαίος τις βρήκε στη σοφίτα του σπιτιού του, σε ένα μυστικό περιφραγμένο δωμάτιο. Το ανέφερε στον Tadeusz. Αυτός, παρά τις αντιρρήσεις του αδελφού του, ο οποίος κληρονόμησε την πείνη του από τον πατέρα του, αποφάσισε να μοιραστεί τους θησαυρούς με τη Miss Morsten. Και οι τέσσερις πηγαίνουν στο Bartholomew. Ωστόσο, ανακαλύπτουν ότι σκοτώθηκε από ένα δηλητηριώδες αγκάθι που ρίχτηκε στο λαιμό του, ότι οι θησαυροί είχαν κλαπεί και ότι ένα κομμάτι χαρτί με το «σημάδι των τεσσάρων» έμεινε στη σκηνή του εγκλήματος.
Μικρές λεπτομέρειες κάνουν τον Σέρλοκ Χολμς να υποθέσει ότι δύο άνθρωποι είναι οι εγκληματίες - ένας φυλακισμένος κατάδικος που ονομάζεται Jonathan Small, ο οποίος έχει μια ξύλινη πρόσθεση αντί για το δεξί του πόδι, και ο νούμερο ένα, ένας άγριος από τα νησιά Andaman, είναι μικρός, πολύ θυμωμένος και ευκίνητος. Αφού βοήθησε τον Small μαζί με το φέρετρο να κατεβεί το σχοινί από το παράθυρο, έκλεισε τα παραθυρόφυλλα από μέσα και βγήκε από τη σοφίτα. Ενώ έφυγε, το πόδι του βρώμικο στο κρεόσωτο, και ο Χολμς, με τη βοήθεια του σκύλου sniffer Toby, ακολούθησε τα βήματά του στο ποτάμι. Εκεί έμαθε ότι οι εγκληματίες επιβιβάστηκαν σε μισθωμένο σκάφος Aurora. Όταν το σχέδιο του Χολμς να εντοπίσει μια βάρκα με τη βοήθεια μίσθωσης συμμοριών αγοριών, αυτός, ντυμένος ως γέρος ναύτης, ξεκινά να ψάχνει για την Aurora και προσπαθεί να την βρει στις αποβάθρες. Επιτυγχάνει. Καλεί τη βοήθεια του επιθεωρητή της Σκωτίας Yard Ethelny Jones που ερευνά τη δολοφονία, και, μαζί με τον Δρ Watson, κυνηγούν ένα αστυνομικό σκάφος και πιάνουν τους εγκληματίες με ένα φέρετρο. Όταν κυνηγάει έναν άγριο, πρέπει να σκοτωθεί, γιατί αρχίζει να πυροβολεί τους διώκτες του με τα δηλητηριώδη αγκάθια του. Ο Δρ. Watson παίρνει το φέρετρο στη Miss Morsten, αλλά στο τέλος αποδεικνύεται ότι είναι άδειο, το οποίο ο γιατρός είναι εξαιρετικά χαρούμενος επειδή το εμπόδιο που, κατά τη γνώμη του, έχει προκύψει μεταξύ αυτού και της νέας γυναίκας λόγω του φερόμενου πλούτου της, εξαφανίζεται. Τώρα μπορεί ελεύθερα να ομολογήσει την αγάπη της και να προσφέρει το χέρι και την καρδιά του. Η Miss Morsten θεωρεί την προσφορά του πολύ ελκυστική. Μικρός, συνειδητοποιώντας ότι αναπόφευκτα θα παγιδευτεί, έριξε τα κοσμήματα στον Τάμεση, επειδή δεν ήθελε να αφήσει κανέναν άλλο να το πάρει. Ο θάνατος του Βαρθολομαίου Σόλτο δεν ήταν μέρος των σχεδίων του, και δεν τον σκότωσε, αλλά ο κακός άγριος χωρίς τη γνώση του Μικρού. Για να πείσει τους Sherlock Holmes και Ethelney Jones για αυτό, τους λέει την ιστορία της ζωής του. Στη νεολαία του, στρατολογήθηκε ως στρατιώτης στο σύνταγμα, που στάλθηκε στην Ινδία. Ωστόσο, σύντομα έπρεπε να χωρίσει με την υπηρεσία: όταν λούστηκε στην Τάνγκα, ο κροκόδειλος έπεσε από το πόδι του πάνω από το γόνατο και έγινε αβοήθητος ανάπηρος. Στη συνέχεια, όταν εργάστηκε ως επιτηρητής σε μια φυτεία, μια ταραχή ξεκίνησε ξαφνικά στη χώρα. Ο Μικρός έσπευσε να φτάσει στην Άγκρα και προσχώρησε στη βρετανική μονάδα που είχε καταφύγει στο φρούριο της Άγκρα. Του ανέθεσε να φυλάσσει μία από τις εισόδους στο φρούριο και του δόθηκε δύο Σιχ. Την τρίτη νύχτα, οι Σιχ συνέλαβαν τον Small και τον αντιμετώπισαν με μια επιλογή: να είναι μαζί τους ή να κλείσουν για πάντα. Του είπαν για το σχέδιό τους: στις βόρειες επαρχίες ζούσε ένας πολύ πλούσιος βασιλιάς. Διέταξε μέρος του πλούτου του να κρύψει τον υπηρέτη Akhmet στο φρούριο της Άγκρα μέχρι το τέλος του πολέμου, έτσι ώστε σε περίπτωση νίκης των Βρετανών να σώσει τουλάχιστον αυτό το στήθος. Οι σύντροφοι των Σιχ και του Akhmet, ο συνεργός τους, ήθελαν να τον σκοτώσουν και να καταλάβουν το φέρετρο. Ο Μικρός αποφάσισε να συμμετάσχει και να ορκιστεί σε αυτούς. Και οι τέσσερις πραγματοποίησαν το σχέδιό τους. Κρύβουν τον δολοφονημένο Akhmet σε μια από τις αίθουσες του παλιού φρουρίου, όπου κανείς δεν είχε εισέλθει ποτέ. Το στήθος ήταν στοιχισμένο στον τοίχο της ίδιας αίθουσας. Καθένας από αυτούς έλαβε ένα σημείωμα με σχέδιο και συμβόλιζε την πιστότητά τους μεταξύ τους με το «σημάδι των τεσσάρων». Ωστόσο, στη συνέχεια καταδικάστηκαν σε ισόβια κάθειρξη για δολοφονία. Κατά την εκτέλεση των ποινών τους, δεν μπορούσαν να χρησιμοποιήσουν τον πλούτο τους. Τότε ο Small συμφώνησε με τον Sholto και τον Morsten, που φύλαγαν τη φυλακή, ότι θα τους έλεγε πού ήταν κρυμμένο το φέρετρο, θα λάβουν το μερίδιό τους, και σε αντάλλαγμα θα οργανώσουν μια απόδραση για τους τέσσερις κρατούμενους. Ο Sholto, ο οποίος πήγε για το φέρετρο, εξαπάτησε όλους και επέστρεψε μόνο στην Αγγλία. Από τότε, ο Small άρχισε να ζει μόνο με τη σκέψη της εκδίκησης. Έφυγε από τη φυλακή με τη βοήθεια ενός φίλου - ενός ντόπιου που ονομάζεται Tongo. Στην Αγγλία, έκανε επαφή με έναν από τους υπηρέτες του Ταγματάρχης Σολτό και περίμενε τη σωστή στιγμή. Ήταν ο Μικρός που κοίταξε έξω από το παράθυρο στον ταγματάρχη. Περιμένοντας στα φτερά, έκλεψε τους θησαυρούς. Για τον θάνατο του Βαρθολομαίου, ξεσφίγγισε τον Τόνγκο με σχοινί. Αυτή ήταν η ιστορία του Jonathan Small.
Οι θησαυροί δεν πήγαν σε κανέναν. Ο Δρ Watson έλαβε τη σύζυγο της Miss Morsten, Ethelney Jones - φήμη για το λυμένο έγκλημα και ο Holmes ήταν ικανοποιημένος με μια αμπούλα κοκαΐνης.