Λεπτομερής επεξήγηση των διαφορών μεταξύ PCIe 5.0 και PCIe 6.0

Επίγραμμα: Από 32GT/s σε 64GT/s, μπορεί να φαίνεται απλώς διπλασιασμός της ταχύτητας, αλλά πίσω από αυτό κρύβεται μια πλήρης μεταμόρφωση της τεχνικής διαδρομής.

Εισαγωγή: Περισσότερα από τον διπλασιασμό της ταχύτητας

Αφού εργάστηκα στον κλάδο των διακομιστών τεχνητής νοημοσύνης και των κέντρων δεδομένων για τόσα χρόνια, η ερώτηση που μου κάνουν πιο συχνά είναι: Ποια είναι η πραγματική διαφορά μεταξύ του PCIe 5.0 και του 6.0; Δεν είναι απλώς διπλασιασμός της ταχύτητας;

Κάθε φορά που ακούω αυτήν την ερώτηση, πρέπει να την αναλύσω για όλους: Η αναβάθμιση από το PCIe 5.0 σε 6.0 είναι πολύ πιο δραματική από τις προηγούμενες γενιές. Από 3,0 σε 4,0 και 4,0 σε 5,0, αν και η ταχύτητα διπλασιάστηκε επίσης, η τεχνική διαδρομή παρέμεινε βασικά η ίδια—και οι δύο χρησιμοποιούσαν κωδικοποίηση NRZ και παρόμοιες αρχιτεκτονικές εξισορρόπησης. Αλλά από το 5.0 στο 6.0, έχει αντικατασταθεί πλήρως η τεχνική βάση του φυσικού στρώματος.

Για να βοηθήσω όλους να καταλάβουν πόσο εμπεριστατωμένη είναι αυτή η αναβάθμιση, έχω συγκεντρώσει μια λεπτομερή σύγκριση που είναι εύκολα κατανοητή, χωρίς να χρειάζεται να το σκεφτείτε υπερβολικά.

Πρώτον, ακολουθεί ένας πίνακας συγκρίσεων βασικών παραμέτρων, ώστε να μπορείτε να δείτε τις διαφορές με μια ματιά:

Στη συνέχεια, θα αναλύσω τι κρύβεται πίσω από καθεμία από αυτές τις διαφορές μία προς μία, χρησιμοποιώντας απλή γλώσσα σε όλη τη διάρκεια — χωρίς ασαφή ορολογία, οπότε εγγυώμαι ότι όλοι μπορούν να την καταλάβουν.

1. Μέθοδος κωδικοποίησης: Μια θεμελιώδης μετατόπιση από το NRZ στο PAM4

Αυτή είναι η βασική διαφορά μεταξύ των δύο γενεών, και μόλις το καταλάβετε, όλες οι άλλες διαφορές θα είναι εύκολο να κατανοηθούν.

Το PCIe 5.0 και όλες οι προηγούμενες εκδόσεις χρησιμοποιούν κωδικοποίηση NRZ, γνωστή και ως κωδικοποίηση Non-Return-to-Zero, ή PAM2 για συντομία. Με απλά λόγια, στέλνει 1 bit ανά μεσοδιάστημα μονάδας (στην καθομιλουμένη, "κάθε σύντομο χρόνο μετάδοσης")—είτε 0 είτε 1. Το διάγραμμα ματιού σήματος (το οποίο μπορείτε να σκεφτείτε ως διάγραμμα "ευκρίνειας" του σήματος) είναι ένα μεγάλο "μάτι", το οποίο είναι πολύ διαισθητικό.

Το PCIe 6.0, ωστόσο, χρησιμοποιεί κωδικοποίηση PAM4 (Τεσσάρων επιπέδων Pulse Amplitude Modulation) για πρώτη φορά. Το πλεονέκτημά του είναι ότι μπορεί να στείλει 2 bit ανά μεσοδιάστημα μονάδας, που αντιστοιχούν σε τέσσερα επίπεδα: 00, 01, 10 και 11. Ως αποτέλεσμα, το οφθαλμικό διάγραμμα σήματος γίνεται τρία μικρά "μάτια" στοιβαγμένα μαζί, που ισοδυναμεί με την τοποθέτηση διπλάσιων πληροφοριών στο ίδιο χρονικό διάστημα.

Πολλοί άνθρωποι μπορεί να ρωτήσουν: Πώς μπορεί το PAM4 να διπλασιάσει την ταχύτητα χωρίς να αυξήσει τη συχνότητα;

Στην πραγματικότητα είναι πολύ απλό: Η συχνότητα Nyquist του PCIe 5.0 είναι 16 GHz (μισή από 32 GT/s). Αφού το PCIe 6.0 υιοθετήσει το PAM4, αν και η ταχύτητα διπλασιάζεται στα 64 GT/s, η συχνότητα του Nyquist παραμένει 16 GHz—επειδή μεταδίδει 1 επιπλέον bit ανά μεσοδιάστημα μονάδας. Αυτό σημαίνει ότι η θεμελιώδης συχνότητα του σήματος δεν αλλάζει, επομένως οι απαιτήσεις συχνότητας για την πλακέτα τυπωμένου κυκλώματος (PCB) και τους συνδέσμους δεν αυξάνονται σημαντικά και η απόσταση μετάδοσης μπορεί να είναι παρόμοια με αυτή του 5,0, χωρίς να χρειάζεται να τροποποιηθεί ο σχεδιασμός μετάδοσης υλικού.

Αλλά δεν υπάρχει δωρεάν μεσημεριανό γεύμα - το PAM4 έχει επίσης τα μειονεκτήματά του, τα οποία πρέπει να ξεκαθαρίσουμε:

1.  Υποβαθμισμένη ευκρίνεια σήματος: Το συνολικό πλάτος τάσης είναι σταθερό και καθένα από τα τρία "μικρά μάτια" του PAM4 είναι μόνο το ένα τρίτο του ύψους του "μεγάλου ματιού" του NRZ. Θεωρητικά, η ευκρίνεια σήματος (αναλογία σήματος προς θόρυβο) του PAM4 είναι περίπου 9,5 dB χειρότερη από αυτή του NRZ, πράγμα που σημαίνει απλώς ότι είναι πιο επιρρεπές σε παρεμβολές.

2.  Ασθενέστερη ικανότητα κατά των παρεμβολών: Είτε πρόκειται για παρεμβολές τροφοδοσίας, αλληλεπιδράσεις μεταξύ σημάτων ή ανάκλαση σήματος, όλα είναι πιο πιθανό να προκαλέσουν σφάλματα bit (σφάλματα μετάδοσης δεδομένων) σε ένα σύστημα PAM4.

3.  Πιο ενοχλητικές δοκιμές: Στο παρελθόν, τα σήματα δοκιμών απαιτούσαν μόνο τη μέτρηση ενός "μεγάλου ματιού", αλλά τώρα πρέπει να μετρήσουμε τρία "μικρά μάτια" και να δώσουμε προσοχή σε νέους δείκτες όπως η γραμμικότητα (RLM), που αυξάνει σημαντικά τη δυσκολία και το κόστος της δοκιμής.

2. Δομή ροής δεδομένων: Η λειτουργία Flit είναι υποχρεωτική

Το PCIe 5.0 εξακολουθεί να χρησιμοποιεί την παλιά μέθοδο: την κωδικοποίηση 128b/130b, η οποία έχει "υπέρβαρο" περίπου 1,5% (που σημαίνει ότι κατά τη μετάδοση δεδομένων, πρέπει να στείλετε λίγο επιπλέον άσχετο βοηθητικό περιεχόμενο). Υποστηρίζει επίσης πακέτα TLP ("πακέτα" δεδομένων για μετάδοση) διαφορετικών μεγεθών, μια λειτουργία που ονομάζεται "Non-Flit". Κάθε «πακέτο» έχει τη δική του επιταγή (CRC), η οποία ισοδυναμεί με μια αποκλειστική «ετικέτα κατά της παραχάραξης» για κάθε πακέτο.

Για να ταιριάζει με την κωδικοποίηση PAM4 και την τεχνολογία διόρθωσης σφαλμάτων FEC που θα συζητήσουμε αργότερα, το PCIe 6.0 πρέπει να ενεργοποιήσει τη λειτουργία Flit (με απλά λόγια, "πακέτα δεδομένων" σταθερού μεγέθους). Ένα Flit είναι ένα μπλοκ δεδομένων σταθερού μήκους—256 byte—και η εσωτερική του δομή είναι ξεκάθαρη και χωρίζεται σε:

- 235 byte TLP: Τα βασικά δεδομένα που πρέπει πραγματικά να μεταδοθούν

- 6 byte DLP: Ισοδύναμο με μια "ετικέτα μεσαίου επιπέδου" για τα δεδομένα, υπεύθυνη για τη σύνδεση μετάδοσης επιπέδου σύνδεσης

- 8 byte CRC: Ένας κωδικός ελέγχου που χρησιμοποιείται για την επαλήθευση εάν τα δεδομένα μεταδόθηκαν σωστά

- 6 byte FEC: "Δεδομένα αντιγράφων ασφαλείας" για διόρθωση σφαλμάτων, τα οποία θα εξηγήσουμε λεπτομερώς αργότερα

Πολλοί άνθρωποι μπορεί να αναρωτηθούν: Γιατί πρέπει να χρησιμοποιούμε "πακέτα" σταθερού μεγέθους; Οι λόγοι είναι απλοί, μόνο τρία σημεία:

1.  Βολικό για τη διόρθωση σφαλμάτων FEC: Η διόρθωση σφάλματος FEC υπολογίζεται σε μπλοκ σταθερού μήκους και ένα Flit είναι ακριβώς μια πλήρης μονάδα επεξεργασίας — δεν χρειάζεται να το χωρίσετε, καθιστώντας το πιο αποτελεσματικό.

2.  Μειωμένες επιβαρύνσεις: Τα παλιά επιπλέον έξοδα, όπως οι κεφαλίδες συγχρονισμού και τα διακριτικά πλαισίου, έχουν βελτιστοποιηθεί. Αν και τα πακέτα είναι σταθερού μεγέθους, η συνολική χρήση του εύρους ζώνης είναι πραγματικά βελτιωμένη.

3.  Ευκολότερος χειρισμός σφαλμάτων: Αρχικά, το FEC διορθώνει επιτόπου μικρά διορθώσιμα σφάλματα και μετά ελέγχει ξανά το CRC. Εάν δεν μπορεί να διορθωθεί, ξεκινά μια αναμετάδοση. Η διαδικασία είναι ξεκάθαρη και δεν συνεπάγεται προβλήματα μπρος-πίσω.

3. Ρυθμός σφάλματος bit και μηχανισμός διόρθωσης σφαλμάτων: Πρόσφατα προστέθηκε Λειτουργία διόρθωσης σφάλματος FEC

Το PCIe 5.0 έχει πολύ αυστηρές απαιτήσεις για σφάλματα μετάδοσης δεδομένων: το ποσοστό σφάλματος bit από άκρο σε άκρο (απλώς η πιθανότητα λανθασμένης μετάδοσης δεδομένων) δεν πρέπει να υπερβαίνει το 1E-12, δηλαδή το πολύ 1 bit σφάλμα για κάθε 1 τρισεκατομμύριο bit που μεταδίδονται. Βασίζεται στην τεχνολογία εξισορρόπησης φυσικών επιπέδων συν αναμετάδοση του επιπέδου σύνδεσης, χωρίς αποκλειστική λειτουργία διόρθωσης σφαλμάτων.

Επειδή η κωδικοποίηση PAM4 είναι εγγενώς πιο επιρρεπής σε σφάλματα bit, το PCIe 6.0 προσθέτει συγκεκριμένα μια ελαφριά διόρθωση σφαλμάτων προς τα εμπρός (FEC για συντομία· στην καθομιλουμένη, "αντίγραφο ασφαλείας διόρθωσης σφαλμάτων" που μεταφέρεται κατά τη μετάδοση). Η προδιαγραφή ορίζει επίσης έναν νέο δείκτη που ονομάζεται FBER (First Bit Error Rate), ο οποίος απαιτεί ≤ 1E-6. Αν και αυτό φαίνεται πιο χαλαρό από την απαίτηση του 5.0, με τη βοήθεια FEC, η συνολική ικανότητα διόρθωσης σφαλμάτων είναι στην πραγματικότητα ισχυρότερη.

Πώς λειτουργεί το FEC; Είναι απλό: Κατά την αποστολή δεδομένων, υπολογίζονται 6 byte περιττών πληροφοριών FEC (δηλαδή "εφεδρικά δεδομένα") για κάθε Flit και αποστέλλονται μαζί με αυτό. Μετά τη λήψη, ο δέκτης χρησιμοποιεί πρώτα το FEC για να διορθώσει επιτόπου μικρά διορθώσιμα σφάλματα. Εάν το σφάλμα είναι πολύ μεγάλο για να το διορθώσει το FEC, το CRC το εντοπίζει και ξεκινά μια αναμετάδοση.

Τα πλεονεκτήματα αυτού του μηχανισμού δύο σταδίων «FEC πρώτα για διόρθωση σφαλμάτων, μετά CRC για επαλήθευση σφαλμάτων» είναι ιδιαίτερα προφανή:

- Τα περισσότερα μικρά σφάλματα ενός bit μπορούν να διορθωθούν απευθείας από το FEC χωρίς αναμετάδοση, διατηρώντας τον λανθάνοντα χρόνο υπό έλεγχο και χωρίς επιβράδυνση της συνολικής ταχύτητας.

- Η πιθανότητα αναμετάδοσης είναι πολύ χαμηλή, ελέγχεται εντός 5E-6 και η πρόσθετη κατανάλωση εύρους ζώνης είναι μόνο περίπου 0,05%, κάτι που μετά βίας επηρεάζει την κανονική χρήση.

- Σε σύγκριση με το RS-FEC του Ethernet (λανθάνουσα κατάσταση περίπου 100 νανοδευτερόλεπτα), το ελαφρύ FEC του PCIe 6.0 έχει πολύ χαμηλότερο χρόνο καθυστέρησης και δεν επηρεάζει την κανονική λειτουργία των συσκευών.

4. Receiver Equalization: Σημαντική αναβάθμιση στην ικανότητα διόρθωσης σφαλμάτων

Κατά τη μετάδοση σήματος υψηλής ταχύτητας, τα σήματα εξασθενούν—όπως ακριβώς ο ήχος γίνεται πιο ήσυχος όσο πιο μακριά ταξιδεύει. Αυτή τη στιγμή, η τεχνολογία "εξισορρόπησης" είναι απαραίτητη για την αντιστάθμιση, επιτρέποντας στον δέκτη να λάβει καθαρά το σήμα. Το DFE αναφοράς του PCIe 5.0 (Εξίσωση ανάδρασης απόφασης, ένας τύπος τεχνολογίας διόρθωσης σφαλμάτων) έχει 3 πατήματα, που ισοδυναμούν μόνο με 3 "βοηθούς διόρθωσης σφαλμάτων".

Επειδή τα σήματα PAM4 είναι πιο επιρρεπή σε παρεμβολές, το PCIe 6.0 έχει υψηλότερες απαιτήσεις για δυνατότητα διόρθωσης σφαλμάτων. Το DFE αναφοράς μεταβαίνει σε 16 πατήματα—που ισοδυναμεί με πολλές φορές περισσότερους "βοηθούς διόρθωσης σφαλμάτων". Η ικανότητα επεξεργασίας ψηφιακού σήματος του δέκτη είναι επίσης σημαντικά βελτιωμένη, ικανή να εξαλείψει καλύτερα τις "παρεμβολές ουράς" (την επιπλέον παρεμβολή που απομένει μετά τη μετάδοση του σήματος).

Επιπλέον, το CTLE (Continuous Time Linear Equalization) έχει επίσης αναβαθμιστεί, από 4 πόλους/2 μηδενικά σε 6 πόλους/3 μηδενικά, με ισχυρότερη ικανότητα αντιστάθμισης της εξασθένησης του σήματος.

Πολλοί άνθρωποι μπορεί να ρωτήσουν: Γιατί χρειαζόμαστε τόσους πολλούς "βοηθούς διόρθωσης σφαλμάτων" (taps); Επειδή τα τρία "μικρά μάτια" του PAM4 έχουν διαφορετικές απαιτήσεις εξισορρόπησης - ειδικά τα πάνω και κάτω μάτια, τα οποία είναι πιο ευαίσθητα σε μη γραμμικές παρεμβολές. Μόνο ένα ισχυρότερο DFE μπορεί να ρυθμίσει και τα τρία "μικρά μάτια" ώστε να είναι καθαρά, διασφαλίζοντας ότι το σήμα μπορεί να ληφθεί κανονικά.

5. Ακεραιότητα σήματος: Αυστηρότερες απαιτήσεις, Δεν υπάρχει χώρος για συμβιβασμούς

Είναι σαφές από τον παραπάνω πίνακα παραμέτρων ότι οι απαιτήσεις δοκιμών του PCIe 6.0 είναι πολύ αυστηρότερες από τις απαιτήσεις του 5.0. Ας αναλύσουμε ακριβώς πόσο αυστηροί είναι, ένα προς ένα:

- Rx Test Eye Height: Μειώθηκε από 15mV σε 5,0 σε 6mV σε 6,0 (μόνο για το επάνω μάτι), που ισοδυναμεί με υπερδιπλασιασμό του "προτύπου ευκρίνειας" για σήματα.

- Rx Test Eye Width: Μειώθηκε από 9.375ps σε 5.0 σε 3.125ps σε 6.0 (ακόμα για το επάνω μάτι), γεγονός που αυξάνει επίσης σημαντικά την απαίτηση για ακρίβεια χρόνου.

- Απαίτηση Jitter Ρολογιού Αναφοράς: Σφίγγεται από ≤0,25ps RMS σε ≤0,15ps RMS. Με απλά λόγια, η απαίτηση σταθερότητας ρολογιού είναι υψηλότερη, χωρίς περιθώρια απόκλισης.

- Προϋπολογισμός απώλειας καναλιού: Μειώθηκε από 36dB @16GHz σε 32dB @16GHz, που σημαίνει ότι η εξασθένηση του σήματος κατά τη μετάδοση δεν μπορεί να είναι πολύ μεγάλη και οι απαιτήσεις υλικού είναι πιο αυστηρές.

Αυτό σημαίνει ότι τα σχέδια που ήταν «αρκετά καλά» στην εποχή του PCIe 5.0 θα είναι εντελώς άχρηστα στην εποχή του 6.0. Κάθε τρύπα στο PCB, κάθε χιλιοστό καλωδίωσης και κάθε υποδοχή πρέπει να ελέγχονται με ακρίβεια—δεν υπάρχει χώρος για απροσεξία.

Υπάρχουν πολλές βασικές προκλήσεις εδώ, τις οποίες θα επισημάνω για όλους:

1.  Υλικό PCB: Πρέπει να χρησιμοποιούνται υλικά εξαιρετικά χαμηλών απωλειών, όπως το MEGTRON 7 και το RO4835. Τα συνηθισμένα υλικά FR-4 που χρησιμοποιούμε συνήθως δεν αντέχουν την εξασθένηση του σήματος στα 32 GHz και θα προκαλέσουν εύκολα σφάλματα μετάδοσης δεδομένων εάν χρησιμοποιηθούν.

2.  Συνδέκτες: Οι υποδοχές επιφανειακής τοποθέτησης έχουν γίνει στάνταρ και η διαδικασία προσαρμογής με πίεση πρέπει να είναι εξαιρετικά ακριβής. Μια μικρή απόκλιση θα επηρεάσει το σήμα και θα προκαλέσει ασταθή μετάδοση.

3.  Σταθερότητα τροφοδοτικού: Το PAM4 είναι πολύ ευαίσθητο σε παρεμβολές τροφοδοσίας. Ο προηγούμενος σχεδιασμός του τροφοδοτικού δεν μπορεί να ανταποκριθεί καθόλου στις απαιτήσεις, επομένως το δίκτυο διανομής ισχύος (PDN) πρέπει να επανασχεδιαστεί για να διασφαλιστεί σταθερή τροφοδοσία ρεύματος.

4.  Crosstalk Control: Η απόσταση των διαφορικών ζευγών, οι οπές του θωρακισμένου εδάφους—κάθε λεπτομέρεια δεν μπορεί να παραλειφθεί. Μια μικρή παράβλεψη θα προκαλέσει αλληλεπιδράσεις μεταξύ των σημάτων και θα επηρεάσει την ποιότητα μετάδοσης.

6. Εμπορικές προοπτικές: Enterprise-Grade First, Consumer-Grade to Wait

Από την άποψη της πρακτικής εφαρμογής, η τοποθέτηση αυτών των δύο γενεών προϊόντων είναι πολύ διαφορετική. Ας το χωρίσουμε σε δύο κατηγορίες, ώστε να το καταλάβουν όλοι με μια ματιά.

Το PCIe 5.0 είναι πλέον πλήρως δημοφιλές σε διακομιστές AI και κέντρα δεδομένων. Είτε πρόκειται για κάρτες γραφικών της σειράς RTX 50 της NVIDIA, για κάρτες γραφικών της σειράς RX 9000 της AMD, είτε για μονάδες SSD (SSD), όλα υποστηρίζουν PCIe 5.0 και χρησιμοποιούνται ευρέως.

Αντίθετα, η εμπορευματοποίηση του PCIe 6.0 είναι σχετικά αργή. Αν και η προδιαγραφή κυκλοφόρησε στις αρχές του 2022, οι πραγματικές διαθέσιμες συσκευές δεν θα βγουν στην αγορά μέχρι το 2026. Υπάρχουν τρεις κύριοι ρεαλιστικοί λόγοι για αυτό:

1.  Υψηλό κόστος: Το κόστος εξαγωγής ενός ελεγκτή PCIe 6.0 είναι περίπου 20-35 εκατομμύρια δολάρια ΗΠΑ, διπλάσιο από αυτό του 5,0. Οι κατασκευαστές έχουν υψηλό επενδυτικό κόστος και δεν θα το βάλουν εύκολα σε μαζική παραγωγή.

2.  Υψηλό τεχνικό όριο: Ο σχεδιασμός του PAM4, η επαλήθευση προϊόντος και οι δοκιμές απαιτούν μια ολοκαίνουργια αλυσίδα εργαλείων. Πολλοί κατασκευαστές δεν έχουν κατακτήσει ακόμη αυτήν την τεχνολογία και δεν μπορούν να παράγουν κατάλληλα προϊόντα σε σύντομο χρονικό διάστημα.

3.  Αποκλίνουσες απαιτήσεις: Τα κέντρα δεδομένων τεχνητής νοημοσύνης και υπολογιστών υψηλής απόδοσης (HPC) χρειάζονται πραγματικά το υψηλό εύρος ζώνης του PCIe 6.0 για ταχύτερη μετάδοση δεδομένων και υψηλότερη απόδοση. Ωστόσο, για τους απλούς υπολογιστές καταναλωτών και τις κονσόλες παιχνιδιών, δεν υπάρχει σχεδόν καμία ζήτηση για 6.0—οι τρέχοντες SSD PCIe 5.0 είναι ήδη τόσο γρήγοροι που οι χρήστες δεν μπορούν να αντιληφθούν τη διαφορά. οι μεγαλύτερες ταχύτητες είναι περιττές.

Σύμφωνα με τις προβλέψεις του κλάδου, το PCIe 6.0 μπορεί να μην είναι δημοφιλές στην καταναλωτική αγορά μετά το 2030. Αλλά στον τομέα εταιρικής ποιότητας, ειδικά στους διακομιστές τεχνητής νοημοσύνης, η ανάπτυξη μεγάλης κλίμακας θα ξεκινήσει το 2026-2027, για πρώτη φορά σε επαγγελματικούς τομείς.

Περίληψη: Η ουσιαστική διαφορά μεταξύ των δύο γενεών

Επιστροφή στην αρχική ερώτηση: Ποια είναι η πραγματική διαφορά μεταξύ PCIe 5.0 και 6.0;

Για να το συνοψίσουμε σε απλή γλώσσα: το 5.0 είναι το ανώτατο όριο της εποχής κωδικοποίησης NRZ, ωθώντας την παλιά τεχνολογία στα όριά της. ενώ το 6.0 είναι το σημείο εκκίνησης της εποχής κωδικοποίησης PAM4, ανοίγοντας μια ολοκαίνουργια τεχνική διαδρομή.

Για τους μηχανικούς, η εργασία στο PCIe 5.0 δοκιμάζει την ικανότητά τους να τελειοποιούν και να τελειοποιούν τις παλιές τεχνολογίες. Η εργασία στο PCIe 6.0 δοκιμάζει την ικανότητά τους να μαθαίνουν νέες τεχνολογίες και να προσαρμόζονται σε νέες διαδρομές. Για ολόκληρο τον κλάδο, το 5.0 είναι μια ώριμη τεχνολογία που είναι χρησιμοποιήσιμη και αξιόπιστη σήμερα, ενώ το 6.0 είναι η μελλοντική κατεύθυνση—αλλά αυτό το μέλλον θα προέλθει πρώτα από τα κέντρα δεδομένων και μετά θα μπει σιγά-σιγά στη ζωή των απλών χρηστών.

|(Σημείωση: Μέρη του εγγράφου μπορεί να είναιΌλα συμπεριλαμβάνονταιπαράγω)