Apple Intelligence: Tổng hợp tất cả các tính năng AI của Apple

Một cách tóm tắt thì:

• AI của Apple hoạt động dựa trên mô hình ngôn ngữ
• Có thể chia thành 3 nhánh chính: text to text, text to image và AI nhận diện hình ảnh / âm thanh
• Nhờ có Siri và nền tảng sẵn có, AI có thể Action nhiều hơn, tương tác giữa các app và hiểu được ngữ cảnh của người dùng để thực hiện lệnh hoặc tự động hóa hiệu quả hơn.
• Phần lớn người dùng vẫn sẽ sử dụng Prompt để điều khiển, một số tính năng được Apple đơn giản hóa cách nhập prompt
• Apple kết nối người dùng với dịch vụ ChatGPT của OpenAI

AI hỗ trợ viết văn bản

Đây là một nhánh quan trọng của các AI tạo sinh. Nhờ khả năng của mô hình ngôn ngữ, AI của Apple cũng có thể hỗ trợ người dùng tạo ra những đoạn văn bản mới ở bất cứ đâu có chọn được chữ và cho nhập chữ vào.

Đây là giao diện chính của công cụ Writing Tools bằng AI. Chúng ta sẽ có 2 tính năng chính là Kiểm tra lỗi hay hiệu đính (Proofread) và viết lại văn bản (Rewrite). Người dùng chỉ cần tô đoạn văn bản cần viết lại, Apple AI cho phép viết lại theo 3 văn phong gồm "thân thiện", "chuyên nghiệp" và "ngắn gọn xúc tích". Cái này cơ bản thì giống với cách triển khai của Samsung hay Copilot trong Edge cũng có tính năng tương tự.

Ngoài ra, người dùng còn có thể tùy chọn tóm tắt đoạn văn bản đã tô, liệt kê các ý chính, biến văn bản thành dạng bảng dữ liệu và chuyển văn bản thành danh sách.

Điểm Apple làm khác chính là ô ở trên cùng anh em thấy Describe your change, cơ bản thì người dùng sẽ nhập thêm câu lệnh (chính là prompt) để miêu tả kỹ hơn ý định của người dùng muốn AI xử lý đoạn văn bản này theo hướng ra sao, có yêu cầu gì đặc biệt hay không. Cái này xưa giờ phải lên các chatbot mới làm sâu như thế này được, còn bây giờ thì Apple tích hợp ngay vào menu ngữ cảnh luôn.

Hiện các thông báo quan trọng

Như hình minh họa của Apple thì có thể thấy những thông báo được AI nhận định là quan trọng và tóm tắt lại bao gồm: thông tin lấy ra từ tin nhắn iMessage về cuộc hẹn đi ăn tối nay với một người bạn tên Sandy và bạn trai của cổ; thông báo giao hàng tới vào đâu đó khoảng 10 giờ sáng; có cái họp lúc 10h30 với một intern. Tựu chung lại thì sẽ là các thông tin giao hàng, cuộc hẹn, cuộc họp.

Hiện các email quan trọng

Apple miêu tả rằng AI sẽ đẩy các email chứa thông tin có liên quan tới thời hạn làm cái gì đó lên đầu hộp thư, thí dụ như mail mời đi sự kiện nào đó, mail nhắc làm thủ tục check in chuyến bay, mail đặt đồ ăn và coffee cho đồng nghiệp trong cuộc họp 12h,...

Tóm tắt các email dài

Tính năng này được tích hợp ngay trong ứng dụng Mail luôn. Người dùng chỉ cần bấm vào một nút, nội dung của toàn bộ mail sẽ được tóm tắt lại của cả email đang mở. Ngoài ra AI cũng có thể tóm tắt sơ nội dung của từng email ngay trong giao diện duyệt mail chính.

AI giúp trả lời nhanh email

Thêm một tính năng nữa trong mail có sử dụng AI chính là trả lời nhanh. Với tính năng này, AI sẽ đọc nội dung của email và tìm trong đó những câu hỏi cần người dùng quyết là có hoặc không, lựa chọn cái nào,... sau đó nó sẽ hiện bên dưới các tùy chọn có / không, phương án A hay B để người dùng chọn nhanh. Với các lựa chọn này, AI sẽ tự soạn mail và phản hồi lại cho đối phương. Hiện vẫn chưa rõ là nội dung gửi cho đầu bên kia sẽ ra sao, sẽ chỉ là các câu trả lời đơn giản hay là AI có văn thêm dài dòng một chút hay không.

Tóm tắt nội dung cuộc gọi

Tính năng AI này quá thú vị. Theo mô tả của Apple, người dùng chỉ cần "bấm vào nút record trong Notes hoặc ứng dụng Phone để ghi lại âm cuộc gọi và nội dung cuộc nói chuyện dưới dạng text (transcript). Apple AI sẽ tạo ra tóm tắt của đoạn text này để người dùng có thể liếc sơ là biết được nội dung quan trọng của cuộc nói chuyện.

Cơ bản thì tính năng này sẽ giúp chúng ta note lại những thông tin quan trọng trong một cuộc nói chuyện điện thoại mà không cần ghi chú thủ công như xưa giờ, tuy nhiên chưa rõ là đoạn tóm tắt này sẽ được lưu như thế nào, đoạn ghi âm và nội dung hoàn chỉnh của cuộc gọi dưới dạng text có được lưu lại hay không. Nhưng nếu được lưu lại thì có lẽ đây là lần đầu tiên trong lịch sử, Apple "chính thức" cho ghi âm cuộc gọi thoại.

AI chọn lọc thông báo lúc tập trung, chỉ hiện thông báo rất quan trọng

Apple gọi đây là tính năng AI giúp Giảm gián đoạn (Reduce Interruptions). Cơ bản thì đây là một chế độ Focus hiện có nhưng dùng AI nâng cao lên. AI sẽ hiểu nội dung của thông báo và chỉ cho hiện lên những thứ mà nó cho rằng người dùng cần quan tâm ngay lập tức, thí dụ như tin nhắn nhắc đi rước con,...

AI tạo ảnh - Image Playground

Đây là một mảng quan trọng thứ 2 và cũng là ứng dụng cực kỳ phổ biến của AI tạo sinh. Bản chất của nó chính là text to image. Vấn đề là Apple đã triển khai nó để người dùng dễ xài hơn rất nhiều. Thay vì phải nhập prompt hoàn toàn bằng text, thì Apple sẽ gợi ý sẵn một số các chủ thể như cảnh núi non, bãi biển, mùa đông, đồ vật, tình yêu, phong cách của hình ảnh,... người dùng sẽ bấm chọn và tạo ra hình ảnh mong muốn để gởi cho bạn bè lúc chat, xài làm hình minh họa chèn trong slide Keynotes, văn bản Pages hoặc trong bảng tính Numbers.

Ngoài ra, người dùng cũng có thể viết một prompt để miêu tả bức hình muốn AI tạo ra, đồng thời cũng có thể dùng một hình có sẵn trong thư viện ảnh để kêu AI tạo ra một hình ảnh lấy cảm hứng từ đó.

Apple nói rằng người dùng có thể chọn rất nhiều những concepts, các phong cách hình ảnh, từ hình hoạt họa, hình dạng đồ họa illustration, hình vẽ phác thảo, hình siêu thực,... để AI tạo ra cho tới khi đúng ý.

Dùng AI tạo ra Emoji - Genmoji

Apple gọi đây là Genmoji. Cơ bản thì người dùng có thể tự tạo ra một bộ emoji mới bằng AI để dùng trong các đoạn chat. Người dùng sẽ nhập những từ khóa để miêu tả emoji mong muốn và AI sẽ tạo ra (bản chất chính là text to image). Đồng thời, người dùng cũng có thể lấy ảnh chân dung của một người trong thư viện ảnh và tạo ra một emoji giống người đó.

Image Wand - biến các nét phác thảo thành một hình ảnh bằng AI

Tính năng này sẽ nằm trong ứng dụng Notes. Bên cạnh các công cụ vẽ truyền thông như bút chì, bút lông, bút mực,... thì sẽ có thêm một công cụ gọi là Image Wand. Cơ bản thì người dùng sẽ vẽ phác ra một hình ảnh, có thể là nguệch ngoạc, sau đó dùng cây đũa phép này khoanh tròn. Lúc này AI sẽ đi nhận diện các nét vẽ đó để tạo ra một hình ảnh "thật hơn" của các đường nét lúc đầu.

Ngoài ra, người dùng cũng có thể dùng Image Wand khoanh một vùng trống, AI sẽ sẽ sử dụng các ngữ cảnh xung quanh để tạo ra một bức ảnh ở trong khu vực đó. Hiện vẫn chưa rõ khái niệm "ngữ cảnh" ở đây là text, hay hình ảnh,...

AI tạo nhanh đoạn video theo chủ đề từ các hình ảnh / video trong thư viện

Apple gọi đây là tính năng tạo một đoạn memory movie, nghĩa là một video ký ức nào đó. Ở đây cũng sẽ có một khung để người dùng nhập câu lệnh vào, thí dụ như trong hình là "những món tráng miệng mà tôi đã ăn trong mùa hè năm ngoái, có thêm một bài hát nhạc pop". Và lúc này AI sẽ đi tìm toàn bộ những video và hình ảnh chứa các nội dung về đồ ăn tráng miệng trong khoảng thời gian hè năm ngoái và ghép thành một đoạn video.

Tương tự như vậy, trong một thí dụ khác, người dùng cũng có thể dùng AI để tìm các bức hình dựa vào nội dung bên trong của bức ảnh. Trong thí dụ, Apple đưa ra một câu tìm kiếm là "các bức ảnh chụp Katie đang dán các sticker trên mặt". Thực ra Apple chọn thí dụ này để minh chứng cho sức mạnh của AI có thể đọc được thông tin khá nhỏ và phức tạp, thí dụ như các sticker dán trên mặt của Katie chứ không phải người khác. Nói chung thuật toán của họ làm được vầy cũng khá gấu. Ngoài ra, Apple còn cho biết AI của họ có thể tìm được cả những khoảnh khắc nằm trong các đoạn video clip, chỉ cần người dùng gõ tìm kiếm một cách tự nhiên là AI sẽ tìm ra được kết quả.

AI xóa vật thể không mong muốn ra khỏi bức ảnh

Cuối cùng thì Apple cũng chính thức mang tính năng này lên ứng dụng chỉnh sửa ảnh mặc định của họ. Apple AI sẽ cho phép người dùng xóa các vật thể thừa ra khỏi một bức ảnh chụp. Người dùng chỉ cần khoanh tròn quanh vật thể cần xóa và nó sẽ được tự xóa đi, tự lấp lại các khoảnh trống sau khi xóa một cách tự nhiên nhất. Thực ra cái này không mới, nhưng tất nhiên nằm chung một thể thì cũng sẽ rất tiện cho người dùng.

AI nâng cấp Siri

AI giờ đây xuất hiện trong một diện mạo mới, icon cũng mới. Khi hoạt động, Siri không còn hiện một icon tròn bên dưới màn hình nữa mà thay vào đó, chúng ta sẽ có một viền bồng bềnh xung quanh màn hình. Cũng khá tinh tế và đẹp.

Chúng ta không chỉ giao tiếp với Siri bằng giọng nói mà có thể chạm 2 lần vào cạnh dưới của màn hình iPhone hoặc iPad để gõ text tương tác với Siri.

Người dùng có thể hỏi Siri về cách dùng một tính năng hoặc cách cài đặt nào đó trong iPhone, iPad, Mac. Siri sẽ đưa ra hướng dẫn từng bước để sử dụng tính năng đó. Thí dụ như bên trên, người ta hỏi cách hẹn giờ gởi một tin nhắn và Siri sẽ đưa ra hướng dẫn từng bước, từng bước một. Cái này mà có tiếng Việt nữa thì tuyệt vời, nhưng chắc là sẽ còn lâu lắm mới có tiếng Việt (vô vọng).

Apple cho biết SIri có khả năng hiểu tốt được ngôn ngữ tự nhiên và các câu lệnh phức tạp của người dùng. Đồng thời Siri bây giờ đã có thể giao tiếp tiếp nối, cho phép người dùng hỏi ngược lại dựa trên các dữ kiện đã hỏi trước đó, thí dụ như các địa điểm hoặc lịch sự kiện đã tạo ra trước đó, hoặc hỏi các câu kiểu như "ở đó thời tiết thế nào?". Trong thí dụ bên trên, người dùng yêu cầu đặt báo thức, sau đó đổi ý và yêu cầu đặt hẹn giờ 10 phút, rồi lại đổi ý chỉ còn 5 phút. Tất cả đều nằm trong một câu lệnh và Apple nói rằng Siri vẫn hiểu được đúng ý muốn của người dùng để thực thi.

Nhờ AI, Siri có thể hiểu được cái mà người dùng đang coi trên màn hình. Do đó, người dùng có thể ra các lệnh như "Lưu địa chỉ này lại" khi có một người bạn gởi địa chỉ mới của họ tới bằng tin nhắn.

Siri có thể hoạt động trong và trên nhiều ứng dụng khác nhau. Thí dụ như người dùng có thể ra lệnh kiểu "Gởi email mà tôi đã soạn cho Lily và April", Siri sẽ tự hiểu "email đã soạn" là email nào, và gởi cho những người mà bạn muốn. Trong một thí dụ khác, người dùng có thể ra lệnh kiểu "làm ảnh này nổi bật hơn", rồi sau đó "thả ảnh đó vào ghi chú",... Nói chung là Siri sẽ hiểu được các khái niệm như "này", kia,.... theo cách gọi tự nhiên của người dùng.

Với việc Siri hiểu được những thứ bạn nhìn trên màn hình, người dùng sẽ có rất nhiều những kịch bản để ra lệnh cho Siri tìm kiếm cái gì họ cần bằng ngôn ngữ tự nhiên, thí dụ như một công thức nấu ăn đã từng đọc ở đâu đó, nội dung của một ghi chú nào đó, một email nào đó, hoặc cần tìm lại số hộ chiếu để đặt vé máy bay,... Apple khẳng định Siri có thể trả lời rất nhiều thứ mà không ảnh hưởng gì đến quyền riêng tư của người dùng.

Thực ra thì tới đây làm mình nhớ tới tính năng Rewind của Microsoft giới thiệu trên Windows 11 Colipot+ cách đây không lâu, và Microsoft cũng nói là không ảnh hưởng tới quyền riêng tư hay bảo mật, nhưng sau đó cũng thừa nhận là có một số lỗ hổng và sẽ sửa đổi trong thời gian tới. Đối với Siri, chúng ta còn một câu hỏi nữa là liệu tiếng Việt có hoạt động hay không.

ChatGPT tích hợp vào Siri

Cái này cực kỳ thú vị luôn. Apple cho biết họ sẽ tích hợp ChatGPT của OpenAI vào trong Siri và công cụ Writing Tools hỗ trợ biết. Một số thứ Siri sẽ tự sử dụng các nguồn lực của ChatGPT được tích hợp sẵn để hỗ trợ người dùng, thí dụ như đặt các câu hỏi về một văn bản hoặc một bức ảnh nào đó, có thể yêu cầu ChatGPT tạo ra hình ảnh minh họa cho một đoạn văn bản hoặc thậm chí là bắt ChatGPT tự tạo ra một đoạn văn bản về một chủ đề nào đó.

Về cách triển khai, người dùng sẽ quyết định là khi nào muốn dùng ChatGPT, lúc đó Siri sẽ hỏi là có muốn dùng ChatGPT hay không và nếu đồng ý, người dùng sẽ tương tác trực tiếp chơi model của ChatGPT để truy vấn và tìm trợ giúp trên đó. Apple cho biết mọi người dùng ddeuf có thể sử dụng ChatGPT miễn phí mà không cần tạo tài khoản. Đồng thời người dùng cũng có thể kết nối tài khoản ChatGPT cá nhân vào để sử dụng các tính năng đã trả tiền.

Hiện tại thì OpenAI cho người dùng sử dụng ChatGPT miễn phí, không cần đăng ký tài khoản. Tài khoản đăng ký thì sẽ được lưu các đoạn chat với chatbot. Còn tài khoản trả phí thì được truy cập vào marketplace với các model được pre build sẵn, đồng thời được dùng tập data mới nhất là ChatGPT-4o. Nói cách khác, theo diễn giải của Apple thì SIri sẽ là một cầu nối, hay một lớp vỏ, để người dùng thông qua đó sử dụng ChatGPT. Cách làm này thực ra tương tự với Copilot ở hiện tại.

AI hỗ trợ chữ viết tay trên iPad

Ứng dụng Notes trên iPad sẽ có thêm một tính năng là Smart Script. Tính năng này sử dụng machine learning để tái tạo lại chữ viết tay từ chữ viết tay của người dùng. Nếu có sai chính tả, AI cũng sẽ sửa dùm người dùng. Ngoài ra, chúng ta có thêm một thao tác mới chính là gạch qua lại ở chỗ cần xóa vừa viết để xóa nhanh.

Đơn giản hơn, thì khi người dùng viết chữ trong đó, AI sẽ "sửa chữ" của người dùng thành font chữ viết tay để dễ đọc, dễ nhìn hơn. Cái này hơi mơ mộng một chút vì thứ nhất người dùng cũng phải viết để AI đọc được, chữ hí hoáy quá thì cũng sẽ dễ khiến AI nhận diện sai. Thứ 2 và quan trọng hơn, hiện vẫn chưa rõ tính năng này sẽ như thế nào đối với chữ tiếng Việt vốn có thêm các dấu phức tạp hơn không dấu của tiếng Anh.

Ngoài ra, khi người dùng đang viết tay và muốn dán một đoạn text vào, thì AI sẽ tự động đổi font chữ thành font chữ viết tay để đồng bộ với các đoạn chữ "viết tay nhưng có AI sửa trước đó."

Ghi âm và chuyển thành văn bản

Tính năng này cho phép người dùng ghi âm, đồng thời chuyển thành văn bản. Từ đó người dùng có thể tóm tắt, ghi chú, chuyển thành check list,...

Ghi chú làm toán bằng AI

Tính năng này khá ấn tượng. Người dùng chỉ cần viết tay các biểu thức, các hàm số, biến,... AI sẽ nhận diện và hỗ trợ người dùng vẽ đồ thị để khảo sát hàm, có thể thay đổi giá trị của các biến, các tham số,... Tất nhiên, người dùng còn có thể làm toán, người dùng chỉ cần sắp các con số ra, gạch ngang phát để tính tổng, thêm phân số thì AI sẽ hiểu là muốn thực hiện phép chia và cho ra kết quả, người dùng thêm log, sin, cos thì máy cũng tự nhận diện và tính ra kết quả.

Safari cập nhật AI: Tóm tắt, Hightlight

AI sẽ giúp Safari làm được thêm 2 chuyện mới. Thứ nhất là người dùng chỉ cần bấm vào 1 nút, AI sẽ hiện ra tóm tắt của toàn bộ nội dung trong bài viết của trang web đó. Đồng thời cũng có thể nghe đọc hoặc chuyển sang ché độ reader. Bên cạnh đó, AI cũng có thể dò đọc toàn bộ các nội dung bên trong của trang web để lọc nhanh ra các thông tin mà nó gọi là highlight, bao gồm địa chỉ, bản đồ đường đi, thông tin liên lạc,...

Bài viết gốc được đăng tải tại: https://tinhte.vn/thread/tong-hop-tat-ca-cac-tinh-nang-ai-cua-apple.3796523/