PaLM 2 sẽ cung cấp năng lượng cho công cụ trò chuyện Bard được cập nhật của Google, đối thủ cạnh tranh của công ty với ChatGPT của OpenAI. PalM 2 hoạt động như mô hình nền tảng cho hầu hết các tính năng AI mới, khả dụng cho các nhà phát triển thông qua API PaLM của Google, Firebase. PalM 2 dựa trên nền tảng Colab cho phép người dùng viết và thực thi Python trong trình duyệt với quyền truy cập miễn phí vào GPU và chia sẻ dễ dàng.

Tuy nhiên, Google đã không cung cấp nhiều chi tiết kỹ thuật về cách nó đào tạo mô hình thế hệ tiếp theo này, bao gồm cả số lượng tham số khổng lồ lên tới 540 tỷ tham số, điều này tương tự như OpenAI đã làm. Chi tiết kỹ thuật mà Google cung cấp ở đây chỉ là PaLM 2 được xây dựng dựa trên cơ sở hạ tầng JAX và TPU v4 mới nhất của Google.

“Những gì chúng tôi phát hiện ra rằng kích thước của mô hình lớn hơn không phải lúc nào cũng tốt hơn. Đó là lý do tại sao chúng tôi đã cung cấp một nhóm các mô hình với các kích cỡ khác nhau. Chúng tôi nghĩ rằng số lượng tham số thực sự không phải là một cách suy nghĩ hữu ích về khả năng của các mô hình và khả năng thực sự được đánh giá bởi những người sử dụng mô hình và tìm hiểu xem chúng có hữu ích trong các thử nghiệm mà họ cố gắng đạt được với các mô hình này hay không”, Phó chủ tịch Google Deepmind, DeepMind Zoubin Ghahramani cho biết trong một cuộc họp báo trước khi Google đưa ra thông báo chính thức.

Thay vào đó, Google cho biết mô hình mới tốt hơn về lĩnh vực ngôn ngữ lý luận, toán học và logic. Đại diện của Google đã lưu ý, hãng đã đào tạo mô hình này trên một lượng lớn văn bản toán học và khoa học, cũng như các biểu thức toán học. Không có gì bí mật khi các mô hình ngôn ngữ lớn đã phải xử lý các câu hỏi toán học cực kỳ phức tạp mà không cần dùng đến dẫn xuất của bên thứ ba. Google cho biết thêm rằng, PaLM 2 có thể dễ dàng giải các câu đố toán học, suy luận thông qua các vấn đề và thậm chí là cung cấp các sơ đồ.

PaLM 2 hiện cũng có tính năng hỗ trợ viết và gỡ lỗi mã hoàn thiện. Mô hình được đào tạo trên 20 ngôn ngữ lập trình, bao gồm những ngôn ngữ phổ biến như JavaScript và Python, cũng như những ngôn ngữ như Prolog, Verilog và Fortran. PaLM 2 tạo thành nền tảng của Codey, mô hình chuyên dụng của Google để viết mã và gỡ lỗi, mà nó cũng được ra mắt cùng như một phần của dịch vụ tạo và hoàn thiện mã, cùng nhiều dịch vụ khác.

Đại diện của Google cũng nhấn mạnh, PaLM 2 đã được đào tạo trên một kho ngữ liệu có hơn 100 ngôn ngữ và theo cách nhìn nhận của Google là “xuất sắc trong các nhiệm vụ đa ngôn ngữ”, bao gồm cả cách diễn đạt nhiều sắc thái hơn so với các mô hình trước đó.

Google nói về PaLM như một nhóm các mô hình, bao gồm Codey nhưng cũng có Med-PaLM 2, mô hình của hãng tập trung vào kiến ​​thức y tế. Ngoài ra còn có Sec-PaLM, một phiên bản tập trung vào các trường hợp sử dụng bảo mật và một mẫu PaLM 2 nhỏ hơn có thể chạy trên điện thoại thông minh, có khả năng mở ra PaLM cho các trường hợp sử dụng cần đảm bảo quyền riêng tư hơn, mặc dù Google sẽ không cam kết với bất kỳ mốc thời gian nào cho việc này. Google cho biết mô hình này có thể xử lý 20 mã thông báo mỗi giây, tốc độ này không quá nhanh nhưng có thể chấp nhận được đối với một số trường hợp sử dụng.