Chip do Groq phát triển đang khuấy đảo ngành trí tuệ nhân tạo (AI)

Những video trong đó chatbot trả lời người dùng nhanh như chớp từ Groq đang được lan truyền ở khắp mạng xã hội. Startup đứng sau những video này tuyên bố sẽ cung cấp mô hình ngôn ngữ lớn nhanh nhất thế giới. Một số thử nghiệm độc lập cũng cho thấy Groq mang đến hiệu năng khá là vượt trội.

Gizmodo cho biết, tốc độ đáng kinh ngạc của chatbot từ Groq đang khiến cho mô hình AI Grok của Elon Musk bị lu mờ. Mặc dù có tên gần giống nhau nhưng Groq không cạnh tranh trực tiếp với chatbot của Elon Musk, Gemini của Google hay là ChatGPT của OpenAI. Trên thực tế, Groq là startup được thành lập vào năm 2016 ở California (Mỹ) - công ty chuyên tạo chip AI về xử lý ngôn ngữ (LPU). Họ đã tuyên bố chip LPU có tốc độ xử lý nhanh hơn GPU của Nvidia.

Cũng theo Medium, ở trong ngành công nghiệp AI, GPU của Nvidia cũng được xem là chuẩn mực để vận hành mô hình, tuy nhiên sự xuất hiện của Groq có thể định hình lại tương lai của trí tuệ nhân tạo.

Ghi nhận, nếu vận hành trên chip do Groq thì tốc độ phản hồi của ChatGPT được cho là sẽ nhanh gấp 13 lần so với GPU Nvidia. (Nguồn ảnh: VnExpress)

Groq có sức mạnh như thế nào?

Có thể thấy, một trong những thách thức lớn nhất trong cuộc đua AI tạo sinh hiện nay là tốc độ phản hồi. Những công ty như OpenAI, Google luôn cố gắng đẩy nhanh tốc độ trả lời của AI để cuộc trò chuyện diễn ra một cách tự nhiên hơn. Và ngay cả Google cũng thừa nhận từng chỉnh sửa video trong buổi giới thiệu Genimi để có thể tạo cảm giác mượt mà hơn.

Để có thể khắc phục vấn đề độ trễ của chatbot thì Groq đã sản xuất chip LPU giúp cho mô hình ngôn ngữ lớn tăng tốc độ suy luận lên đến 500 token mỗi giây. Trong khi đó thì Gemini Pro của Google hay như GPT 3.5 của OpenAI đang đạt con số 30-50 token mỗi giây.

Và công ty phân tích Artificial Analysis đã tiến hành thử nghiệm thực tế tốc độ của Groq với 8 mô hình AI chạy trên GPU phổ biến nhất hiện nay. Và kết quả là Groq vượt trội về độ trễ thấp, thời gian phản hồi khá là nhanh. Hiệu suất chênh lệch nhất khi mà chạy mô hình Llama 2-70b của Meta.

Chi tiết, trong thời gian một giây thì chatbot chạy trên LPU của Groq có thể tạo 247 token. Trong khi mô hình ChatGPT chạy trên đám mây Azure của Microsoft đạt con số 18 token một giây. Điều này có nghĩa là nếu như vận hành trên chip LPU của Groq thì ChatGPT này sẽ hoạt động nhanh hơn 13 lần.

Để có thể khắc phục vấn đề độ trễ của chatbot thì Groq đã sản xuất chip LPU giúp cho mô hình ngôn ngữ lớn tăng tốc độ suy luận lên đến 500 token mỗi giây. (Nguồn ảnh: Nhịp sống thị trường)

Cũng trong một thử nghiệm khác, CEO Groq Jonathon Ross đã có hướng dẫn người dẫn chương trình của CNN ở Mỹ trò chuyện bằng lời nói với một chatbot AI ở bên kia địa cầu mà không gặp bất kỳ một gián đoạn nào.

Theo đó thì Artificial Analysis đã đánh giá hiệu suất đáng kinh ngạc này có thể sẽ mở ra nhiều tiềm năng mới cho các mô hình ngôn ngữ lớn trên nhiều lĩnh vực khác nhau khi mà gần như cho phép người dùng thực hiện các tác vụ theo thời gian thực.

Groq có tác động như thế nào đến ngành AI?

Mỗi chip LPU của Groq hiện nay có mức giá là 20.000 USD (480 triệu đồng) tương đương với GPU A100 của Nvidia. Medium cho biết, Groq ra chip LPU đánh dấu cột mốc mới so với GPU truyền thống ở trong các tác vụ xử lý ngôn ngữ.

Và Groq được đánh giá sẽ thách thức tên tuổi lớn như là Nvidia, AMD, Intel song song với đó còn mở đường cho các ứng dụng và mô hình AI mới. Hiệu suất vượt trội của LPU đã củng cố được vị thế của Groq trong cuộc đua tăng tốc AI. Như thế, trong bối cảnh mà chatbot liên tục được phát triển, kích thước mô hình ngôn ngữ lớn ngày một tăng thì vai trò của LPU sẽ lớn hơn khi có ưu thế về tốc độ, hiệu năng cũng như tiết kiệm chi phí.

Và xa hơn, LPU của Groq có thể giúp cho các ứng dụng AI dễ dàng hơn trong việc tiếp cận, mở ra khả năng tương tác theo thời gian thực với người dùng. Trí tuệ nhân tạo lúc đó đứng trước kỷ nguyên mới, có thể áp dụng một cách rộng rãi ở trong doanh nghiệp và xã hội.

Thách thức của Groq

Được biết, chip LPU của Groq có thể chạy hầu hết mô hình ngôn ngữ lớn hiện nay. Mặc dù vậy thì chip này chỉ đạt được hiệu năng tối đa trong việc xử lý các tác vụ liên quan đến suy luận chuỗi văn bản. Để đào tạo mô hình thì các công ty vẫn cần dùng đến GPU của Nvidia hoặc các chip tương tự.

Reuters cho biết, Groq đang cố gắng trong việc giành thị phần từ phía Nvidia tuy nhiên công ty vẫn còn một chặng đường dài để có thể tạo chỗ đứng trong thị trường cạnh tranh khốc liệt. GPU của Nvidia và TPU của Google từ lâu đến nay đã được các nhà phát triển, nghiên cứu AI tin dùng. LPU của Groq sẽ phải chứng minh được sự tin cậy và ổn định chứ không chỉ đơn giản là về hiệu suất và chi phí.

Xa hơn, LPU của Groq có thể giúp cho các ứng dụng AI dễ dàng hơn trong việc tiếp cận, mở ra khả năng tương tác theo thời gian thực với người dùng. (Nguồn ảnh: Nhịp sống thị trường)

Song song với đó, bản thân của Groq cũng đang phải đối mặt với một số nhầm lẫn khi gọi tên gần giống với Grok của Elon Musk. Bên cạnh đó, trong ngành AI còn một công ty khác đó là Grok Grime - đây là công ty chuyên bán đồ chơi tích hợp trí tuệ nhân tạo.

Dù vậy thì giới phân tích cho biết, Groq vẫn có nhiều tiềm năng để tạo ra bước ngoặt lớn trong lĩnh vực AI. Màn xuất hiện ấn tượng của LPU có thể thu hút được sự chú ý của nhân vật có ảnh hưởng như là Sam Altman - người vốn đang tìm kiếm những giải pháp thay thế về chip AI./.