Изкуствен Интелект | Thracium.net

Дух в Черупка - между Човек и Машина, подкаст изследване на Изкуствения Интелект.

AI офлайн в Xiaomi 13 Ultra: Как да инсталираме Ollama + Mistral, Llama2 и Google Gemma на телефона

(Време за четене: 4 - 8 мин)
Петък, 23 Февруари 2024 12:24; Видяно 321 пъти

Добре дошли в това Ръководство стъпка по стъпка как да инсталирате и използвате Изкуствен Интелект локално и офлайн на вашия телефон Xiaomi 13 Ultra.

Този метод е приложим както за рутнати, така и за нерутнати смартфони, също така спокойно можете да използвате инструкциите по-долу не само за телефони като  Xiaomi 13 Ultra, но и за всички други! :)

Стартиране на AI от телефона - хардуерни ограничения

За да стартирате по-големите (и по-умни) LLM модели на Изкуствен Интелект с например 7 милиарда параметри ви трябва телефон с добър процесор и поне 10-11 GB RAM.Снимка LLM 04 от 2024 02 22 20 31 56

На моя Xiaomi 13 Ultra имам 12 GB RAM и LLM моделите с 7 милярда параметъра (7B LLM) работят перфектно.

Тествах описаната по-долу процедура и на моя по-стар телефон Redmi Note 10 Pro, който разполага само със скромните 6 GB RAM.

На телефон с 6 GB RAM LLM моделите с 7B параметри НЕ работеха ОК ... всъщност работят, но ИЗКЛЮЧИТЕЛНО БАВНО.

Да, на Redmi Note 10 Pro всичко работеше твърде бавно поради значително по-слабия процесор и по-малкото RAM налични на телефона.

За такъв смартфон с ниска RAM препоръчвам да тествате по-малък модел като Gemma 2B и други от по-малките LLM модели налични в Ollama.com

Как Изкуствения Интелект точно работи инсталиран на Xiaomi 13 Ultra може да видите по-долу, а във второто видео малко по-долу на страницата можете да видите и Redmi Note 10 Pro.

В това ръководство ще намерите детайлни инструкции как да инсталирате и стартирате офлайн на вашия смартфон Големи Езикови Модели (LLM) като Llama2:7B, Gemma:7B, Mistral 7.3B и много други локално.

Тези инструкции могат да бъдат използвани за стартиране на всякакви налични в момента отворен код LLM AI.

За тази демонстрация използвам Termux, невероятно приложение налично както за рутнати, така и за нерутнати Android телефони.

След като Termux е инсталиран на Xiaomi 13 Ultra, ще инсталираме и стартираме Ubuntu 20.04.

След това инсталираме Ollama, свободно наличен софтуер с отворен код, от Ollama.com.Снимка LLM 05 от 2024 02 22 20 32 41

С помоща на Ollama можете да стартирате на телефона ви множество различни LLM с до 7 милиарда параметри (или по-малко), като например:

Модели на Изкуствен Интелект налични в Ollama.com

Mistral 7.3B: LLM разпространяван под лиценза Apache, който надминава зивестния Llama 2 13B във всички бенчмарки.

Llama 2: LLM с отворен код с някои ограничения, пуснат от Meta Platforms, Inc.

Llama 2 Нецензурирано - Модел Llama 2 без цензура от George Sung и Jarrad Hope.

Gemma 2B/7B: Нов отворен модел, разработен от Google и неговият екип DeepMind, също с отворен код, но с някои ограничения.

LLaVA: LLM за работа с език и компютърно виждане.

За пълен списък на всички налични LLM в проекта Ollama, посетете Ollama.com/library.

Инсталация на AI на вашия смартфон стъпка по стъпка:

1. Инсталирайте Termux от GitHub или от F-Droid

2. Инсталирайте Ubuntu 20.04 на Termux, като използвате инструкциите в това ръководство: Ръководство за Termux-Ubuntu: https://github.com/tuanpham-dev/termux-ubuntu

В Termux изпълнете следната команда, за да инсталирате версия само за конзола на Ubuntu 20:

ЗАБЕЛЕЖКА: За всички команди по-долу най-лесният начин е да отворите това HOWTO в браузъра на вашия телефон, да копирате командите от HOWTO-то и да ги пейстнете в конзолата.

pkg install wget curl proot tar -y && wget https://raw.githubusercontent.com/tuanpham-dev/termux-ubuntu/master/ubuntu.sh && chmod +x ubuntu.sh && bash ubuntu.sh nde

По време на инсталацията на Ubuntu ще трябва няколко пъти да отговорите с Y на въпросите в конзолата.LLM 02photo 2024 02 22 20 06 01

Процесът в конзолата е напълно автоматизиран и ще отнеме няколко минути.

Малко преди края ще трябва да добавите потребител и парола за вашия потребител, също така ще трябва да въведете парола за root.

След всяко въвеждане натиснете Enter на клавиатурата, за да продължите.

След края на инсталацията на Ubuntu 20 ще бъдете автоматично влезли и логнати в инсталирания на телефона ви Ubuntu версия 20.04.

За следващия път, за да стартирате Ubuntu OS, ще трябва да изпълните тази команда в конзолата на Termux:

./start-ubuntu20.sh

След това само първия път в Ubuntu на конзолата изпълнете тези команди:

sudo apt updateLLM 03 photo 2024 02 22 20 06 02

sudo apt upgrade

sudo apt install curl

На всички въпроси в конзолата отговорете с Y

В момента на писане на това ръководство можете да инсталирате Ollama, като изпълните следната команда:

curl -fsSL https://ollama.com/install.sh | sh

Силно се препоръчва да посетите уеб сайта Ollama.com и да следвате инструкциите за инсталация за Linux

Стартиране на Ollama и инсталация на самите LLM-и

Стартирайте услугата Ollama с тази команда:

ollama serve > /dev/null 2>&1 &LLM 01 photo 2024 02 22 19 29 04

Изтегляне и стартиране на LLM:

За целите на това ръководство ще инсталираме и тестваме два различни LLM-а:

Mistral:7.3B - LLM с 7.3 милиарда параметъра:

Уверете се, че имате 4.1 GB свободно място на вашата памет карта.

Първото изпълнение на следната команда изтегля локално на телефона ви целия LLM.

Следващите изпълнения на същата команда стартират вече изтегления локално на телефона ви LLM:

ollama run mistral:instruct

Времето за изтегляне зависи от скоростта на вашата интернет връзка.AOSP by Mistral LLM photo 2024 02 22 17 34 56

След като бъде изтеглен, командата автоматично стартира LLM-а, представяйки конзолен промпт за вашите запитвания.

След първоначалното изтегляне на LLM в терминала ще видите нещо подобно на това:

pulling e6836092461f... 100% ▕▏ 42 B

pulling ed11eda7790d... 100% ▕▏ 30 B

pulling f9b1e3196ecf... 100% ▕▏ 483 B

verifying sha256 digest

writing manifest

removing any unused layers

success

>>>Lyneage OS by Mistral LLM photo 2024 02 22 17 35 57

Това точно е промпта, в който можете да въвеждате вашите въпроси към инсталираният току що локално на телефона ви Mistral LLM.

Това е!

Вече имате работещ AI модел на вашия смартфон!

Можете да експериментирате с различни текстове, за да видите как AI отговаря на вашите въпроси.

Опции на промпта на Ollama

Завършването на сесия с чатбота става като в промпта напишете /bye

За пълен списък на наличните параметри на промпта напишете /help

За да затворите напълно сесията на Ollama, въведете /bye

и след това излезте от Ubuntu сесията ви в Termux с:

exit

Тест на вашия телефон с Gemma 2B LLM AI

Със следната команда можете да инсталирате много по-малкия и по-бърз Gemma LLM с 2 милиарда параметри, пуснат съвсем наскоро като Open Source проект от Google:

ollama run gemma:2b

Този LLM е три пъти по-малък и работи много по-бързо, което го прави подходящ за по-стари смартфони.

Това е всичко, приятели!

Сега сте оборудвани да изследвате обширната вселена на LLM Изкуственият Интелект директно от вашия смартфон.

Приятни експерименти и нека вашите запитвания винаги водят до просветляващи отговори.

Успех!

Lupo

P.S.1 Моят личен избор за Ollama LLM за тестове:

1. Mistral 7.3Bollama run mistral:instruct

В момента на писане на това HOWTO вероятно Mistral е най-добрият 7B LLM, който можете да инсталирате и стартирате без проблеми на вашия телефон!Mistral LLM photo 2024 02 22 17 34 38

2. Llama 2 7B: ollama run llama2:7b

Много добър LLM от високо качество!

3. Llama 2 7B НЕЦЕНЗУРИРАН :) Стартирай: ollama run llama2-uncensored

НЕЦЕНЗУРИРАНИЯТ Llama 2 7B ще отговори на всеки въпрос като: "Как да направим Tylenol" ... и т.н. ... ........ .......... :)

4. Gemma 2B: ollama run gemma:2b - много малък и супер БЪРЗ LLM.

Можете да тествате възможностите и на по-големия 7B Gemma LLM , който беше наличен веднага в деня на пускането, но в началото след пускането този LLM НЕ работеше ОК 

В последствие разработчиците от екипа на Google DeepMind заедно с екипа на Ollama.com добавиха вече съвсем гладко работеща версия на Gemma 7B LLM AI.

P.S.2 Мъдрости от Хакера Йода от Mistral:7B LLM AI 

За края на това AI HOWTO бих искал да споделя с вас някои мъдрости на Хакера Йода, споделени с мен от Mistral 7B LLM AI, инсталиран на моя Xiaomi 13 Ultra :)

Lupo Prompt: Кажи ми някоя мъдрост на хакера Йода

Mistral 7B LLM: Йода, мъдрият майстор Джедай от "Междузвездни войни", може би не е бил хакер в съвременния смисъл, но определено имаше ценни мъдрости за споделяне относно ефективността, решаването на проблеми и адаптацията.

Ето някои вдъхновени от Йода "хакерски" цитати:

1. "Светещи същества сме ние, не това грубо вещество." (Приемете нематериалната природа на кода и данните.)Yoda the Hacker by Mistral LLM photo 2024 02 22 17 34 22

2. "Прави или не. Опит не съществува." (Останете съсредоточени и упорити в своите хакерски начинания.)

3. "Търпение трябва да имаш, мой млад padawan." (Бъдете търпеливи докато отстранявате проблеми и учите нови умения.)

4. "Страхът е пътят към тъмната страна. Страхът води до гняв. Гневът води до омраза. Омразата води до страдание." (Избягвайте страха в своето хакерско пътешествие и поддържайте позитивно мислене.)

5. "Винаги в движение е бъдещето." (Адаптирайте се и еволюирайте с постоянно променящия се свят на технологиите.)

Надявам се, че мъдростта на Yoda ще ви вдъхнови и ще ви помага във вашите хакерски начинания!

Lupo

Lupo

Lupo е дауншифтър и рандоньор коломаратонец с новоразвит вкус към катеренето на баири с велосипед.

Увлечен е не само по бреветите, но също така по Linux, Изкуственият интелект, програмирането и още много яки неща.

Lupo обожава кучетата си и вярното си конче Пипс.

За него Subaru не е кола, а Религия, позволяваща му също както и велосипеда му Пипс да бъде повече време по-близо до Майката Земя.

Леко „старомодно“ предпочита да използва думи и снимки за споделяне на опита и приключенията си по Пътя и много по-рядко видео.

Личен девиз: Пътя преди Целта!