Добре дошли в това Ръководство стъпка по стъпка как да инсталирате и използвате Изкуствен Интелект локално и офлайн на вашия телефон Xiaomi 13 Ultra.

Този метод е приложим както за рутнати, така и за нерутнати смартфони, също така спокойно можете да използвате инструкциите по-долу не само за телефони като  Xiaomi 13 Ultra, но и за всички други! :)

Стартиране на AI от телефона - хардуерни ограничения

За да стартирате по-големите (и по-умни) LLM модели на Изкуствен Интелект с например 7 милиарда параметри ви трябва телефон с добър процесор и поне 10-11 GB RAM.

На моя Xiaomi 13 Ultra имам 12 GB RAM и LLM моделите с 7 милярда параметъра (7B LLM) работят перфектно.

Тествах описаната по-долу процедура и на моя по-стар телефон Redmi Note 10 Pro, който разполага само със скромните 6 GB RAM.

На телефон с 6 GB RAM LLM моделите с 7B параметри НЕ работеха ОК ... всъщност работят, но ИЗКЛЮЧИТЕЛНО БАВНО.

Да, на Redmi Note 10 Pro всичко работеше твърде бавно поради значително по-слабия процесор и по-малкото RAM налични на телефона.

За такъв смартфон с ниска RAM препоръчвам да тествате по-малък модел като Gemma 2B и други от по-малките LLM модели налични в Ollama.com

Как Изкуствения Интелект точно работи инсталиран на Xiaomi 13 Ultra може да видите по-долу, а във второто видео малко по-долу на страницата можете да видите и Redmi Note 10 Pro.

Ollama + Mistral:7B и Llama2:7b на Xiaomi 13 Ultra

В това ръководство ще намерите детайлни инструкции как да инсталирате и стартирате офлайн на вашия смартфон Големи Езикови Модели (LLM) като Llama2:7B, Gemma:7B, Mistral 7.3B и много други локално.

Тези инструкции могат да бъдат използвани за стартиране на всякакви налични в момента отворен код LLM AI.

За тази демонстрация използвам Termux, невероятно приложение налично както за рутнати, така и за нерутнати Android телефони.

След като Termux е инсталиран на Xiaomi 13 Ultra, ще инсталираме и стартираме Ubuntu 20.04.

След това инсталираме Ollama, свободно наличен софтуер с отворен код, от Ollama.com.

С помоща на Ollama можете да стартирате на телефона ви множество различни LLM с до 7 милиарда параметри (или по-малко), като например:

Модели на Изкуствен Интелект налични в Ollama.com

Mistral 7.3B: LLM разпространяван под лиценза Apache, който надминава зивестния Llama 2 13B във всички бенчмарки.

Llama 2: LLM с отворен код с някои ограничения, пуснат от Meta Platforms, Inc.

Llama 2 Нецензурирано - Модел Llama 2 без цензура от George Sung и Jarrad Hope.

Gemma 2B/7B: Нов отворен модел, разработен от Google и неговият екип DeepMind, също с отворен код, но с някои ограничения.

LLaVA: LLM за работа с език и компютърно виждане.

За пълен списък на всички налични LLM в проекта Ollama, посетете Ollama.com/library.

Инсталация на AI на вашия смартфон стъпка по стъпка:

1. Инсталирайте Termux от GitHub или от F-Droid

2. Инсталирайте Ubuntu 20.04 на Termux, като използвате инструкциите в това ръководство: Ръководство за Termux-Ubuntu: https://github.com/tuanpham-dev/termux-ubuntu

В Termux изпълнете следната команда, за да инсталирате версия само за конзола на Ubuntu 20:

ЗАБЕЛЕЖКА: За всички команди по-долу най-лесният начин е да отворите това HOWTO в браузъра на вашия телефон, да копирате командите от HOWTO-то и да ги пейстнете в конзолата.

pkg install wget curl proot tar -y && wget https://raw.githubusercontent.com/tuanpham-dev/termux-ubuntu/master/ubuntu.sh && chmod +x ubuntu.sh && bash ubuntu.sh nde

По време на инсталацията на Ubuntu ще трябва няколко пъти да отговорите с Y на въпросите в конзолата.

Процесът в конзолата е напълно автоматизиран и ще отнеме няколко минути.

Малко преди края ще трябва да добавите потребител и парола за вашия потребител, също така ще трябва да въведете парола за root.

След всяко въвеждане натиснете Enter на клавиатурата, за да продължите.

След края на инсталацията на Ubuntu 20 ще бъдете автоматично влезли и логнати в инсталирания на телефона ви Ubuntu версия 20.04.

За следващия път, за да стартирате Ubuntu OS, ще трябва да изпълните тази команда в конзолата на Termux:

./start-ubuntu20.sh

След това само първия път в Ubuntu на конзолата изпълнете тези команди:

sudo apt update

sudo apt upgrade

sudo apt install curl

На всички въпроси в конзолата отговорете с Y

В момента на писане на това ръководство можете да инсталирате Ollama, като изпълните следната команда:

curl -fsSL https://ollama.com/install.sh | sh

Силно се препоръчва да посетите уеб сайта Ollama.com и да следвате инструкциите за инсталация за Linux

Стартиране на Ollama и инсталация на самите LLM-и

Стартирайте услугата Ollama с тази команда:

ollama serve > /dev/null 2>&1 &

Изтегляне и стартиране на LLM:

За целите на това ръководство ще инсталираме и тестваме два различни LLM-а:

Mistral:7.3B - LLM с 7.3 милиарда параметъра:

Уверете се, че имате 4.1 GB свободно място на вашата памет карта.

Първото изпълнение на следната команда изтегля локално на телефона ви целия LLM.

Следващите изпълнения на същата команда стартират вече изтегления локално на телефона ви LLM:

ollama run mistral:instruct

Времето за изтегляне зависи от скоростта на вашата интернет връзка.

След като бъде изтеглен, командата автоматично стартира LLM-а, представяйки конзолен промпт за вашите запитвания.

След първоначалното изтегляне на LLM в терминала ще видите нещо подобно на това:

pulling e6836092461f... 100% ▕▏ 42 B

pulling ed11eda7790d... 100% ▕▏ 30 B

pulling f9b1e3196ecf... 100% ▕▏ 483 B

verifying sha256 digest

writing manifest

removing any unused layers

success

>>>

Това точно е промпта, в който можете да въвеждате вашите въпроси към инсталираният току що локално на телефона ви Mistral LLM.

Това е!

Вече имате работещ AI модел на вашия смартфон!

Можете да експериментирате с различни текстове, за да видите как AI отговаря на вашите въпроси.

Опции на промпта на Ollama

Завършването на сесия с чатбота става като в промпта напишете /bye

За пълен списък на наличните параметри на промпта напишете /help

За да затворите напълно сесията на Ollama, въведете /bye

и след това излезте от Ubuntu сесията ви в Termux с:

exit

Ollama LLM Mistral:7B и Gemma:2b работят на Redmi Note 10 Pro с 6GB RAM

Тест на вашия телефон с Gemma 2B LLM AI

Със следната команда можете да инсталирате много по-малкия и по-бърз Gemma LLM с 2 милиарда параметри, пуснат съвсем наскоро като Open Source проект от Google:

ollama run gemma:2b

Този LLM е три пъти по-малък и работи много по-бързо, което го прави подходящ за по-стари смартфони.

Това е всичко, приятели!

Сега сте оборудвани да изследвате обширната вселена на LLM Изкуственият Интелект директно от вашия смартфон.

Приятни експерименти и нека вашите запитвания винаги водят до просветляващи отговори.

Успех!

Lupo

P.S.1 Моят личен избор за Ollama LLM за тестове:

1. Mistral 7.3B: ollama run mistral:instruct

В момента на писане на това HOWTO вероятно Mistral е най-добрият 7B LLM, който можете да инсталирате и стартирате без проблеми на вашия телефон!

2. Llama 2 7B: ollama run llama2:7b

Много добър LLM от високо качество!

3. Llama 2 7B НЕЦЕНЗУРИРАН :) Стартирай: ollama run llama2-uncensored

НЕЦЕНЗУРИРАНИЯТ Llama 2 7B ще отговори на всеки въпрос като: "Как да направим Tylenol" ... и т.н. ... ........ .......... :)

4. Gemma 2B: ollama run gemma:2b - много малък и супер БЪРЗ LLM.

Можете да тествате възможностите и на по-големия 7B Gemma LLM , който беше наличен веднага в деня на пускането, но в началото след пускането този LLM НЕ работеше ОК 

В последствие разработчиците от екипа на Google DeepMind заедно с екипа на Ollama.com добавиха вече съвсем гладко работеща версия на Gemma 7B LLM AI.

P.S.2 Мъдрости от Хакера Йода от Mistral:7B LLM AI 

За края на това AI HOWTO бих искал да споделя с вас някои мъдрости на Хакера Йода, споделени с мен от Mistral 7B LLM AI, инсталиран на моя Xiaomi 13 Ultra :)

Lupo Prompt: Кажи ми някоя мъдрост на хакера Йода

Mistral 7B LLM: Йода, мъдрият майстор Джедай от "Междузвездни войни", може би не е бил хакер в съвременния смисъл, но определено имаше ценни мъдрости за споделяне относно ефективността, решаването на проблеми и адаптацията.

Ето някои вдъхновени от Йода "хакерски" цитати:

1. "Светещи същества сме ние, не това грубо вещество." (Приемете нематериалната природа на кода и данните.)

2. "Прави или не. Опит не съществува." (Останете съсредоточени и упорити в своите хакерски начинания.)

3. "Търпение трябва да имаш, мой млад padawan." (Бъдете търпеливи докато отстранявате проблеми и учите нови умения.)

4. "Страхът е пътят към тъмната страна. Страхът води до гняв. Гневът води до омраза. Омразата води до страдание." (Избягвайте страха в своето хакерско пътешествие и поддържайте позитивно мислене.)

5. "Винаги в движение е бъдещето." (Адаптирайте се и еволюирайте с постоянно променящия се свят на технологиите.)

Надявам се, че мъдростта на Yoda ще ви вдъхнови и ще ви помага във вашите хакерски начинания!

Lupo