0 added
0 removed
Original
2026-01-01
Modified
2026-03-10
1
<p>Теги: c#, visual studio code, net core, visual studio 2017, версия community, webproxy, iwebproxy, proxyclient, instagram, получение данных из соц сети</p>
1
<p>Теги: c#, visual studio code, net core, visual studio 2017, версия community, webproxy, iwebproxy, proxyclient, instagram, получение данных из соц сети</p>
2
<p>Для чего может потребоваться получать данные из социальных сетей? Эти данные могут быть полезны маркетологам и специалистам по продвижению, для анализа и сбора статистики. Да, конечно существуют специальные сервисы (например,<a>livedune.ru</a>), но также существует и множество задач, которые нельзя решить в облаке.</p>
2
<p>Для чего может потребоваться получать данные из социальных сетей? Эти данные могут быть полезны маркетологам и специалистам по продвижению, для анализа и сбора статистики. Да, конечно существуют специальные сервисы (например,<a>livedune.ru</a>), но также существует и множество задач, которые нельзя решить в облаке.</p>
3
<p>Например, если вам необходимо быстро получить данные по большому количеству подписчиков очень крупного блогера. А облачные сервисы позволяют получить информацию не более чем о 10 тыс. пользователей.</p>
3
<p>Например, если вам необходимо быстро получить данные по большому количеству подписчиков очень крупного блогера. А облачные сервисы позволяют получить информацию не более чем о 10 тыс. пользователей.</p>
4
<h2>Почему так?</h2>
4
<h2>Почему так?</h2>
5
<p>Всё дело в ресурсах сервера и скорости работы базы данных, в количестве ядер на сервере и объёме оперативной памяти. И ещё надо всегда помнить, что не вы один пользуетесь этим сервером, пользователей у таких сервисов много.</p>
5
<p>Всё дело в ресурсах сервера и скорости работы базы данных, в количестве ядер на сервере и объёме оперативной памяти. И ещё надо всегда помнить, что не вы один пользуетесь этим сервером, пользователей у таких сервисов много.</p>
6
<h2>Почему лучше написать своё приложение?</h2>
6
<h2>Почему лучше написать своё приложение?</h2>
7
<p>Потому что вы можете использовать все ресурсы, которые у вас есть. К тому же вы можете использовать многопоточность: как правило веб-сервисы разрабатываются на PHP или Node.JS, а это однопоточные технологии.</p>
7
<p>Потому что вы можете использовать все ресурсы, которые у вас есть. К тому же вы можете использовать многопоточность: как правило веб-сервисы разрабатываются на PHP или Node.JS, а это однопоточные технологии.</p>
8
<p>Для работы с<strong>NET Core</strong>вам потребуется<strong>Visual Studio 2017</strong>(подойдёт версия<strong>Community</strong>). Если у вас ОС Windows или другая ОС, например, Linux или MacOS, можно использовать<a>Visual Studio Code</a>.</p>
8
<p>Для работы с<strong>NET Core</strong>вам потребуется<strong>Visual Studio 2017</strong>(подойдёт версия<strong>Community</strong>). Если у вас ОС Windows или другая ОС, например, Linux или MacOS, можно использовать<a>Visual Studio Code</a>.</p>
9
<p>Также для обеспечения многопоточной работы нам потребуется несколько анонимных прокси-серверов, допустим мы имеем 10. Для работы с прокси-сервером необходимо реализовать класс<strong>WebProxy</strong>, использующий интерфейс<strong>IWebProxy</strong>, а также класс<strong>ProxyClient</strong>, который будет выполнять работу по сбору данных.</p>
9
<p>Также для обеспечения многопоточной работы нам потребуется несколько анонимных прокси-серверов, допустим мы имеем 10. Для работы с прокси-сервером необходимо реализовать класс<strong>WebProxy</strong>, использующий интерфейс<strong>IWebProxy</strong>, а также класс<strong>ProxyClient</strong>, который будет выполнять работу по сбору данных.</p>
10
<p>В данном классе необходимо реализовать асинхронные методы для получение данных из социальной сети, для тестов и экспериментов можно использовать известную ссылку:</p>
10
<p>В данном классе необходимо реализовать асинхронные методы для получение данных из социальной сети, для тестов и экспериментов можно использовать известную ссылку:</p>
11
http://i.instagram.com/api/v1/users/{pk}/info/<p>где pk - уникальный идентификатор пользователя.</p>
11
http://i.instagram.com/api/v1/users/{pk}/info/<p>где pk - уникальный идентификатор пользователя.</p>
12
<p>Используя такой набор классов, можно создать N-потоков по сбору информации из социальной сети (в зависимости от того сколько у вас есть прокси-серверов), что позволит получать данные крупных блогеров (1-15 миллионов подписчиков).</p>
12
<p>Используя такой набор классов, можно создать N-потоков по сбору информации из социальной сети (в зависимости от того сколько у вас есть прокси-серверов), что позволит получать данные крупных блогеров (1-15 миллионов подписчиков).</p>
13
<p>На самом деле у данного подхода нет предела, и все ограничения зависят от вашего аппаратного обеспечения, канала связи и количества прокси-серверов.</p>
13
<p>На самом деле у данного подхода нет предела, и все ограничения зависят от вашего аппаратного обеспечения, канала связи и количества прокси-серверов.</p>
14
<p><em>Есть вопрос? Напишите в комментариях!</em></p>
14
<p><em>Есть вопрос? Напишите в комментариях!</em></p>
15
15